Überblick
Beim Großteil der heute gängigen Methoden des maschinellen Lernens (ML) werden Modelle zentral trainiert. Das bedeutet, dass alle benötigten Trainingsdaten an einem gemeinsamen Ort gesammelt und verarbeitet werden, meist in hochoptimierten Rechenzentren mit sehr guter Energieeffizienz. In vielen praktischen Anwendungsfällen ist es jedoch nicht möglich Daten zentral zu sammeln, beispielsweise wegen Bedenken zu Sicherheit- und Datenschutz. In diesen Fällen werden deshalb zunehmend Ansätze des föderierten Lernens (FL) eingesetzt, welche das verteilte Training von ML-Modellen ermöglichen, ohne dass Trainingsdaten die Endgeräte oder Datensilos dabei verlassen [1]. Jedoch bringt der Einsatz von FL zwangsläufig Ineffizienzen mit sich: FL benötigt erheblich mehr Trainingsrunden und damit Rechenleistung als zentralisierte Trainings und wird oft auf Infrastrukturen ausgeführt, die deutlich weniger energieeffizient sind als moderne GPU-Cluster. Das führt in der Praxis häufig zu einer signifikanten Zunahme des Energieverbrauchs und der damit verbundenen CO2-Emissionen [2].
Bạn đang xem: MA/BA: CO2-effizientes föderiertes Lernen
Ein neues Paradigma zur Verbesserung der CO2-Bilanz verteilter Systeme ist das so genannte CO2-effiziente Computing. Die Kernidee hinter CO2-effizientem Computing ist die Ausführung von Rechenlasten, und damit den Energieverbrauch von Recheninfrastruktur, besser an die Verfügbarkeit von erneuerbarer Energie anzugleichen [3,4]. FL ist ein sehr vielversprechender Anwendungsfall für CO2-effizientes Computing, da FL-Trainingsjobs sowohl örtlich wie auch zeitlich einer gewissen Flexibilität unterliegen und somit in ihrer Ausführung an die variable Solar- und Windproduktion angepasst werden können [5].
Forschungsfragen
Mögliche Forschungsfragen für Abschlussarbeiten liegen an der Schnittstelle von verteilten Systemen und ML:
- Wie kann CO2-Effizienz in bestehende FL-Strategien integriert werden, die bei der Selektion von Knoten primär auf schnelle Konvergenz optimieren, wie z.B. Oort [6]? Was ist der Einfluss von synchronen, semi-synchronen und asynchronen Ansätzen?
- Welchen Einfluss hat CO2-effizientes Scheduling auf den Trainingsprozess und wie können negative Effekte abgemildert werden [7]? Wie wirkt sich beispielsweise die Saisonalität von Solarproduktion und die einhergehende periodische Verschiebung der Datenverteilungen auf das Training aus [9]?
- Können wir die entwickelten Ansätze mit Hilfe von erklärbarer künstlicher Intelligenz (XAI) nachvollziehbarer, resilienter und leistungsfähiger machen?
Xem thêm : SO2 + O2 + H2O → H2SO4
Voraussetzungen: Arbeiten in diesem Forschungsbereich erfordern sehr gute Kenntnisse des maschinellen Lernens und gute Grundkentnisse zu verteilten Systemen. Außerdem müssen die Informationen zur durchführung von Abschlussarbeiten an unserem Fachgebiet gelesen und berücksichtigt werden.
Beginn: ab sofort
Kontakt: Philipp Wiesner (wiesner ∂ tu-berlin.de)
Referenzen
1. H. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data,” in AISTATS, 2016.
2. X. Qiu, T. Parcollet, J. Fernandez-Marques, P. P. B. de Gusmao, D. J. Beutel, T. Topal, A. Mathur, and N. D. Lane, “A first look into the carbon footprint of federated learn-ing,” in arXiv:2102.07627, 2021.
3. P. Wiesner, I. Behnke, D. Scheinert, K. Gontarska, and L. Thamsen, “Let’s wait awhile: How temporal workload shifting can reduce carbon emissions in the cloud,” in ACM/IFIP Middleware, 2021.
4. P. Wiesner, D. Scheinert, T. Wittkopp, L. Thamsen, and O. Kao, “Cucumber: Renewab-le-aware admission control for delay-tolerant cloud and edge workloads,” in Euro-Par, 2022.
5. P. Wiesner, R. Khalili, D. Grinwald, P. Agrawal, L. Thamsen, and O. Kao, “FedZero: Leveraging renewable excess energy in federated learning,” arXiv:2305.15092, 2023.
6. F. Lai, X. Zhu, H. V. Madhyastha, and M. Chowdhury, “Oort: Efficient federated learn-ing via guided participant selection,” in USENIX OSDI, 2021.
7. Y. Jee Cho, J. Wang, and G. Joshi, “Towards understanding biased client selection in federated learning,” in AISTATS, 2022.
8. C. Zhu, Z. Xu, M. Chen, J. Konečný, A. Hard, and T. Goldstein, “Diurnal or nocturnal? federated learning of multi-branch networks from periodically shifting distributions,” in ICLR, 2022.
Nguồn: https://piaggiotopcom.vn
Danh mục: Hóa
