Ein von MIT-Forschern vorangetriebener Durchbruch in der KI-Technologie bietet einen bahnbrechenden Ansatz f\u00fcr das Training von KI-Modellen auf Alltagsger\u00e4ten wie Smartwatches und Sensoren. Durch die Steigerung der Effizienz beim datenschutzkonformen KI-Training um rund 81 Prozent haben die Forscher den Weg daf\u00fcr geebnet, dass eine gr\u00f6\u00dfere Bandbreite an Ger\u00e4ten mit begrenzten Ressourcen pr\u00e4zisere KI-Modelle nutzen kann, w\u00e4hrend die Nutzerdaten gleichzeitig gesch\u00fctzt bleiben. Dies bringt uns der echten Demokratisierung des Zugangs zur KI einen Schritt n\u00e4her.<\/p>\n
Federated Learning \u2013 ein Ansatz, der es einem Netzwerk miteinander verbundener Ger\u00e4te erm\u00f6glicht, ein gemeinsam genutztes KI-Modell zu trainieren \u2013 funktioniert dank des Teams nun effizienter. Bei diesem Ansatz wird das KI-Modell zun\u00e4chst von einem zentralen Server auf verschiedene Ger\u00e4te verteilt. Jedes Ger\u00e4t trainiert das Modell anhand seiner eigenen Daten und sendet die \u00c4nderungen anschlie\u00dfend an den Server zur\u00fcck. Diese Strategie stellt sicher, dass die Daten das Ger\u00e4t nie verlassen, was eine zus\u00e4tzliche Ebene der Datensicherheit bietet. Allerdings verf\u00fcgen nicht alle Ger\u00e4te in diesem Netzwerk \u00fcber die erforderliche Kapazit\u00e4t, Leistung und Konnektivit\u00e4t, um effektiv mit dem Modell zu arbeiten, was manchmal zu Verz\u00f6gerungen f\u00fchrt, die die gesamte Trainingsleistung beeintr\u00e4chtigen.<\/p>\n
Hier kommen die ausgekl\u00fcgelten Techniken des MIT ins Spiel, mit denen diese Speicherbeschr\u00e4nkungen und Verbindungsengp\u00e4sse bew\u00e4ltigt werden k\u00f6nnen. Ihre Methode ist speziell darauf ausgelegt, in einem Netzwerk zu funktionieren, das aus unterschiedlichen Ger\u00e4ten mit verschiedenen Ressourcen und Einschr\u00e4nkungen besteht. Dadurch wird der Einsatz von KI-Modellen in Bereichen mit hohem Risiko und strengen Sicherheitsanforderungen, wie beispielsweise im Gesundheitswesen und im Finanzsektor, immer wahrscheinlicher.<\/p>\n
\u201cBei dieser Arbeit geht es darum, KI auf kleine Ger\u00e4te zu bringen, auf denen es derzeit nicht m\u00f6glich ist, derart leistungsstarke Modelle auszuf\u00fchren. Diese Ger\u00e4te tragen wir in unserem Alltag immer bei uns. KI muss auf diesen Ger\u00e4ten laufen k\u00f6nnen, nicht nur auf riesigen Servern und GPUs, und diese Arbeit ist ein wichtiger Schritt, um dies zu erm\u00f6glichen\u201d, erkl\u00e4rt Irene Tenison, Doktorandin im Fach Elektrotechnik und Informatik (EECS) und Hauptautorin der Forschungsarbeit<\/a>.<\/p>\n Tenison geht auf bestehende M\u00e4ngel bei Ans\u00e4tzen des f\u00f6derierten Lernens ein und weist auf die Herausforderung hin, die Ger\u00e4te mit unterschiedlichen Leistungsf\u00e4higkeiten und unregelm\u00e4\u00dfiger Konnektivit\u00e4t darstellen. Diese verf\u00fcgen oft nur \u00fcber begrenzten Speicherplatz und begrenzte Rechenleistung und k\u00f6nnen ihre Aktualisierungen nicht schnell an den zentralen Server zur\u00fccksenden. Zudem kann das Warten auf Aktualisierungen von allen Ger\u00e4ten zu erheblichen Verz\u00f6gerungen f\u00fchren: \u201cDiese Verz\u00f6gerung kann den Trainingsvorgang verlangsamen oder sogar zum Scheitern bringen.\u201d<\/p>\n Aus diesem Grund haben die Forscher einen neuen Ansatz namens FTTE (Federated Tiny Training Engine) entwickelt. Die FTTE vereint drei wesentliche Innovationen, die den Speicher- und Kommunikationsaufwand jedes Mobilger\u00e4ts deutlich reduzieren. Dazu geh\u00f6ren die \u00dcbertragung nur eines Teils der Modellparameter an die Ger\u00e4te, um Speicherplatz zu sparen, die Aktualisierung des Modells mittels eines asynchronen Ansatzes sowie die Berechnung der Auswirkungen der Aktualisierung auf jedes Ger\u00e4t anhand des Zeitpunkts ihres Empfangs, wodurch sichergestellt wird, dass \u00e4ltere Daten den Fortschritt nicht behindern.<\/p>\n Das Team hat seine Methode anhand von Simulationen auf Hunderten verschiedener Ger\u00e4te, Modellen und Datens\u00e4tze getestet. Das Ergebnis war beeindruckend: Das Training war bis zu 81 Prozent schneller abgeschlossen als bei herk\u00f6mmlichen Ans\u00e4tzen des f\u00f6derierten Lernens. Der Speicherbedarf auf dem Ger\u00e4t wurde um 80 Prozent und die Kommunikationslast um 69 Prozent reduziert, wobei \u2013 was besonders wichtig ist \u2013 die Genauigkeit anderer Methoden beibehalten wurde.<\/p>\n Tenison wies darauf hin, dass sie den Prozess bewusst vereinfacht h\u00e4tten, um ein schnelleres Training zu erm\u00f6glichen und die Akkulaufzeit kleinerer, leistungsschw\u00e4cherer Ger\u00e4te zu schonen, und sagte: \u201cDa wir m\u00f6chten, dass das Modell so schnell wie m\u00f6glich trainiert wird, um die Akkulaufzeit dieser ressourcenbeschr\u00e4nkten Ger\u00e4te zu schonen, gehen wir bei der Genauigkeit gewisse Kompromisse ein. Ein geringer Genauigkeitsverlust k\u00f6nnte jedoch in manchen Anwendungsf\u00e4llen akzeptabel sein, zumal unsere Methode so viel schneller arbeitet.\u201d<\/p>\n Tenison hob zudem die Skalierbarkeit und die \u00fcberragende Leistung von FTTE bei gr\u00f6\u00dferen Ger\u00e4tegruppen hervor und f\u00fcgte hinzu: \u201cNicht jeder besitzt das neueste Apple iPhone. In vielen Entwicklungsl\u00e4ndern beispielsweise verf\u00fcgen die Nutzer m\u00f6glicherweise \u00fcber weniger leistungsstarke Mobiltelefone. Mit unserer Technik k\u00f6nnen wir die Vorteile des federierten Lernens auch in diesen Umgebungen nutzen.\u201d<\/p>\n F\u00fcr die Zukunft planen die Forscher, genauer zu untersuchen, wie ihre Methodik die personalisierte Leistung von KI-Modellen auf den einzelnen Ger\u00e4ten verbessern k\u00f6nnte. Sie sind bestrebt, umfangreichere Experimente auf echter Hardware durchzuf\u00fchren. Dieser Durchbruch wird teilweise durch ein Takeda-Doktorandenstipendium finanziert.<\/p>\n Wenn Sie auf der Suche nach KI-Automatisierung f\u00fcr Ihr Unternehmen sind, sollten Sie die Einf\u00fchrung von KI-L\u00f6sungen mit implementi.ai<\/a>.<\/p>\n