Ein von MIT-Forschern vorangetriebener Durchbruch in der KI-Technologie bietet einen bahnbrechenden Ansatz für das Training von KI-Modellen auf Alltagsgeräten wie Smartwatches und Sensoren. Durch die Steigerung der Effizienz beim datenschutzkonformen KI-Training um rund 81 Prozent haben die Forscher den Weg dafür geebnet, dass eine größere Bandbreite an Geräten mit begrenzten Ressourcen präzisere KI-Modelle nutzen kann, während die Nutzerdaten gleichzeitig geschützt bleiben. Dies bringt uns der echten Demokratisierung des Zugangs zur KI einen Schritt näher.
Federated Learning – ein Ansatz, der es einem Netzwerk miteinander verbundener Geräte ermöglicht, ein gemeinsam genutztes KI-Modell zu trainieren – funktioniert dank des Teams nun effizienter. Bei diesem Ansatz wird das KI-Modell zunächst von einem zentralen Server auf verschiedene Geräte verteilt. Jedes Gerät trainiert das Modell anhand seiner eigenen Daten und sendet die Änderungen anschließend an den Server zurück. Diese Strategie stellt sicher, dass die Daten das Gerät nie verlassen, was eine zusätzliche Ebene der Datensicherheit bietet. Allerdings verfügen nicht alle Geräte in diesem Netzwerk über die erforderliche Kapazität, Leistung und Konnektivität, um effektiv mit dem Modell zu arbeiten, was manchmal zu Verzögerungen führt, die die gesamte Trainingsleistung beeinträchtigen.
Hier kommen die ausgeklügelten Techniken des MIT ins Spiel, mit denen diese Speicherbeschränkungen und Verbindungsengpässe bewältigt werden können. Ihre Methode ist speziell darauf ausgelegt, in einem Netzwerk zu funktionieren, das aus unterschiedlichen Geräten mit verschiedenen Ressourcen und Einschränkungen besteht. Dadurch wird der Einsatz von KI-Modellen in Bereichen mit hohem Risiko und strengen Sicherheitsanforderungen, wie beispielsweise im Gesundheitswesen und im Finanzsektor, immer wahrscheinlicher.
“Bei dieser Arbeit geht es darum, KI auf kleine Geräte zu bringen, auf denen es derzeit nicht möglich ist, derart leistungsstarke Modelle auszuführen. Diese Geräte tragen wir in unserem Alltag immer bei uns. KI muss auf diesen Geräten laufen können, nicht nur auf riesigen Servern und GPUs, und diese Arbeit ist ein wichtiger Schritt, um dies zu ermöglichen”, erklärt Irene Tenison, Doktorandin im Fach Elektrotechnik und Informatik (EECS) und Hauptautorin der Forschungsarbeit.
Tenison geht auf bestehende Mängel bei Ansätzen des föderierten Lernens ein und weist auf die Herausforderung hin, die Geräte mit unterschiedlichen Leistungsfähigkeiten und unregelmäßiger Konnektivität darstellen. Diese verfügen oft nur über begrenzten Speicher und begrenzte Rechenleistung und können ihre Aktualisierungen nicht schnell an den zentralen Server zurücksenden. Zudem kann das Warten auf Aktualisierungen von allen Geräten zu erheblichen Verzögerungen führen: “Diese Verzögerung kann den Trainingsvorgang verlangsamen oder sogar zum Scheitern bringen.”
Aus diesem Grund haben die Forscher einen neuen Ansatz namens FTTE (Federated Tiny Training Engine) entwickelt. Die FTTE vereint drei wesentliche Innovationen, die den Speicher- und Kommunikationsaufwand für jedes mobile Gerät erheblich reduzieren. Dazu gehören die Übertragung nur eines Teils der Modellparameter an die Geräte, um Speicherplatz zu sparen, die Aktualisierung des Modells mittels eines asynchronen Ansatzes sowie die Berechnung der Auswirkungen der Aktualisierung auf jedes Gerät anhand des Zeitpunkts des Empfangs, wodurch sichergestellt wird, dass ältere Daten den Fortschritt nicht behindern.
Das Team hat seine Methode anhand von Simulationen auf Hunderten verschiedener Geräte, Modellen und Datensätze getestet. Das Ergebnis war beeindruckend: Das Training war bis zu 81 Prozent schneller abgeschlossen als bei herkömmlichen Ansätzen des föderierten Lernens. Der Speicherbedarf auf dem Gerät wurde um 80 Prozent und die Kommunikationslast um 69 Prozent reduziert, wobei – was besonders wichtig ist – die Genauigkeit anderer Methoden beibehalten wurde.
Tenison wies darauf hin, dass sie den Prozess bewusst vereinfacht hätten, um ein schnelleres Training zu ermöglichen und die Akkulaufzeit kleinerer, leistungsschwächerer Geräte zu schonen, und sagte: “Da wir möchten, dass das Modell so schnell wie möglich trainiert wird, um die Akkulaufzeit dieser ressourcenbeschränkten Geräte zu schonen, gehen wir bei der Genauigkeit gewisse Kompromisse ein. Ein geringer Genauigkeitsverlust könnte jedoch in manchen Anwendungsfällen akzeptabel sein, zumal unsere Methode so viel schneller arbeitet.”
Tenison hob außerdem die Skalierbarkeit und die überragende Leistung von FTTE bei größeren Gerätegruppen hervor und fügte hinzu: “Nicht jeder besitzt das neueste Apple iPhone. In vielen Entwicklungsländern beispielsweise verfügen die Nutzer möglicherweise über weniger leistungsstarke Mobiltelefone. Mit unserer Technik können wir die Vorteile des federierten Lernens auch in diesen Umgebungen nutzen.”
Für die Zukunft planen die Forscher, genauer zu untersuchen, wie ihre Methodik die personalisierte Leistung von KI-Modellen auf den einzelnen Geräten verbessern könnte. Sie sind bestrebt, umfangreichere Experimente auf echter Hardware durchzuführen. Dieser Durchbruch wird teilweise durch ein Takeda-Doktorandenstipendium finanziert.
Wenn Sie auf der Suche nach KI-Automatisierung für Ihr Unternehmen sind, sollten Sie die Einführung von KI-Lösungen mit implementi.ai.
Den Originalartikel finden Sie hier Link.
Diese Website verwendet Cookies.