Es ist leicht, bestimmte neuronale Netze als “nicht trainierbar” abzutun, wenn sie den Anforderungen moderner Machine-Learning-Aufgaben nicht gerecht werden. Doch ein Forscherteam am Labor für Informatik und Künstliche Intelligenz (CSAIL) des MIT erinnert uns daran, dass wir uns damit möglicherweise irren. Sie haben eine neue Methode entwickelt, die als Anleitung. Es handelt sich um eine kurze Phase der Anpassung, die die Lernfähigkeit von zuvor verworfenen neuronalen Netzwerkarchitekturen erheblich verbessern kann.
Bislang haben wir bestimmte Netzwerkarchitekturen als von Natur aus fehlerhaft oder im Umgang mit komplexen Aufgaben als eingeschränkt angesehen. Möglicherweise sind diese neuronalen Netze jedoch eher Opfer eines ungünstigen Ausgangspunkts im Parameterraum als eines Mangels an Potenzial. Die Forscher fanden heraus, dass sie die schwächelnden Netzwerke durch eine kurzzeitige Kopplung mit einem strukturierten “Leit”-Netzwerk zu effektivem Lernen führen konnten.
Im Gegensatz zur Wissensdestillation, bei der ein Schülermodell die Ergebnisse eines Lehrers nachahmt, stützt sich diese Technik auf interne Repräsentationen. Hier übernimmt das Zielnetz die Art und Weise, wie das Führungsnetz Informationen in seinen Schichten organisiert, anstatt seine Vorhersagen zu imitieren. Selbst wenn das Führungsnetz nicht trainiert ist, erleichtert dieser Prozess einen sinnvollen Wissenstransfer und steigert so die Lernfähigkeit.
Diese Theorie wurde mithilfe tiefer, vollständig verbundener Netzwerke (FCNs) auf die Probe gestellt. Die Forscher passten die Netzwerke vor dem eigentlichen Training kurz mithilfe von Zufallsrauschen an ein Referenznetzwerk an. Die Ergebnisse waren verblüffend: Diese Netzwerke, die für ihr Überanpassen bekannt sind, wurden stabiler, vermieden die üblichen FCN-Fallstricke, wiesen geringere Trainingsverluste auf und verbesserten ihre Leistung. “Es ist beeindruckend, dass wir mithilfe der repräsentativen Ähnlichkeit diese traditionell ‘miesen’ Netzwerke tatsächlich zum Laufen bringen konnten”, sagt Vighnesh Subramaniam ’23, MEng ’24, Doktorand am MIT-Institut für Elektrotechnik und Informatik und Erstautor der Studie.
Die Studie zeigt, dass Guidance – im Gegensatz zur Wissensdestillation – auch bei Verwendung eines untrainierten Lehrer-Netzwerks nicht an Leistung einbüßt. Denn Guidance stützt sich auf die interne Struktur des Netzwerks, die wertvolle architektonische Tendenzen in sich trägt. Diese Tendenzen fungieren wie ein Kompass, der das Netzwerk auf bessere Lernpfade lenkt.
Die Schlussfolgerungen dieser Forschung beschränken sich jedoch nicht auf Leistungsverbesserungen. Sie deuten darauf hin, dass der Erfolg eines Netzwerks möglicherweise stärker von seinem Ausgangspunkt im Lernraum abhängt als von den Daten, mit denen es trainiert wurde. Durch die Kombination von Netzwerken mit einer Anleitung lässt sich der Einfluss des architektonischen Designs von den gelernten Erfahrungen isolieren. Diese Einführung einer Anleitung bietet eine neue Perspektive für die Bewertung des Beitrags von Netzwerkstrukturen zum effektiven Lernen. Sie gibt Wissenschaftlern zudem die Möglichkeit, die Unterschiede zwischen den Architekturen zu verstehen, was dazu beiträgt, Theorien zur Optimierung neuronaler Netze zu verfeinern und zu ermitteln, welche Komponenten für das Lernen entscheidend sind.
Der Clou ist jedoch, dass kein Netz unverbesserlich ist. Selbst solche, die einst als ineffektiv gebrandmarkt wurden, können durch Anleitung auf den Stand moderner Standards gebracht werden. Derzeit untersucht das CSAIL-Team, welche architektonischen Elemente wesentlich zu diesen Verbesserungen beitragen, um die Gestaltung künftiger neuronaler Netze zu beeinflussen.
“Im Allgemeinen geht man davon aus, dass verschiedene neuronale Netzwerkarchitekturen bestimmte Stärken und Schwächen haben”, so Leyla Isik, Assistenzprofessorin für Kognitionswissenschaften an der Johns Hopkins University, die nicht an der Studie beteiligt war. “Diese spannende Forschung zeigt, dass ein Netzwerktyp die Vorteile einer anderen Architektur übernehmen kann, ohne seine ursprünglichen Fähigkeiten zu verlieren.”
Die Forschungsarbeit, eine gemeinsame Anstrengung von Subramaniam und seinen MIT CSAIL-Mitarbeitern, wurde von Organisationen wie dem Center for Brains, Minds and Machines, der National Science Foundation, dem MIT-IBM Watson AI Lab und dem U.S. Department of the Air Force Artificial Intelligence Accelerator unterstützt. Ihre bahnbrechenden Ergebnisse wurden kürzlich auf der Konferenz und dem Workshop über neuronale Informationsverarbeitungssysteme (NeurIPS) vorgestellt.
Lesen Sie den Originalartikel von MIT News hier: https://news.mit.edu/2025/guided-learning-lets-untrainable-neural-networks-realize-their-potential-1218
Diese Website verwendet Cookies.