Gro\u00dfe Sprachmodelle haben enorme Fortschritte dabei erzielt, wie Computer menschliche Sprache verstehen und nutzen \u2013 ihr Wirken zeigt sich \u00fcberall, von blitzschnellen Dokumentenzusammenfassungen \u00fcber Sofort\u00fcbersetzungen bis hin zu raffinierten Frage-Antwort-Bots. Doch so intelligent sie auch sind, sto\u00dfen diese Modelle an ihre Grenzen, wenn sie mit Herausforderungen konfrontiert werden, die echtes logisches Denken oder einen Hauch menschlicher Logik erfordern. Stellen Sie sich eine KI vor, die m\u00fchelos Finanzzusammenfassungen erstellt, aber Schwierigkeiten hat, wenn man sie bittet, verd\u00e4chtige Transaktionen aufzusp\u00fcren oder die weitere Entwicklung des Marktes vorherzusagen. Der Grund? Sobald diese Modelle in die Praxis entlassen werden, k\u00f6nnen sie sich nicht wirklich neue F\u00e4higkeiten aneignen oder sich aus eigener Kraft weiter verbessern.<\/p>\n
Forscher am MIT waren der Meinung, dass dies nicht ausreichte, und entwickelten ein Verfahren namens \u201cTest-Time-Training\u201d. Anstatt das gesamte Modell zu aktualisieren oder von Grund auf neu zu trainieren, optimiert dieser clevere Ansatz bestimmte Teile der KI spontan, genau dann, wenn es n\u00f6tig ist. Das Modell bleibt also im Kern unver\u00e4ndert, kann sich aber vor\u00fcbergehend anpassen, um kniffligere oder v\u00f6llig neue Probleme zu l\u00f6sen. Ekin Aky\u00fcrek, ein Mitglied des Teams, erkl\u00e4rte es treffend: Diese KI-Modelle k\u00f6nnen nach ihrer Bereitstellung nicht wirklich selbstst\u00e4ndig lernen \u2013 aber mit einem kleinen, geschickten Ansto\u00df machen ihre F\u00e4higkeiten einen gro\u00dfen Sprung nach vorne.<\/p>\n
Zuvor verlie\u00dfen sich die meisten Menschen auf das sogenannte \u201ckontextbasierte Lernen\u201d, um die F\u00e4higkeit dieser Modelle zur Bew\u00e4ltigung neuer Probleme zu verbessern: Man zeigt ihnen eine Handvoll Beispiele und l\u00e4sst sie das Muster selbst erkennen. Das funktioniert \u2013 bis zu einem gewissen Grad. Das Problem ist jedoch: Wenn eine Aufgabe wirklich logisches Denken oder Flexibilit\u00e4t erfordert, versagt dieser Ansatz oft, was zu entt\u00e4uschenden Ergebnissen f\u00fchrt.<\/p>\n
Das MIT-Team ging noch einen Schritt weiter, indem es kontextbezogenes Lernen mit Training zur Testzeit kombinierte. Das Besondere daran ist Folgendes: W\u00e4hrend der Inferenz \u2013 also in der Phase, in der die KI tats\u00e4chlich ein Problem l\u00f6st \u2013 erh\u00e4lt das Modell einen Mini-Crashkurs anhand einer Reihe von Beispielen, die speziell auf diese Aufgabe zugeschnitten sind. Anstatt den riesigen Parametersatz der KI komplett zu \u00fcberarbeiten, wird nur eine winzige, entscheidende Teilmenge aktualisiert. Dieser als \u201cLow-Rank-Adaptation\u201d bezeichnete Trick sorgt f\u00fcr einen schlanken und schnellen Ablauf und liefert enorme Leistungssteigerungen mit chirurgischer Pr\u00e4zision. Tats\u00e4chlich kann diese Kombination die Leistung der KI um das bis zu Sechsfache steigern, verglichen mit dem alleinigen Einsatz von kontextbezogenem Lernen.<\/p>\n
Um diesen Schnelltrainingssatz noch weiter zu optimieren, haben die Forscher die Beispiele nicht einfach unver\u00e4ndert wiederverwendet. Sie haben die Daten aufgemotzt, indem sie sie gespiegelt, gemischt und die Eingaben modifiziert haben, um einen noch reichhaltigeren Datensatz zu erstellen. Besonders bemerkenswert ist, dass all diese \u00c4nderungen genau rechtzeitig f\u00fcr das neue Problem erfolgen, ohne das Kernwissen des Modells zu beeintr\u00e4chtigen. Sicher, dieses Echtzeit-Lernen kann dazu f\u00fchren, dass jede Abfrage etwas l\u00e4nger dauert \u2013 vielleicht wird aus einer Minute zehn \u2013, aber der Gewinn ist ein dramatischer Sprung in der Genauigkeit, was besonders bei der Bearbeitung besonders komplexer oder folgenschwerer Fragen von entscheidender Bedeutung ist.<\/p>\n
Das Team stellte seine Hybridmethode bei einigen wirklich kniffligen Herausforderungen auf die Probe \u2013 man denke an Tests voller IQ-R\u00e4tsel und schwer zu erkennender Muster. Das Ergebnis? Bei Aufgaben, die differenziertes logisches Denken erforderten oder bei denen es galt, bisher unbekannte Daten zu interpretieren, zeigten sich deutliche, messbare Verbesserungen. Wie der Doktorand Mehul Damani es ausdr\u00fcckt: Kontextbezogenes Lernen eignet sich gut f\u00fcr einfache Aufgaben, aber wenn man dem Modell erlaubt, sich spontan anzupassen, ist das so, als w\u00fcrde man ihm auf Abruf eine brandneue F\u00e4higkeit beibringen.<\/p>\n
Die n\u00e4chste Herausforderung? Modelle zu entwickeln, die im Laufe des Prozesses kontinuierlich dazulernen und selbstst\u00e4ndig entscheiden k\u00f6nnen, ob sie sich an Beispiele halten oder direkt in das Echtzeit-Training einsteigen sollen \u2013 und das alles ohne menschliche Hilfe. Gelingt dies, w\u00e4re dies ein bedeutender Schritt hin zu KI-Systemen, die nicht nur leistungsf\u00e4higer, sondern auch wirklich intelligenter und flexibler sind.<\/p>\n
Die Forschungsarbeit entstand in Zusammenarbeit mit dem MIT-IBM Watson AI Lab und der National Science Foundation und wird erstmals auf der Internationalen Konferenz f\u00fcr maschinelles Lernen vorgestellt. Alle technischen Details finden Sie im vollst\u00e4ndigen Forschungsbericht unter MIT-Nachrichten<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" Large language models have made major leaps in how computers understand and use human language\u2014you see their handiwork in everything from rapid-fire document summaries to instant translations and slick Q&A bots. But as smart as they are, these models can hit a wall when faced with challenges that call for genuine reasoning or a touch of human logic. Imagine an AI that spins out financial summaries without breaking a sweat, but struggles if you ask it to sniff out suspicious transactions or predict where the market is headed next. The reason? Once these models are released into the wild, they […]<\/p>\n","protected":false},"author":4,"featured_media":6295,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47],"tags":[],"class_list":["post-6294","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6294","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=6294"}],"version-history":[{"count":1,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6294\/revisions"}],"predecessor-version":[{"id":6493,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6294\/revisions\/6493"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/6295"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=6294"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=6294"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=6294"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}