Große Sprachmodelle haben sich einen Namen als Meister des Lesens, Schreibens und der Orientierung in der komplexen Welt der Sprache gemacht. Gibt man ihnen einen komplexen Textabschnitt oder eine offene Frage, beeindrucken sie einen in der Regel mit überzeugenden, kontextbezogenen Antworten. Stellt man ihnen jedoch eine mathematische Aufgabe oder bittet man sie, ein logisches Rätsel zu lösen, schwankt ihr Selbstvertrauen – manchmal bringen sie sogar einfache Rechenaufgaben aus dem Konzept.
Diese Modelle sind zwar Meister im textbasierten Schlussfolgern, doch diese Fähigkeit reicht nicht immer aus, wenn es um Probleme geht, die Präzision, Logik oder Berechnungen erfordern. Sicher, LLMs sind besser denn je darin, Code zu produzieren, aber das Schreiben von Code bedeutet nicht immer, dass sie wirklich verstehen, wann oder wie dieser eingesetzt werden sollte, um eine Aufgabe tatsächlich zu lösen. Selbst wenn sie Code ausgeben, kann dieser am Ziel vorbeigehen – manchmal ist er unvollkommen, manchmal einfach nur ineffizient.
Diese merkwürdige Lücke weckte das Interesse eines Teams am MIT. Ihre Frage: Was wäre, wenn wir LLMs nicht einfach sich selbst überlassen würden, sondern ihnen ein wenig Anleitung geben würden? Dieser Gedankengang führte zur Entwicklung von CodeSteer, einem schlanken digitalen Assistenten, der wie ein Trainer am Spielfeldrand agiert. Seine Aufgabe? LLMs je nach anstehender Aufgabe in die richtige Richtung zu lenken – sei es bei normalem Text oder bei einem Code-Schnipsel.
CodeSteer ist bewusst klein und wendig gehalten. Anstatt am Kern fortschrittlicher Modelle wie GPT-4 herumzubasteln, haben sich die Forscher dafür entschieden, den Aufbau modular zu gestalten. Der Mini-Assistent prüft das Problem, sieht sich an, wie das LLM damit umgegangen ist, und schlägt dann behutsam vor, ob die Überlegungen mit Worten fortgesetzt oder direkt auf die Nutzung von Code umgeschwenkt werden sollen. Er bleibt am Modell dran und gibt ihm Schritt für Schritt Anweisungen, bis sich eine korrekte Lösung ergibt.
Die bisherigen Ergebnisse sind beeindruckend. LLMs zeigen unter der Anleitung von CodeSteer echte Fortschritte in Bereichen wie dem Lösen von mathematischen Gleichungen, dem Ausfüllen von Sudoku-Rastern und sogar beim Durchdenken räumlicher Denkaufgaben. Diese Modelle verzeichneten Genauigkeitsverbesserungen von mehr als 30 Prozent – ein Sprung, der vor allem der Fähigkeit von CodeSteer zu verdanken ist, die gewohnheitsmäßige “Faulheit” von LLMs aufzudecken. Ohne Unterstützung neigen LLMs dazu, nach der kürzesten oder bequemsten Lösung zu suchen, die nicht immer richtig ist. CodeSteer drängt sie dazu, den umständlicheren (aber korrekten) Weg einzuschlagen, indem es Antworten mit symbolischen Prüfprogrammen vergleicht und eigene Überprüfungen durchführt, um sicherzustellen, dass der Code wirklich funktioniert.
Natürlich erforderte die Entwicklung und das Testen eines Systems wie CodeSteer eine große Menge an Daten – also machte sich das MIT-Team daran, eigene Daten zu erstellen. Sie stellten SymBench zusammen, eine vielfältige Sammlung von 37 symbolischen Aufgaben aus den Bereichen Mathematik, räumliches Denken und Optimierung. Mit dieser neuen Testumgebung konnte CodeSteer nicht nur mit der Konkurrenz mithalten – es hat sie regelrecht übertrumpft und die durchschnittliche Genauigkeit bei der Problemlösung von knapp über 53 Prozent auf mehr als 86 Prozent gesteigert, womit es neun andere Methoden hinter sich ließ.
Das vielleicht vielversprechendste Merkmal von CodeSteer ist seine Subtilität. Es greift nicht in die großen LLMs ein, sondern fungiert eher als raffinierter Wegweiser denn als grundlegende Umgestaltung. Das bedeutet, dass selbst kleinere Modelle mit CodeSteer an ihrer Seite spezielle Herausforderungen bewältigen können, an denen oft viel größere, “intelligentere” Modelle scheitern.
“Unsere Methode nutzt die eigenen Fähigkeiten eines LLM”, sagt Yongchao Chen, der Hauptautor des Projekts. Indem man dem Modell hilft zu erkennen, wann – und wie – es programmieren soll, anstatt sich nur auf seine “rohen” Fähigkeiten zu verlassen, können selbst bereits leistungsstarke LLMs noch deutlich verbessert werden. Und der Ansatz ist nicht nur akademischer Natur: Man stelle sich vor, wie er Robotern dabei hilft, sich auf schwierigem Gelände zurechtzufinden, oder wie er dazu beiträgt, komplexe globale Lieferketten zu entwirren.
Mit Blick auf die Zukunft möchte das MIT-Team CodeSteer beschleunigen und möglicherweise das Coaching in ein einziges Modell integrieren – ohne dass ein separater Assistent erforderlich ist. Die Arbeit hat in der Fachwelt bereits für Aufsehen gesorgt: Experten sowohl von Google Cloud AI als auch von DeepMind loben die Raffinesse von CodeSteer und dessen Potenzial, KI-‘Agenten’ dabei zu helfen, besser zusammenzuarbeiten. Diese vom Office of Naval Research und dem MIT-IBM Watson AI Lab unterstützte Forschung wird auf der Internationalen Konferenz für maschinelles Lernen im Mittelpunkt stehen.
Weitere Informationen finden Sie im vollständigen Artikel unter MIT-Nachrichten.
Diese Website verwendet Cookies.