Gro\u00dfe Sprachmodelle haben sich einen Namen als Meister des Lesens, Schreibens und der Orientierung in der komplexen Welt der Sprache gemacht. Gibt man ihnen einen komplexen Textabschnitt oder eine offene Frage, beeindrucken sie einen in der Regel mit \u00fcberzeugenden, kontextbezogenen Antworten. Stellt man ihnen jedoch eine mathematische Aufgabe oder bittet man sie, ein logisches R\u00e4tsel zu l\u00f6sen, schwankt ihr Selbstvertrauen \u2013 manchmal bringen sie sogar einfache Rechenaufgaben aus dem Konzept.<\/p>\n
Diese Modelle sind zwar Meister im textbasierten Schlussfolgern, doch diese F\u00e4higkeit reicht nicht immer aus, wenn es um Probleme geht, die Pr\u00e4zision, Logik oder Berechnungen erfordern. Sicher, LLMs sind besser denn je darin, Code zu produzieren, aber das Schreiben von Code bedeutet nicht immer, dass sie wirklich verstehen, wann oder wie dieser eingesetzt werden sollte, um eine Aufgabe tats\u00e4chlich zu l\u00f6sen. Selbst wenn sie Code ausgeben, kann dieser am Ziel vorbeigehen \u2013 manchmal ist er unvollkommen, manchmal einfach nur ineffizient.<\/p>\n
Diese merkw\u00fcrdige L\u00fccke weckte das Interesse eines Teams am MIT. Ihre Frage: Was w\u00e4re, wenn wir LLMs nicht einfach sich selbst \u00fcberlassen w\u00fcrden, sondern ihnen ein wenig Anleitung geben w\u00fcrden? Dieser Gedankengang f\u00fchrte zur Entwicklung von CodeSteer, einem schlanken digitalen Assistenten, der wie ein Trainer am Spielfeldrand agiert. Seine Aufgabe? LLMs je nach anstehender Aufgabe in die richtige Richtung zu lenken \u2013 sei es bei normalem Text oder bei einem Code-Schnipsel.<\/p>\n
CodeSteer ist bewusst klein und wendig gehalten. Anstatt am Kern fortschrittlicher Modelle wie GPT-4 herumzubasteln, haben sich die Forscher daf\u00fcr entschieden, den Aufbau modular zu gestalten. Der Mini-Assistent pr\u00fcft das Problem, sieht sich an, wie das LLM damit umgegangen ist, und schl\u00e4gt dann behutsam vor, ob die \u00dcberlegungen mit Worten fortgesetzt oder direkt auf die Nutzung von Code umgeschwenkt werden sollen. Er bleibt am Modell dran und gibt ihm Schritt f\u00fcr Schritt Anweisungen, bis sich eine korrekte L\u00f6sung ergibt.<\/p>\n
Die bisherigen Ergebnisse sind beeindruckend. LLMs zeigen unter der Anleitung von CodeSteer echte Fortschritte in Bereichen wie dem L\u00f6sen von mathematischen Gleichungen, dem Ausf\u00fcllen von Sudoku-Rastern und sogar beim Durchdenken r\u00e4umlicher Denkaufgaben. Diese Modelle verzeichneten Genauigkeitsverbesserungen von mehr als 30 Prozent \u2013 ein Sprung, der vor allem der F\u00e4higkeit von CodeSteer zu verdanken ist, die gewohnheitsm\u00e4\u00dfige \u201cFaulheit\u201d von LLMs aufzudecken. Ohne Unterst\u00fctzung neigen LLMs dazu, nach der k\u00fcrzesten oder bequemsten L\u00f6sung zu suchen, die nicht immer richtig ist. CodeSteer dr\u00e4ngt sie dazu, den umst\u00e4ndlicheren (aber korrekten) Weg einzuschlagen, indem es Antworten mit symbolischen Pr\u00fcfprogrammen vergleicht und eigene \u00dcberpr\u00fcfungen durchf\u00fchrt, um sicherzustellen, dass der Code wirklich funktioniert.<\/p>\n
Nat\u00fcrlich erforderte die Entwicklung und das Testen eines Systems wie CodeSteer eine gro\u00dfe Menge an Daten \u2013 also machte sich das MIT-Team daran, eigene Daten zu erstellen. Sie stellten SymBench zusammen, eine vielf\u00e4ltige Sammlung von 37 symbolischen Aufgaben aus den Bereichen Mathematik, r\u00e4umliches Denken und Optimierung. Mit dieser neuen Testumgebung konnte CodeSteer nicht nur mit der Konkurrenz mithalten \u2013 es hat sie regelrecht \u00fcbertrumpft und die durchschnittliche Genauigkeit bei der Probleml\u00f6sung von knapp \u00fcber 53 Prozent auf mehr als 86 Prozent gesteigert, womit es neun andere Methoden hinter sich lie\u00df.<\/p>\n
Das vielleicht vielversprechendste Merkmal von CodeSteer ist seine Subtilit\u00e4t. Es greift nicht in die gro\u00dfen LLMs ein, sondern fungiert eher als raffinierter Wegweiser denn als grundlegende Umgestaltung. Das bedeutet, dass selbst kleinere Modelle mit CodeSteer an ihrer Seite spezielle Herausforderungen bew\u00e4ltigen k\u00f6nnen, an denen oft viel gr\u00f6\u00dfere, \u201cintelligentere\u201d Modelle scheitern.<\/p>\n
\u201cUnsere Methode nutzt die eigenen F\u00e4higkeiten eines LLM\u201d, sagt Yongchao Chen, der Hauptautor des Projekts. Indem man dem Modell hilft zu erkennen, wann \u2013 und wie \u2013 es programmieren soll, anstatt sich nur auf seine \u201crohen\u201d F\u00e4higkeiten zu verlassen, k\u00f6nnen selbst bereits leistungsstarke LLMs noch deutlich verbessert werden. Und der Ansatz ist nicht nur akademischer Natur: Man stelle sich vor, wie er Robotern dabei hilft, sich auf schwierigem Gel\u00e4nde zurechtzufinden, oder wie er dazu beitr\u00e4gt, komplexe globale Lieferketten zu entwirren.<\/p>\n
Mit Blick auf die Zukunft m\u00f6chte das MIT-Team CodeSteer beschleunigen und m\u00f6glicherweise das Coaching in ein einziges Modell integrieren \u2013 ohne dass ein separater Assistent erforderlich ist. Die Arbeit hat in der Fachwelt bereits f\u00fcr Aufsehen gesorgt: Experten sowohl von Google Cloud AI als auch von DeepMind loben die Raffinesse von CodeSteer und dessen Potenzial, KI-\u2018Agenten\u2019 dabei zu helfen, besser zusammenzuarbeiten. Diese vom Office of Naval Research und dem MIT-IBM Watson AI Lab unterst\u00fctzte Forschung wird auf der Internationalen Konferenz f\u00fcr maschinelles Lernen im Mittelpunkt stehen.<\/p>\n