In der hochmodernen Welt der künstlichen Intelligenz haben große Sprachmodelle (LLMs), die über Schlussfolgerungsfähigkeiten verfügen, einen bedeutenden Einfluss ausgeübt. Diese leistungsstarken Werkzeuge sind in der Lage, komplexe Aufgaben in überschaubare Schritte zu zerlegen – sie eignen sich außerordentlich gut für anspruchsvolle Herausforderungen wie vielschichtige Planung und fortgeschrittene Programmierung. Doch wie jeder Fortschritt bringen auch diese Modelle gewisse Kosten mit sich. Ihre Entwicklung erfordert intensive Rechenleistung und einen erheblichen Energieverbrauch, und Ineffizienzen im System führen oft dazu, dass leistungsstarke Prozessoren im Leerlauf laufen, während andere komplizierte Aufgaben bearbeiten.
Ein Forscherteam des MIT und verschiedener anderer Institutionen hat sich diesem Problem angenommen und eine innovative Lösung entwickelt, die diese Rechenausfallzeiten nutzt. Ihr Ansatz besteht darin, ein kleineres, schnelleres “Entwurfsmodell” einzusetzen, um die Ergebnisse des größeren, auf Schlussfolgerungen basierenden LLM vorherzusagen, die anschließend vom größeren Modell verifiziert werden. Das Besondere an dieser Methode ist, dass das kleinere Modell nur dann zum Einsatz kommt, wenn Prozessorressourcen ungenutzt sind. Dieser geniale Schachzug nutzt Rechenressourcen, die andernfalls ungenutzt bleiben würden, und erhöht so die Trainingsgeschwindigkeit, ohne die Arbeitslast zu erhöhen.
Das Team hat seine innovativen Entwicklungen damit jedoch nicht beendet. Es erkannte das Problem der Synchronisation bei Standardalgorithmen des verstärkenden Lernens (RL), das dazu führte, dass Prozessoren im Leerlauf einfach darauf warteten, dass andere längere Antworten fertigstellten. RL ist ein entscheidender Aspekt, damit schlussfolgernde LLMs ihre Denkfehler erkennen und korrigieren können. Der RL-Prozess folgt einem zyklischen Muster, bei dem das Modell mehrere mögliche Antworten generiert, Belohnungen für die besseren Kandidaten erhält und anschließend auf der Grundlage der besten Antworten aktualisiert wird. Dies führte jedoch häufig zu Zeitaufwand – die Generierung mehrerer Antworten konnte bis zu 85 Prozent der Ausführungszeit während des RL-Trainings in Anspruch nehmen, sodass für den eigentlichen ‘Trainings’-Teil nur ein minimaler Teil der Zeit übrig blieb.
Die Forscher suchten nach einer Möglichkeit, diese Leerlaufzeit in nützliche Vorteile umzuwandeln und so Kosten und Zeit zu sparen. Sie befassten sich mit einem Konzept, das als “spekulatives Dekodieren” bekannt ist – einem Prozess, bei dem das kleinere „Entwurfsmodell“ die zukünftigen Ergebnisse des größeren Modells vorhersagt und diese anschließend vom größeren Modell verifiziert werden. Der größte Vorteil dieser Methode besteht darin, dass das größere Modell alle Vorhersagen des „Drafter“-Modells gleichzeitig verifizieren kann, anstatt jede Ausgabe nacheinander zu generieren – ein Schritt, der den gesamten Prozess erheblich beschleunigt.
Eine weitere bahnbrechende Innovation war das von den Forschern entwickelte “Taming the Long Tail” (TLT)-System. Die Herausforderung beim verstärkenden Lernen bestand darin, dass das statische, einmal trainierte Modell veraltete, da das Schlussfolgerungsmodell während des Trainings Tausende von Aktualisierungen durchlief. TLT ist ein flexibles System mit einem adaptiven „Drafter“-Trainer, der die Leerlaufzeit des Prozessors nutzt, um das „Drafter“-Modell kontinuierlich zu trainieren und es so ohne zusätzliche Rechenkosten auf dem Stand des Zielmodells zu halten. Seine andere Komponente, die adaptive „Rollout“-Engine, wählt für jeden neuen Eingabedurchlauf automatisch die beste Strategie für die spekulative Dekodierung aus.
TLT nutzte die Vorteile der schlanken Architektur des „Drafter“-Modells, die ein schnelles Training ermöglichte. Dabei wurden Komponenten aus dem Trainingsprozess des „Reasoning“-Modells für das Training des „Drafter“-Modells verwendet, was den gesamten Trainingsprozess weiter beschleunigte. Die Ergebnisse waren vielversprechend – Tests mit zahlreichen LLMs für Schlussfolgerungen zeigten eine Beschleunigung des Trainingsprozesses um 70 bis 210 Prozent, ohne dass die Modellgenauigkeit beeinträchtigt wurde.
Zu den weiteren Vorteilen, die die Forscher feststellten, gehörte, dass sich das kleinere Drafter-Modell bereits bei seiner Einführung als wertvoll erwies. Langfristig ist geplant, TLT in andere Trainings- und Inferenz-Frameworks zu integrieren und weitere Reinforcement-Learning-Anwendungen zu untersuchen, die von diesem Ansatz profitieren könnten. Angesichts der Tatsache, dass sich das Schließen von Schlüssen als Schlüsselaspekt bei der Inferenznachfrage herauskristallisiert, bietet TLT eine Lösung zur Verbesserung der effizienten KI-Berechnung, indem es den rechnerischen Engpass beim Training dieser Schlußfolgerungsmodelle behebt.
Diese bahnbrechende Forschung wird von namhaften Institutionen wie dem MIT-IBM Watson AI Lab, dem MIT AI Hardware Program, dem MIT Amazon Science Hub, der Hyundai Motor Company und der National Science Foundation unterstützt. Ausführlichere Informationen über die Forschung, die Methoden und ihr Potenzial finden Sie auf der Originalnachrichtenartikel.
Diese Website verwendet Cookies.