In der hochmodernen Welt der k\u00fcnstlichen Intelligenz haben gro\u00dfe Sprachmodelle (LLMs), die logische F\u00e4higkeiten nutzen, einen gro\u00dfen Einfluss. Diese leistungsstarken Werkzeuge sind in der Lage, komplexe Aufgaben in \u00fcberschaubare Schritte zu zerlegen - sie eignen sich hervorragend zur Bew\u00e4ltigung anspruchsvoller Herausforderungen wie der vielschichtigen Planung und fortgeschrittenen Programmierung. Aber wie jeder Fortschritt sind auch diese Modelle mit Kosten verbunden. Ihre Entwicklung ist rechenintensiv und verbraucht viel Energie. Ineffizienzen im System f\u00fchren oft dazu, dass leistungsstarke Prozessoren im Leerlauf arbeiten, w\u00e4hrend andere komplizierte Aufgaben erledigen.<\/p>\n
Ein Team von Forschern des MIT und verschiedener anderer Einrichtungen hat sich dieses Problems angenommen und eine innovative L\u00f6sung entwickelt, die sich diese Rechenzeit zunutze macht. Ihr Ansatz besteht darin, ein kleineres, schnelleres \u201cDrafter\u201d-Modell zu verwenden, um die Ergebnisse des gr\u00f6\u00dferen LLM-Modells vorherzusagen, die dann von dem gr\u00f6\u00dferen Modell \u00fcberpr\u00fcft werden. Die Methode ist einzigartig, weil das kleinere Modell nur dann eingesetzt wird, wenn die Prozessorressourcen nicht ausgelastet sind. Dieser geniale Schachzug nutzt Rechenressourcen, die sonst verschwendet w\u00fcrden, und erh\u00f6ht die Trainingsgeschwindigkeit, ohne die Arbeitslast zu erh\u00f6hen.<\/p>\n
Das Team blieb mit seiner innovativen Entwicklung nicht stehen. Sie erkannten das Problem der Synchronisierung in Standard-Algorithmen f\u00fcr das verst\u00e4rkte Lernen (Reinforcement Learning, RL), das dazu f\u00fchrte, dass unt\u00e4tige Prozessoren einfach darauf warteten, dass die anderen l\u00e4ngere Antworten ausf\u00fchrten. RL ist ein entscheidender Aspekt, der es denkenden LLMs erm\u00f6glicht, ihre Denkfehler zu erkennen und zu korrigieren. Der RL-Prozess beinhaltet ein zyklisches Muster, bei dem das Modell mehrere potenzielle Antworten generiert, Belohnungen f\u00fcr die besseren Kandidaten erh\u00e4lt und dann auf der Grundlage der besten Antworten aktualisiert wird. Dies f\u00fchrte jedoch oft zu zeitlichen Ineffizienzen - die Generierung mehrerer Antworten konnte bis zu 85 Prozent der Ausf\u00fchrungszeit w\u00e4hrend des RL-Trainings in Anspruch nehmen, so dass der \u2018Trainingsteil\u2019 nur einen minimalen Teil der Zeit beanspruchte.<\/p>\n
Die Forscher suchten nach einer M\u00f6glichkeit, diese ungenutzte Zeit in n\u00fctzliche Gewinne umzuwandeln und so Kosten und Zeit zu sparen. Dabei handelt es sich um einen Prozess, bei dem das kleinere \u201cDrafter\u201d-Modell die zuk\u00fcnftigen Ergebnisse des gr\u00f6\u00dferen Modells vorhersagt - und diese dann vom gr\u00f6\u00dferen Modell \u00fcberpr\u00fcft werden. Der gr\u00f6\u00dfte Vorteil dieser Methode besteht darin, dass das gr\u00f6\u00dfere Modell alle Vorhersagen des \"Drafter\"-Modells gleichzeitig \u00fcberpr\u00fcfen kann, anstatt jede Ausgabe nacheinander zu generieren - ein Schritt, der den gesamten Prozess erheblich beschleunigt.<\/p>\n
Eine weitere bahnbrechende Innovation war das von den Forschern entwickelte System \u201cTaming the Long Tail\u201d (TLT). Die Herausforderung beim Verst\u00e4rkungslernen bestand darin, dass das statische, einmal trainierte Modell veraltet, wenn das Argumentationsmodell w\u00e4hrend des Trainings Tausende von Aktualisierungen erf\u00e4hrt. TLT ist ein flexibles System mit einem adaptiven Drafter-Trainer, der ungenutzte Prozessorzeit nutzt, um das Drafter-Modell kontinuierlich zu trainieren und es auf dem neuesten Stand mit dem Zielmodell zu halten, ohne zus\u00e4tzliche Rechenkosten zu verursachen. Seine andere Komponente, die adaptive Rollout-Engine, w\u00e4hlt automatisch die beste Strategie f\u00fcr die spekulative Dekodierung f\u00fcr jeden neuen Stapel von Eingaben aus.<\/p>\n
TLT nutzte die Vorteile der leichten Bauweise des Drafter-Modells und erm\u00f6glichte so eine schnelle Schulung. F\u00fcr das Training des Drafter-Modells wurden Komponenten aus dem Trainingsprozess des Reasoning-Modells verwendet, was zu einer Beschleunigung des gesamten Trainingsprozesses f\u00fchrte. Die Ergebnisse waren vielversprechend: Tests mit zahlreichen schlussfolgernden LLMs zeigten eine Beschleunigung des Trainingsprozesses zwischen 70 und 210 Prozent, ohne die Modellgenauigkeit zu beeintr\u00e4chtigen.<\/p>\n
Zu den weiteren Vorteilen, die die Forscher feststellten, geh\u00f6rte, dass sich das kleinere Drafter-Modell bereits bei seiner Einf\u00fchrung als wertvoll erwies. Langfristig ist geplant, TLT in andere Trainings- und Inferenz-Frameworks zu integrieren und weitere Reinforcement-Learning-Anwendungen zu untersuchen, die von diesem Ansatz profitieren k\u00f6nnten. Angesichts der Tatsache, dass sich das Schlie\u00dfen von Schl\u00fcssen als Schl\u00fcsselaspekt bei der Inferenznachfrage herauskristallisiert, bietet TLT eine L\u00f6sung zur Verbesserung der effizienten KI-Berechnung, indem es den rechnerischen Engpass beim Training dieser Schlu\u00dffolgerungsmodelle behebt.<\/p>\n
Diese bahnbrechende Forschung wird von namhaften Institutionen wie dem MIT-IBM Watson AI Lab, dem MIT AI Hardware Program, dem MIT Amazon Science Hub, der Hyundai Motor Company und der National Science Foundation unterst\u00fctzt. Ausf\u00fchrlichere Informationen \u00fcber die Forschung, die Methoden und ihr Potenzial finden Sie auf der Originalnachrichtenartikel<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" In the cutting-edge world of artificial intelligence, large language models (LLMs) that use reasoning capabilities have made a significant impact. These powerful tools are capable of breaking down complex tasks into manageable steps – they’re exceptionally good at addressing demanding challenges like multifaceted planning and advanced programming. But like any advancement, these models come with associated costs. Their development involves intense computation and utilizes significant energy, and inefficiencies in the system often lead to high-power processors idling while others work through complicated tasks. Revolutionizing Training Efficiency and Addressing the Training Bottleneck A team of researchers from MIT and various other […]<\/p>\n","protected":false},"author":4,"featured_media":8105,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[46],"tags":[],"class_list":["post-8104","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-automation","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/8104","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=8104"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/8104\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/8105"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=8104"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=8104"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=8104"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}