Wie sich kleine Sprachmodelle zusammentun, um große logische Herausforderungen zu bewältigen

Zwar haben die Fortschritte im Bereich der künstlichen Intelligenz (KI) zweifellos große Fortschritte gemacht, doch sind sie nicht ohne Herausforderungen. Insbesondere wenn es um komplexe Problemlösungsaufgaben wie Sudoku, Moleküldesign oder das Verfassen mathematischer Beweise geht, tun sich KI-Modelle bekanntermaßen schwer. Den meisten Modellen, selbst den fortschrittlichsten, fällt es schwer, offene Aufgaben zu bewältigen, die strengen Vorgaben unterliegen. Sie neigen dazu, Ratschläge zur Herangehensweise an ein Problem zu geben, anstatt selbst Lösungen zu finden.

To address these bottlenecks, a team of researchers at MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) decided to take a novel approach that goes by the name of DisCIPL, a short form for, “Distributional Constraints by Inference Programming with Language Models”. This approach brings together the strategic capabilities of large language models (LLMs) with the lightweight efficiency of the smaller ones. The core idea is straightforward yet powerful: it involves getting a large model to strategize on a task, then handing over the implementation to smaller models, which then follow the command of the large model.

Ein besserer Ansatz für kollaborative KI

Think of how a project manager coordinates a team. The large ‘boss’ model act as the project manager, accepting a prompt and then coming up with a plan, which it then distributes to the smaller ‘follower’ models. If required, the large model corrects the outputs of the smaller models. This collaborative system increases the ability of smaller models to produce responses that are not only more accurate but also more efficient than those generated by some of the most cutting-edge LLMs.

An essential component of DisCIPL is its use of LLaMPPL, a programming language designed to control language models by encoding specific rules and constraints. This programming layer allows the large model to communicate with its follower models in a structured, rule-based manner, guiding them toward more precise and coherent responses. They are given meticulous instructions, such as “write eight lines of poetry where each line has exactly eight words”, which ensures that every smaller model contributes significantly to the final output.

Eine neue Ära effizienter KI

Die Effizienz, die DisCIPL bietet, ist bemerkenswert. Durch den Einsatz kleinerer Modelle senkt das System den Rechenaufwand erheblich. Um noch einen Schritt weiter zu gehen, ist das System in der Lage, mehrere Modelle gleichzeitig auszuführen, was die Reaktionszeiten erheblich verkürzt.

DisCIPL’s practical implications are widespread. It can be employed in carrying out tasks like creating ingredient lists, planning travel itineraries, or even drafting grant proposals with the given word limit. When compared with heavyweight competitors like GPT-4o and o1, it delivers coherent and accurate results that stand at par with the top reasoning systems in the world. Its ability to follow instructions aright is a testament to the effectiveness of a planning component in any architectural structure.

Die Zukunft der kollaborativen KI

Moving forward, the research team plans to explore a fully recursive version of the framework and apply the system to mathematical reasoning tasks. Furthermore, they are keen on exploring how the system handles user preferences that are not easily encoded in rules. Gabriel Grand, a PhD student at MIT and the lead author of the study puts it, “Language models are consuming more energy as people use them more, which means we need models that provide accurate answers while using minimal computing power.”

Somit stellt DisCIPL die Vorstellung in Frage, dass Größe in der Welt der KI immer eine Rolle spielt. Indem es die Stärken kleinerer Modelle auf koordinierte Weise nutzt, ebnet es den Weg für weitere Fortschritte bei KI-Systemen, die schneller, kostengünstiger und potenziell besser interpretierbar sind. Während wir diesen Ansatz weiter verfeinern, stehen wir an der Schwelle zu einer vielversprechenden Zukunft für kollaborative KI.

Um mehr über DisCIPL zu erfahren, Lesen Sie den Originalartikel auf MIT News.