Die Wahl der richtigen Wörter in der richtigen Reihenfolge ist entscheidend für die korrekte Interpretation sowohl von menschlichen Sprachen als auch von Programmieranweisungen. Ändert man zum Beispiel die Wortanordnung in dem Satz “Die Katze saß auf der Schachtel” in “Die Schachtel war auf der Katze”, ergibt sich ein völlig anderes Szenario. Ähnlich verhält es sich bei komplexen Anweisungen wie der Programmcodierung: Das Beobachten von Variablenänderungen oder das Befolgen bedingter Logik erfordert die Beherrschung von Zustandsänderungen und sequentiellem Denken. Die heutigen modernen KI-Systeme, insbesondere große Sprachmodelle (LLMs), zielen darauf ab, diese Fähigkeiten zu perfektionieren.
Diesen Code zu verstehen, zu analysieren und zu beherrschen, ist keine einfache Aufgabe, und nicht alle Systeme der künstlichen Intelligenz sind dafür ausgerüstet. Tatsächlich stehen die derzeit führenden Transformer-Architekturen in diesem Bereich vor einer gewissen Herausforderung, insbesondere was die Aufmerksamkeitsmechanismen betrifft.
Der Aufmerksamkeitsmechanismus ist das Werkzeug, mit dem Transformer die Bedeutung verschiedener Wörter oder Tokens in einer Sequenz bestimmen. Diese Fähigkeit ermöglicht es den Modellen, auf frühere Teile eines Textes oder Befehls Bezug zu nehmen, wobei sie jedoch die Reihenfolge der Wörter nicht unbedingt verstehen. Einzelne Tokens werden gleichzeitig verarbeitet, und das System muss auf zusätzliche Techniken zurückgreifen, um ihre Positionen zu kodieren. Die wichtigste Technik, die zu diesem Zweck eingesetzt wird, ist die „Rotary Position Encoding“-Methode (RoPE), bei der der relative Abstand zwischen den Tokens berechnet wird. Diese Methode ist oft erfolgreich, weist jedoch eine inhärente Einschränkung auf: Sie berücksichtigt lediglich den physischen Abstand zwischen den Wörtern und lässt deren Inhalt oder Kontext völlig außer Acht.
Das Forscherteam vom MIT und dem MIT-IBM Watson AI Lab ist sich dieser Einschränkungen bewusst. Vor diesem Hintergrund haben sie kürzlich ein neues Kodierungsverfahren namens „PaTH Attention“ entwickelt. Es handelt sich um eine dynamische, kontextbezogene Technik, die den Raum zwischen Wörtern als Pfad mit eigenen Variablen betrachtet, die kleinen, datengesteuerten Anpassungen unterliegen. Diese Transformationen ergeben sich aus einem mathematischen Konzept namens „Householder-Reflexionen“ – man kann sich das wie winzige Spiegel vorstellen, die sich je nach Inhalt des jeweiligen Tokens anpassen.
Die Auswirkungen von PaTH Attention sind enorm. Da jedes Token sequentiell verarbeitet wird, beeinflusst die Kodierung, wie die zukünftige Information interpretiert wird. Dieser neue Ansatz ermöglicht es dem Modell, die Entwicklung von Bedeutungen zu verfolgen und nicht nur den Abstand zwischen Token zu messen. Im Wesentlichen wird den Transformatoren eine Art “Positionsgedächtnis” zur Verfügung gestellt, das es ihnen ermöglicht, besser zu verstehen, wie sich Entitäten und Beziehungen im Laufe der Zeit verändern.
Die Forscher gingen noch einen Schritt weiter, indem sie die Möglichkeit untersuchten, die Technik des selektiven Vergessens in PaTH Attention zu integrieren. Durch die Kombination von PaTH mit einer anderen Strategie, dem Forgetting Transformer (FoX), waren die Modelle in der Lage, ältere oder weniger relevante Informationen außer Acht zu lassen. Diese neuartige Verschmelzung, bekannt als PaTH-FoX, zeigte ein hohes Maß an Effizienz bei Verstehens- und Schlussfolgerungsaufgaben mit langen Kontexten.
Yoon Kim, außerordentlicher Professor am MIT, meint: “Unser neuer Ansatz war in der Lage, bestehende Aufmerksamkeitsmechanismen sowohl bei diagnostischen Aufgaben als auch bei realen Sprachmodellierungsaufgaben zu übertreffen und dabei ihre Effizienz zu erhalten.”
Diese bahnbrechende Forschung, die vom MIT-IBM Watson AI Lab durchgeführt und vom AI2050-Programm bei Schmidt Sciences unterstützt wird, vertieft unser Verständnis der Fähigkeiten der KI noch weiter. Sie ist Teil einer übergreifenden Initiative, die Grenzen dessen, was KI-Systeme leisten können, zu erweitern.
Um die Bedeutung dieser Arbeit zu rechtfertigen, fügte Kim hinzu: “Ich bin gespannt, ob diese Arten von datenabhängigen Positionskodierungen wie PATH die Leistung von Transformatoren in strukturierten Bereichen wie der Biologie bei der Analyse von Proteinen oder DNA verbessern.”
Dieser bemerkenswerte Sprung in der KI-Technologie wurde in einem auf der Conference on Neural Information Processing Systems (NeurIPS) vorgestellten Papier ausführlich beschrieben. Die vollständigen Einzelheiten zu dieser revolutionären Forschung finden Sie unter MIT-Nachrichten.
Diese Website verwendet Cookies.