Das Training großer KI-Modelle kann eine gewaltige Aufgabe sein, sowohl in Bezug auf die Kosten als auch auf die eingesetzten Ressourcen. Der herkömmliche Ansatz zur Erstellung eines kompakten, schnelleren Modells besteht darin, entweder zunächst ein umfangreiches Modell zu trainieren und es dann zu verkleinern oder ein kleineres Modell von Grund auf zu erstellen, wobei jedoch Kompromisse bei der Leistung eingegangen werden. Ein Kollektiv von Forschern aus führenden Institutionen hat sich jedoch zusammengetan, um eine revolutionäre Methode zu entwickeln, um dieses Problem zu lösen.
Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT, des Max-Planck-Instituts für Intelligente Systeme, des European Laboratory for Learning and Intelligent Systems, der ETH und von Liquid AI haben eine innovative Technik vorgestellt, die aus dem traditionellen Spektrum herausfällt CompreSSM. Es zielt auf die Familie der KI-Architekturen ab, die als Zustandsraummodelle bekannt sind und Anwendungen aus verschiedenen Bereichen wie der Sprachverarbeitung und Robotik zugute kommen.
Das Geniale an CompreSSM ist, dass es mathematische Werkzeuge aus der Kontrolltheorie nutzt, um die aktiven und inaktiven Komponenten eines Modells zu bestimmen. Sobald diese identifiziert sind, werden die überflüssigen Komponenten in den frühen Phasen des Trainings entfernt. Bei dieser Technik geht es nicht nur darum, ein Modell zu verkleinern und zu beschleunigen, sondern auch darum, es anzupassen - zu lernen und während der Entwicklungsphase die Teile zu entfernen, die nicht dazu beitragen.
“Die relative Bedeutung der verschiedenen Komponenten innerhalb dieser Modelle stabilisiert sich überraschend früh während des Trainings”, erklärte Makram Chahine, einer der Forscher und Mitglied des CSAIL. Sie messen diesen Beitrag mit Hilfe eines mathematischen Systems namens Hankel-Singularwerte, das die Dimensionen erst nach zehn Prozent des Trainingsprozesses in eine Rangfolge bringt.
Der gesamte Prozess hat zu einigen dramatischen Ergebnissen geführt. Zum Vergleich: Die komprimierten Modelle konnten fast die gleiche Genauigkeit wie die Modelle in voller Größe beibehalten, während sie 1,5 Mal schneller trainierten. Selbst ein Modell, das auf etwa ein Viertel seiner ursprünglichen Größe geschrumpft wurde, erreichte beim CIFAR-10-Benchmark eine Genauigkeit von 85,7 Prozent. Ein kritischer Faktor ist hier, dass ein Modell derselben Größe, das von Grund auf neu trainiert wurde, nur 81,8 Prozent erreichen konnte.
Was CompreSSM auszeichnet, ist sein theoretischer Ansatz, der im Vergleich zu den bestehenden Methoden fundierter und genauer ist. Bei herkömmlichen Methoden wird das gesamte Modell trainiert und dann werden die Parameter entfernt, was fast dasselbe kostet wie das Training eines großen Modells. CompreSSM mit seiner mathematischen Unterstützung kann in der Mitte des Trainingsprozesses kalkulierte Kompressionsentscheidungen treffen. Diese Modelle beweisen, dass sich die Wichtigkeit einzelner Modellzustände während des Trainings reibungslos ändert und dass ihre relative Rangfolge stabil ist, was den Entwicklern die Gewissheit gibt, dass Dimensionen, die anfangs als vernachlässigbar galten, später nicht plötzlich wichtig werden.
CompreSSM ist zwar vielversprechend, aber es ist wichtig zu beachten, dass es am besten bei Modellen funktioniert, die eine starke Korrelation zwischen der internen Zustandsdimension und der Gesamtleistung aufweisen. Die Methode ist am effektivsten bei Modellen mit mehreren Eingängen und Ausgängen (MIMO). Bei Modellen, die auf einem einzigen Eingang/Ausgang basieren, sind die Gewinne bescheiden, da diese Modelle weniger auf Änderungen der Zustandsdimension reagieren.
Das Forscherteam sieht diese Errungenschaft als ein Sprungbrett. Sie haben bereits eine Erweiterung auf lineare zeitvariable Systeme wie Mamba geschafft und wollen CompreSSM weiter in Richtung matrixwertiger dynamischer Systeme vorantreiben, um die Technik näher an Transformator-Architekturen heranzuführen, die den meisten der größten KI-Systeme von heute zugrunde liegen.
Antonio Orvieto, ein Forscher, der nicht an der Untersuchung beteiligt war, erklärte: “Die Arbeit eröffnet neue Wege für die zukünftige Forschung, und der vorgeschlagene Algorithmus hat das Potenzial, ein Standardansatz für das Vortraining großer SSM-basierter Modelle zu werden.”
Die Arbeit dieser Forscher wurde als Konferenzbeitrag auf der International Conference on Learning Representations 2026 vorgestellt. Unterstützt durch das Max Planck ETH Center for Learning Systems, die Hector Foundation, Boeing und das U.S. Office of Naval Research, finden Sie weitere Details zu dieser Entwicklung hier.
Besitzen Sie ein Unternehmen, das KI-Automatisierung benötigt? Sehen Sie sich implementi.ai für innovative Lösungen, die sorgfältig auf die Bedürfnisse Ihres Unternehmens zugeschnitten sind. Es hat den Anschein, dass sich der Bereich der künstlichen Intelligenz und ihrer Anwendungen weiterentwickelt, traditionelle Grenzen durchbricht und Prozesse zum Besseren hin optimiert.
Diese Website verwendet Cookies.