Revolutionierung des AI-Trainings: CompreSSMs Durchbruch bei der Modelleffizienz

Das Training großer KI-Modelle kann eine gewaltige Aufgabe sein, sowohl in Bezug auf die Kosten als auch auf die eingesetzten Ressourcen. Der herkömmliche Ansatz zur Erstellung eines kompakten, schnelleren Modells besteht darin, entweder zunächst ein umfangreiches Modell zu trainieren und es dann zu verkleinern oder ein kleineres Modell von Grund auf zu erstellen, wobei jedoch Kompromisse bei der Leistung eingegangen werden. Ein Kollektiv von Forschern aus führenden Institutionen hat sich jedoch zusammengetan, um eine revolutionäre Methode zu entwickeln, um dieses Problem zu lösen.

Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT, des Max-Planck-Instituts für Intelligente Systeme, des European Laboratory for Learning and Intelligent Systems, der ETH und von Liquid AI haben eine innovative Technik vorgestellt, die sich deutlich vom herkömmlichen Spektrum abhebt und als CompreSSM. Es zielt auf die Familie der KI-Architekturen ab, die als Zustandsraummodelle bekannt sind und Anwendungen aus verschiedenen Bereichen wie der Sprachverarbeitung und Robotik zugute kommen.

Das Geniale an CompreSSM ist, dass es mathematische Werkzeuge aus der Regelungstechnik nutzt, um die aktiven und inaktiven Komponenten eines Modells zu ermitteln. Sobald diese identifiziert sind, werden die überflüssigen Komponenten bereits in den frühen Phasen des Trainings entfernt. Bei dieser Technik geht es nicht nur darum, ein Modell kleiner und schneller zu machen, sondern um Anpassung – darum, während der Entwicklungsphase zu lernen und die nicht beitragenden Teile auszusortieren.

“Die relative Bedeutung der verschiedenen Komponenten innerhalb dieser Modelle stabilisiert sich überraschend früh während des Trainings”, erklärte Makram Chahine, einer der Forscher und Mitarbeiter des CSAIL. Um diesen Beitrag zu messen, verwenden sie ein mathematisches System namens Hankel-Singulärwerte, das die Dimensionen bereits nach zehn Prozent des Trainingsprozesses nach ihrer Bedeutung einstuft.

Der gesamte Prozess hat zu einigen dramatischen Ergebnissen geführt. Zum Vergleich: Die komprimierten Modelle konnten fast die gleiche Genauigkeit wie die Modelle in voller Größe beibehalten, während sie 1,5 Mal schneller trainierten. Selbst ein Modell, das auf etwa ein Viertel seiner ursprünglichen Größe geschrumpft wurde, erreichte beim CIFAR-10-Benchmark eine Genauigkeit von 85,7 Prozent. Ein kritischer Faktor ist hier, dass ein Modell derselben Größe, das von Grund auf neu trainiert wurde, nur 81,8 Prozent erreichen konnte.

Was CompreSSM auszeichnet, ist sein theoretischer Ansatz, der im Vergleich zu bestehenden Ansätzen fundierter und präziser ist. Bei herkömmlichen Methoden wird das gesamte Modell trainiert und anschließend werden die Parameter entfernt, was fast genauso viel Rechenaufwand erfordert wie das Training eines großen Modells. CompreSSM kann dank seiner mathematischen Grundlage bereits während des Trainingsprozesses fundierte Komprimierungsentscheidungen treffen. Diese Modelle belegen, dass sich die Bedeutung einzelner Modellzustände während des Trainings fließend verändert und dass ihre relative Rangfolge stabil bleibt. Dies gibt Entwicklern die Gewissheit, dass Dimensionen, die zu Beginn als vernachlässigbar galten, später nicht plötzlich entscheidend werden.

Auch wenn CompreSSM vielversprechend ist, muss beachtet werden, dass es am besten bei Modellen funktioniert, bei denen eine starke Korrelation zwischen der Dimension des internen Zustands und der Gesamtleistung besteht. Die Methode ist bei Modellen mit mehreren Eingängen und Ausgängen (MIMO) am effektivsten. Bei Modellen, die auf einem einzigen Ein- und Ausgang basieren, sind die Vorteile eher gering, da diese Modelle weniger empfindlich auf Änderungen der Zustandsdimension reagieren.

Das Forscherteam betrachtet diesen Erfolg als einen Meilenstein. Es ist bereits gelungen, die Methode auf lineare, zeitabhängige Systeme wie Mamba auszuweiten, und nun soll CompreSSM weiter auf matrixwertige dynamische Systeme ausgeweitet werden, um die Technik näher an die Transformer-Architekturen heranzuführen, auf denen die meisten der heutigen größten KI-Systeme basieren.

Antonio Orvieto, ein Forscher, der nicht an der Studie beteiligt war, erklärte: “Die Arbeit eröffnet neue Wege für die zukünftige Forschung, und der vorgeschlagene Algorithmus hat das Potenzial, sich zu einem Standardansatz beim Vortraining großer SSM-basierter Modelle zu entwickeln.”

Die Arbeit dieser Forscher wurde als Konferenzbeitrag auf der International Conference on Learning Representations 2026 vorgestellt. Unterstützt durch das Max Planck ETH Center for Learning Systems, die Hector Foundation, Boeing und das U.S. Office of Naval Research, finden Sie weitere Details zu dieser Entwicklung hier.

Besitzen Sie ein Unternehmen, das KI-Automatisierung benötigt? Sehen Sie sich implementi.ai für innovative Lösungen, die sorgfältig auf die Bedürfnisse Ihres Unternehmens zugeschnitten sind. Es hat den Anschein, dass sich der Bereich der künstlichen Intelligenz und ihrer Anwendungen weiterentwickelt, traditionelle Grenzen durchbricht und Prozesse zum Besseren hin optimiert.