Das Training gro\u00dfer KI-Modelle kann eine gewaltige Aufgabe sein, sowohl in Bezug auf die Kosten als auch auf die eingesetzten Ressourcen. Der herk\u00f6mmliche Ansatz zur Erstellung eines kompakten, schnelleren Modells besteht darin, entweder zun\u00e4chst ein umfangreiches Modell zu trainieren und es dann zu verkleinern oder ein kleineres Modell von Grund auf zu erstellen, wobei jedoch Kompromisse bei der Leistung eingegangen werden. Ein Kollektiv von Forschern aus f\u00fchrenden Institutionen hat sich jedoch zusammengetan, um eine revolution\u00e4re Methode zu entwickeln, um dieses Problem zu l\u00f6sen.<\/p>\n
Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT, des Max-Planck-Instituts f\u00fcr Intelligente Systeme, des European Laboratory for Learning and Intelligent Systems, der ETH und von Liquid AI haben eine innovative Technik vorgestellt, die sich deutlich vom herk\u00f6mmlichen Spektrum abhebt und als CompreSSM<\/a>. Es zielt auf die Familie der KI-Architekturen ab, die als Zustandsraummodelle bekannt sind und Anwendungen aus verschiedenen Bereichen wie der Sprachverarbeitung und Robotik zugute kommen.<\/p>\n Das Geniale an CompreSSM ist, dass es mathematische Werkzeuge aus der Regelungstechnik nutzt, um die aktiven und inaktiven Komponenten eines Modells zu ermitteln. Sobald diese identifiziert sind, werden die \u00fcberfl\u00fcssigen Komponenten bereits in den fr\u00fchen Phasen des Trainings entfernt. Bei dieser Technik geht es nicht nur darum, ein Modell kleiner und schneller zu machen, sondern um Anpassung \u2013 darum, w\u00e4hrend der Entwicklungsphase zu lernen und die nicht beitragenden Teile auszusortieren.<\/p>\n \u201cDie relative Bedeutung der verschiedenen Komponenten innerhalb dieser Modelle stabilisiert sich \u00fcberraschend fr\u00fch w\u00e4hrend des Trainings\u201d, erkl\u00e4rte Makram Chahine, einer der Forscher und Mitarbeiter des CSAIL. Um diesen Beitrag zu messen, verwenden sie ein mathematisches System namens Hankel-Singul\u00e4rwerte, das die Dimensionen bereits nach zehn Prozent des Trainingsprozesses nach ihrer Bedeutung einstuft.<\/p>\n Der gesamte Prozess hat zu einigen dramatischen Ergebnissen gef\u00fchrt. Zum Vergleich: Die komprimierten Modelle konnten fast die gleiche Genauigkeit wie die Modelle in voller Gr\u00f6\u00dfe beibehalten, w\u00e4hrend sie 1,5 Mal schneller trainierten. Selbst ein Modell, das auf etwa ein Viertel seiner urspr\u00fcnglichen Gr\u00f6\u00dfe geschrumpft wurde, erreichte beim CIFAR-10-Benchmark eine Genauigkeit von 85,7 Prozent. Ein kritischer Faktor ist hier, dass ein Modell derselben Gr\u00f6\u00dfe, das von Grund auf neu trainiert wurde, nur 81,8 Prozent erreichen konnte.<\/p>\n Was CompreSSM auszeichnet, ist sein theoretischer Ansatz, der im Vergleich zu bestehenden Ans\u00e4tzen fundierter und pr\u00e4ziser ist. Bei herk\u00f6mmlichen Methoden wird das gesamte Modell trainiert und anschlie\u00dfend werden die Parameter entfernt, was fast genauso viel Rechenaufwand erfordert wie das Training eines gro\u00dfen Modells. CompreSSM kann dank seiner mathematischen Grundlage bereits w\u00e4hrend des Trainingsprozesses fundierte Komprimierungsentscheidungen treffen. Diese Modelle belegen, dass sich die Bedeutung einzelner Modellzust\u00e4nde w\u00e4hrend des Trainings flie\u00dfend ver\u00e4ndert und dass ihre relative Rangfolge stabil bleibt. Dies gibt Entwicklern die Gewissheit, dass Dimensionen, die zu Beginn als vernachl\u00e4ssigbar galten, sp\u00e4ter nicht pl\u00f6tzlich entscheidend werden.<\/p>\n Auch wenn CompreSSM vielversprechend ist, muss beachtet werden, dass es am besten bei Modellen funktioniert, bei denen eine starke Korrelation zwischen der Dimension des internen Zustands und der Gesamtleistung besteht. Die Methode ist bei Modellen mit mehreren Eing\u00e4ngen und Ausg\u00e4ngen (MIMO) am effektivsten. Bei Modellen, die auf einem einzigen Ein- und Ausgang basieren, sind die Vorteile eher gering, da diese Modelle weniger empfindlich auf \u00c4nderungen der Zustandsdimension reagieren.<\/p>\n Das Forscherteam betrachtet diesen Erfolg als einen Meilenstein. Es ist bereits gelungen, die Methode auf lineare, zeitabh\u00e4ngige Systeme wie Mamba auszuweiten, und nun soll CompreSSM weiter auf matrixwertige dynamische Systeme ausgeweitet werden, um die Technik n\u00e4her an die Transformer-Architekturen heranzuf\u00fchren, auf denen die meisten der heutigen gr\u00f6\u00dften KI-Systeme basieren.<\/p>\n Antonio Orvieto, ein Forscher, der nicht an der Studie beteiligt war, erkl\u00e4rte: \u201cDie Arbeit er\u00f6ffnet neue Wege f\u00fcr die zuk\u00fcnftige Forschung, und der vorgeschlagene Algorithmus hat das Potenzial, sich zu einem Standardansatz beim Vortraining gro\u00dfer SSM-basierter Modelle zu entwickeln.\u201d<\/p>\n Die Arbeit dieser Forscher wurde als Konferenzbeitrag<\/a> auf der International Conference on Learning Representations 2026 vorgestellt. Unterst\u00fctzt durch das Max Planck ETH Center for Learning Systems, die Hector Foundation, Boeing und das U.S. Office of Naval Research, finden Sie weitere Details zu dieser Entwicklung hier<\/a>.<\/p>\n