Trenowanie dużych modeli sztucznej inteligencji może być trudnym zadaniem, zarówno pod względem kosztów, jak i zaangażowanych zasobów. Tradycyjne podejście do tworzenia kompaktowego, szybszego modelu polega albo na trenowaniu najpierw obszernego modelu, a następnie zmniejszaniu go, albo na tworzeniu mniejszego od zera, ale z uszczerbkiem dla wydajności. Jednak kolektyw naukowców z wiodących instytucji połączył siły, aby stworzyć rewolucyjną metodę rozwiązania tego problemu.
Researchers from MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL), Max Planck Institute for Intelligent Systems, European Laboratory for Learning and Intelligent Systems, ETH, and Liquid AI have displayed an innovative technique right out of the traditional spectrum called CompreSSM. Jest on skierowany do rodziny architektur AI znanych jako modele przestrzeni stanów, przynosząc korzyści aplikacjom z różnych sektorów, takich jak przetwarzanie języka i robotyka.
The brilliant part about CompreSSM is that it leverages mathematical tools from control theory to determine the active and idle components of a model. Once identified, it removes the unnecessary ones during its early stages of training. The technique is not just about making a model smaller and faster, but it’s about adaptation – learning and weeding out the non-contributing parts during its developmental phase.
“The relative importance of different components within these models stabilizes surprisingly early during training,” shared Makram Chahine, one of the researchers and CSAIL affiliate. How they measure this contribution is through a mathematical system called Hankel singular values, ranking the dimensions of importance only after ten percent of the training process.
Cały proces przyniósł dramatyczne rezultaty. Aby spojrzeć na to z innej perspektywy, skompresowane modele mogły utrzymać prawie podobne poziomy dokładności jak pełnowymiarowe modele, a jednocześnie trenować 1,5 razy szybciej. Nawet model zmniejszony do około jednej czwartej swojego pierwotnego rozmiaru osiągnął 85,7% dokładności podczas testu porównawczego CIFAR-10. Krytycznym czynnikiem jest tutaj fakt, że model o tym samym rozmiarze wytrenowany od zera mógł osiągnąć tylko 81,8%.
What makes CompreSSM distinct is its theoretical approach, which is more informed and accurate compared to the existing ones. Traditional methods train the whole model and then strip off the parameters, which costs almost the same as training a large model. CompreSSM, with its mathematical backup, can make calculated compression decisions midway through the training process. These models prove that the importance of individual model states changes smoothly during training and that their relative rankings are stable, giving developers the confidence that dimensions considered negligible early on, won’t suddenly become vital later.
While CompreSSM holds a promise, it’s important to note that it works best on models that show a strong correlation between the internal state dimension and the overall performance. The method is most effective on multi-input, multi-output (MIMO) models. For models that are single input-output based, the gains are modest since those models are less responsive to state dimension changes.
The team of researchers sees this accomplishment as a stepping stone. They have already managed an extension to linear time-varying systems such as Mamba and are looking to push CompreSSM further into matrix-valued dynamical systems, bringing the technique closer to transformer architectures that underpin most of today’s largest AI systems.
Antonio Orvieto, an investigator who was not part of the research, stated, “The work opens new avenues for future research, and the proposed algorithm has the potential to become a standard approach when pre-training large SSM-based models.”
Praca tych badaczy została zaakceptowana jako dokument konferencyjny na Międzynarodowej Konferencji na temat Reprezentacji Uczenia się 2026. Wspierane przez Max Planck ETH Center for Learning Systems, Hector Foundation, Boeing i U.S. Office of Naval Research, więcej szczegółów na temat tego rozwoju można znaleźć na stronie tutaj.
Jesteś właścicielem firmy, która potrzebuje automatyzacji AI? Sprawdź implementi.ai dla innowacyjnych rozwiązań starannie dostosowanych do potrzeb Twojej firmy. Z pewnością wydaje się, że dziedzina sztucznej inteligencji i jej zastosowań ewoluuje i przełamuje tradycyjne bariery, optymalizując procesy na lepsze.
Ta strona używa plików cookie.