Rewolucja w szkoleniach AI: Przełom w wydajności modeli dzięki CompreSSM

Trenowanie dużych modeli sztucznej inteligencji może być trudnym zadaniem, zarówno pod względem kosztów, jak i zaangażowanych zasobów. Tradycyjne podejście do tworzenia kompaktowego, szybszego modelu polega albo na trenowaniu najpierw obszernego modelu, a następnie zmniejszaniu go, albo na tworzeniu mniejszego od zera, ale z uszczerbkiem dla wydajności. Jednak kolektyw naukowców z wiodących instytucji połączył siły, aby stworzyć rewolucyjną metodę rozwiązania tego problemu.

Naukowcy z MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), Max Planck Institute for Intelligent Systems, European Laboratory for Learning and Intelligent Systems, ETH i Liquid AI zaprezentowali innowacyjną technikę wprost z tradycyjnego spektrum o nazwie CompreSSM. Jest on skierowany do rodziny architektur AI znanych jako modele przestrzeni stanów, przynosząc korzyści aplikacjom z różnych sektorów, takich jak przetwarzanie języka i robotyka.

Genialną częścią CompreSSM jest to, że wykorzystuje on narzędzia matematyczne z teorii sterowania w celu określenia aktywnych i nieaktywnych komponentów modelu. Po ich zidentyfikowaniu, usuwa te niepotrzebne na wczesnych etapach szkolenia. Technika ta polega nie tylko na zmniejszeniu i przyspieszeniu modelu, ale także na adaptacji - uczeniu się i usuwaniu części, które nie przyczyniają się do jego rozwoju.

“Względne znaczenie różnych komponentów w tych modelach stabilizuje się zaskakująco wcześnie podczas treningu” - powiedział Makram Chahine, jeden z badaczy i współpracownik CSAIL. Sposób, w jaki mierzą ten wkład, polega na systemie matematycznym zwanym wartościami osobliwymi Hankela, który szereguje wymiary ważności dopiero po dziesięciu procentach procesu szkolenia.

Cały proces przyniósł dramatyczne rezultaty. Aby spojrzeć na to z innej perspektywy, skompresowane modele mogły utrzymać prawie podobne poziomy dokładności jak pełnowymiarowe modele, a jednocześnie trenować 1,5 razy szybciej. Nawet model zmniejszony do około jednej czwartej swojego pierwotnego rozmiaru osiągnął 85,7% dokładności podczas testu porównawczego CIFAR-10. Krytycznym czynnikiem jest tutaj fakt, że model o tym samym rozmiarze wytrenowany od zera mógł osiągnąć tylko 81,8%.

To, co wyróżnia CompreSSM, to jego teoretyczne podejście, które jest bardziej świadome i dokładne w porównaniu z istniejącymi. Tradycyjne metody trenują cały model, a następnie usuwają parametry, co kosztuje prawie tyle samo, co trenowanie dużego modelu. CompreSSM, ze swoim matematycznym zapleczem, może podejmować obliczone decyzje dotyczące kompresji w połowie procesu szkolenia. Modele te dowodzą, że znaczenie poszczególnych stanów modelu zmienia się płynnie podczas treningu, a ich względne rankingi są stabilne, dając programistom pewność, że wymiary uważane za nieistotne na początku, nie staną się nagle kluczowe później.

Chociaż CompreSSM jest obiecujący, należy zauważyć, że działa najlepiej w modelach, które wykazują silną korelację między wymiarem stanu wewnętrznego a ogólną wydajnością. Metoda ta jest najskuteczniejsza w przypadku modeli z wieloma wejściami i wieloma wyjściami (MIMO). W przypadku modeli opartych na pojedynczym wejściu-wyjściu zyski są skromne, ponieważ modele te są mniej wrażliwe na zmiany wymiaru stanu.

Zespół badaczy postrzega to osiągnięcie jako kamień milowy. Udało im się już rozszerzyć CompreSSM na liniowe systemy zmienne w czasie, takie jak Mamba, i zamierzają popchnąć CompreSSM dalej w kierunku systemów dynamicznych o wartościach macierzowych, zbliżając technikę do architektur transformatorowych, które stanowią podstawę większości dzisiejszych największych systemów sztucznej inteligencji.

Antonio Orvieto, badacz, który nie brał udziału w badaniach, stwierdził: “Praca otwiera nowe możliwości dla przyszłych badań, a proponowany algorytm może stać się standardowym podejściem do wstępnego trenowania dużych modeli opartych na SSM”.”

Praca tych badaczy została zaakceptowana jako dokument konferencyjny na Międzynarodowej Konferencji na temat Reprezentacji Uczenia się 2026. Wspierane przez Max Planck ETH Center for Learning Systems, Hector Foundation, Boeing i U.S. Office of Naval Research, więcej szczegółów na temat tego rozwoju można znaleźć na stronie tutaj.

Jesteś właścicielem firmy, która potrzebuje automatyzacji AI? Sprawdź implementi.ai dla innowacyjnych rozwiązań starannie dostosowanych do potrzeb Twojej firmy. Z pewnością wydaje się, że dziedzina sztucznej inteligencji i jej zastosowań ewoluuje i przełamuje tradycyjne bariery, optymalizując procesy na lepsze.