Trenowanie du\u017cych modeli sztucznej inteligencji mo\u017ce by\u0107 trudnym zadaniem, zar\u00f3wno pod wzgl\u0119dem koszt\u00f3w, jak i zaanga\u017cowanych zasob\u00f3w. Tradycyjne podej\u015bcie do tworzenia kompaktowego, szybszego modelu polega albo na trenowaniu najpierw obszernego modelu, a nast\u0119pnie zmniejszaniu go, albo na tworzeniu mniejszego od zera, ale z uszczerbkiem dla wydajno\u015bci. Jednak kolektyw naukowc\u00f3w z wiod\u0105cych instytucji po\u0142\u0105czy\u0142 si\u0142y, aby stworzy\u0107 rewolucyjn\u0105 metod\u0119 rozwi\u0105zania tego problemu.<\/p>\n
Naukowcy z MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), Max Planck Institute for Intelligent Systems, European Laboratory for Learning and Intelligent Systems, ETH i Liquid AI zaprezentowali innowacyjn\u0105 technik\u0119 wprost z tradycyjnego spektrum o nazwie CompreSSM<\/a>. Jest on skierowany do rodziny architektur AI znanych jako modele przestrzeni stan\u00f3w, przynosz\u0105c korzy\u015bci aplikacjom z r\u00f3\u017cnych sektor\u00f3w, takich jak przetwarzanie j\u0119zyka i robotyka.<\/p>\n Genialn\u0105 cz\u0119\u015bci\u0105 CompreSSM jest to, \u017ce wykorzystuje on narz\u0119dzia matematyczne z teorii sterowania w celu okre\u015blenia aktywnych i nieaktywnych komponent\u00f3w modelu. Po ich zidentyfikowaniu, usuwa te niepotrzebne na wczesnych etapach szkolenia. Technika ta polega nie tylko na zmniejszeniu i przyspieszeniu modelu, ale tak\u017ce na adaptacji - uczeniu si\u0119 i usuwaniu cz\u0119\u015bci, kt\u00f3re nie przyczyniaj\u0105 si\u0119 do jego rozwoju.<\/p>\n \u201cWzgl\u0119dne znaczenie r\u00f3\u017cnych komponent\u00f3w w tych modelach stabilizuje si\u0119 zaskakuj\u0105co wcze\u015bnie podczas treningu\u201d - powiedzia\u0142 Makram Chahine, jeden z badaczy i wsp\u00f3\u0142pracownik CSAIL. Spos\u00f3b, w jaki mierz\u0105 ten wk\u0142ad, polega na systemie matematycznym zwanym warto\u015bciami osobliwymi Hankela, kt\u00f3ry szereguje wymiary wa\u017cno\u015bci dopiero po dziesi\u0119ciu procentach procesu szkolenia.<\/p>\n Ca\u0142y proces przyni\u00f3s\u0142 dramatyczne rezultaty. Aby spojrze\u0107 na to z innej perspektywy, skompresowane modele mog\u0142y utrzyma\u0107 prawie podobne poziomy dok\u0142adno\u015bci jak pe\u0142nowymiarowe modele, a jednocze\u015bnie trenowa\u0107 1,5 razy szybciej. Nawet model zmniejszony do oko\u0142o jednej czwartej swojego pierwotnego rozmiaru osi\u0105gn\u0105\u0142 85,7% dok\u0142adno\u015bci podczas testu por\u00f3wnawczego CIFAR-10. Krytycznym czynnikiem jest tutaj fakt, \u017ce model o tym samym rozmiarze wytrenowany od zera m\u00f3g\u0142 osi\u0105gn\u0105\u0107 tylko 81,8%.<\/p>\n To, co wyr\u00f3\u017cnia CompreSSM, to jego teoretyczne podej\u015bcie, kt\u00f3re jest bardziej \u015bwiadome i dok\u0142adne w por\u00f3wnaniu z istniej\u0105cymi. Tradycyjne metody trenuj\u0105 ca\u0142y model, a nast\u0119pnie usuwaj\u0105 parametry, co kosztuje prawie tyle samo, co trenowanie du\u017cego modelu. CompreSSM, ze swoim matematycznym zapleczem, mo\u017ce podejmowa\u0107 obliczone decyzje dotycz\u0105ce kompresji w po\u0142owie procesu szkolenia. Modele te dowodz\u0105, \u017ce znaczenie poszczeg\u00f3lnych stan\u00f3w modelu zmienia si\u0119 p\u0142ynnie podczas treningu, a ich wzgl\u0119dne rankingi s\u0105 stabilne, daj\u0105c programistom pewno\u015b\u0107, \u017ce wymiary uwa\u017cane za nieistotne na pocz\u0105tku, nie stan\u0105 si\u0119 nagle kluczowe p\u00f3\u017aniej.<\/p>\n Chocia\u017c CompreSSM jest obiecuj\u0105cy, nale\u017cy zauwa\u017cy\u0107, \u017ce dzia\u0142a najlepiej w modelach, kt\u00f3re wykazuj\u0105 siln\u0105 korelacj\u0119 mi\u0119dzy wymiarem stanu wewn\u0119trznego a og\u00f3ln\u0105 wydajno\u015bci\u0105. Metoda ta jest najskuteczniejsza w przypadku modeli z wieloma wej\u015bciami i wieloma wyj\u015bciami (MIMO). W przypadku modeli opartych na pojedynczym wej\u015bciu-wyj\u015bciu zyski s\u0105 skromne, poniewa\u017c modele te s\u0105 mniej wra\u017cliwe na zmiany wymiaru stanu.<\/p>\n Zesp\u00f3\u0142 badaczy postrzega to osi\u0105gni\u0119cie jako kamie\u0144 milowy. Uda\u0142o im si\u0119 ju\u017c rozszerzy\u0107 CompreSSM na liniowe systemy zmienne w czasie, takie jak Mamba, i zamierzaj\u0105 popchn\u0105\u0107 CompreSSM dalej w kierunku system\u00f3w dynamicznych o warto\u015bciach macierzowych, zbli\u017caj\u0105c technik\u0119 do architektur transformatorowych, kt\u00f3re stanowi\u0105 podstaw\u0119 wi\u0119kszo\u015bci dzisiejszych najwi\u0119kszych system\u00f3w sztucznej inteligencji.<\/p>\n Antonio Orvieto, badacz, kt\u00f3ry nie bra\u0142 udzia\u0142u w badaniach, stwierdzi\u0142: \u201cPraca otwiera nowe mo\u017cliwo\u015bci dla przysz\u0142ych bada\u0144, a proponowany algorytm mo\u017ce sta\u0107 si\u0119 standardowym podej\u015bciem do wst\u0119pnego trenowania du\u017cych modeli opartych na SSM\u201d.\u201d<\/p>\n Praca tych badaczy zosta\u0142a zaakceptowana jako dokument konferencyjny<\/a> na Mi\u0119dzynarodowej Konferencji na temat Reprezentacji Uczenia si\u0119 2026. Wspierane przez Max Planck ETH Center for Learning Systems, Hector Foundation, Boeing i U.S. Office of Naval Research, wi\u0119cej szczeg\u00f3\u0142\u00f3w na temat tego rozwoju mo\u017cna znale\u017a\u0107 na stronie tutaj<\/a>.<\/p>\n