W dynamicznie rozwijającej się dziedzinie sztucznej inteligencji ogromny wpływ wywarły duże modele językowe (LLM) wykorzystujące zdolności rozumowania. Te potężne narzędzia potrafią rozkładać złożone zadania na łatwiejsze do opanowania etapy – wyjątkowo dobrze radzą sobie z wymagającymi wyzwaniami, takimi jak wieloaspektowe planowanie i zaawansowane programowanie. Jednak, podobnie jak każdy postęp, modele te wiążą się z pewnymi kosztami. Ich opracowanie wymaga intensywnych obliczeń i zużywa znaczną ilość energii, a nieefektywność systemu często prowadzi do sytuacji, w której procesory o dużej mocy pozostają w stanie bezczynności, podczas gdy inne wykonują skomplikowane zadania.
Zespół naukowców z MIT i różnych innych instytucji podjął się rozwiązania tego problemu, opracowując innowacyjne rozwiązanie, które wykorzystuje ten czas przestoju obliczeniowego. Ich podejście polega na wykorzystaniu mniejszego, szybszego modelu “szkicującego” do przewidywania wyników większego modelu LLM odpowiedzialnego za wnioskowanie, które są następnie weryfikowane przez ten większy model. Metoda ta jest wyjątkowa, ponieważ mniejszy model jest uruchamiany wyłącznie wtedy, gdy zasoby procesora pozostają niewykorzystane. To genialne posunięcie pozwala wykorzystać zasoby obliczeniowe, które w przeciwnym razie zostałyby zmarnowane, zwiększając prędkość uczenia bez zwiększania obciążenia systemowego.
Zespół nie poprzestał jednak na tym etapie innowacyjnych prac. Zauważył problem synchronizacji w standardowych algorytmach uczenia się przez wzmocnienie (RL), który powodował, że niektóre procesory pozostawały bezczynne, czekając po prostu, aż inne zakończą generowanie dłuższych odpowiedzi. Uczenie się przez wzmocnienie (RL) jest kluczowym elementem umożliwiającym modelom LLM zdolnym do rozumowania identyfikowanie i korygowanie błędów w swoim rozumowaniu. Proces RL przebiega cyklicznie: model generuje kilka potencjalnych odpowiedzi, otrzymuje nagrody za lepsze propozycje, a następnie jest aktualizowany na podstawie najlepszych odpowiedzi. Często prowadziło to jednak do nieefektywnego wykorzystania czasu – generowanie wielu odpowiedzi mogło pochłaniać nawet 85 procent czasu wykonania podczas szkolenia RL, przez co sama część ‘szkolenia’ zajmowała jedynie minimalną część tego czasu.
Naukowcy szukali sposobu, by przekształcić ten czas bezczynności w użyteczne korzyści, oszczędzając przy tym koszty i czas. Zagłębili się w koncepcję znaną jako dekodowanie spekulatywne – proces, w którym mniejszy model “szkicujący” przewiduje przyszłe wyniki większego modelu, a następnie poddaje je weryfikacji przez ten większy model. Największą zaletą tej metody jest to, że większy model może jednocześnie weryfikować wszystkie prognozy modelu „drafter”, zamiast generować każdy wynik po kolei – co znacznie przyspiesza cały proces.
Kolejną przełomową innowacją był opracowany przez naukowców system “Taming the Long Tail” (TLT). Wyzwaniem związanym z uczeniem się przez wzmocnienie było to, że statyczny, raz wytrenowany model stawał się nieaktualny, ponieważ model wnioskowania przechodził tysiące aktualizacji podczas treningu. TLT to elastyczny system wyposażony w adaptacyjny moduł szkolący, który wykorzystuje czas bezczynności procesora do ciągłego szkolenia modelu generującego, utrzymując go na bieżąco z modelem docelowym bez ponoszenia dodatkowych kosztów obliczeniowych. Jego drugi komponent, adaptacyjny silnik rolloutowy, automatycznie wybiera najlepszą strategię spekulatywnego dekodowania dla każdej nowej partii danych wejściowych.
TLT wykorzystało lekką konstrukcję modelu generującego, co umożliwiło szybkie szkolenie. Do szkolenia modelu generującego wykorzystano elementy pochodzące z procesu szkolenia modelu rozumowania, co dodatkowo przyspieszyło cały proces szkolenia. Wyniki były obiecujące – testy przeprowadzone na wielu modelach LLM służących do wnioskowania wykazały przyspieszenie procesu szkolenia o 70–210 procent, bez utraty dokładności modeli.
Niektóre z innych korzyści odnotowanych przez badaczy obejmowały fakt, że mniejszy model draftera okazał się wartościowy nawet podczas jego wdrażania. W dłuższej perspektywie ich planem jest zintegrowanie TLT z innymi ramami szkoleniowymi i wnioskowania oraz zbadanie większej liczby aplikacji uczenia się ze wzmocnieniem, które mogłyby skorzystać z tego podejścia. Wraz z pojawieniem się rozumowania jako kluczowego aspektu w zapotrzebowaniu na wnioskowanie, TLT oferuje rozwiązanie zwiększające wydajność obliczeń sztucznej inteligencji, eliminując wąskie gardło obliczeniowe w szkoleniu tych modeli rozumowania.
Te przełomowe badania są wspierane przez wybitne instytucje, takie jak MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company i National Science Foundation. Więcej informacji na temat badań, metodologii i ich potencjału można znaleźć na stronie oryginalny artykuł prasowy.
Ta strona używa plików cookie.