Naukowcy z MIT usprawniają rozumowanie LLM dzięki szkoleniom w czasie testów

Duże modele językowe dokonały ogromnego postępu w zakresie rozumienia i wykorzystywania języka ludzkiego przez komputery — ich działanie widać wszędzie, od błyskawicznych streszczeń dokumentów po natychmiastowe tłumaczenia i sprytne boty odpowiadające na pytania. Jednak mimo całej swojej inteligencji modele te mogą napotkać przeszkodę, gdy staną przed wyzwaniami wymagającymi prawdziwego rozumowania lub odrobiny ludzkiej logiki. Wyobraź sobie sztuczną inteligencję, która bez trudu generuje podsumowania finansowe, ale ma trudności, gdy poprosisz ją o wykrycie podejrzanych transakcji lub przewidzenie przyszłych trendów rynkowych. Dlaczego? Gdy modele te trafią do powszechnego użytku, nie są w stanie samodzielnie nabywać nowych umiejętności ani stawać się mądrzejsze.

Szkolenie w trakcie testów: nowe życie dla sztucznej inteligencji

Naukowcy z MIT uznali, że to za mało, i opracowali metodę zwaną “uczeniem w czasie testowania”. Zamiast aktualizować cały model lub uczyć go od nowa, to sprytne podejście pozwala na bieżąco dostosowywać określone elementy sztucznej inteligencji – dokładnie wtedy, gdy jest to potrzebne. W ten sposób model pozostaje w swej istocie niezmieniony, ale może tymczasowo dostosować się do rozwiązywania trudniejszych lub zupełnie nowych problemów. Ekin Akyürek, członek zespołu, zwięźle to wyjaśnił: te modele sztucznej inteligencji nie są w stanie samodzielnie się uczyć po wdrożeniu – jednak dzięki niewielkiej, przemyślanej interwencji ich możliwości robią ogromny krok naprzód.

Wcześniej większość osób polegała na tak zwanym “uczeniu się w kontekście”, aby poprawić sposób, w jaki modele te radzą sobie z nowymi problemami: pokazuje się im kilka przykładów i pozwala im wyłapać wzorzec. To działa – do pewnego stopnia. Problem polega na tym, że jeśli zadanie naprawdę wymaga rozumowania lub elastyczności, podejście to często zawodzi, a wyniki są rozczarowujące.

Ogromny impuls dzięki myśleniu hybrydowemu

Zespół z MIT poszedł o krok dalej, łącząc uczenie się w kontekście z uczeniem się w czasie testowania. Oto, co sprawia, że rozwiązanie to jest wyjątkowe: podczas wnioskowania – czyli na etapie, kiedy sztuczna inteligencja faktycznie rozwiązuje problem – model przechodzi mini-kurs intensywny z wykorzystaniem zestawu przykładów dostosowanych specjalnie do danego zadania. Zamiast gruntownej przebudowy ogromnego zestawu parametrów sztucznej inteligencji aktualizowany jest jedynie niewielki, kluczowy podzbiór. Ta technika, znana jako “adaptacja niskiej rangi”, zapewnia lekkość i szybkość działania, zapewniając ogromny wzrost wydajności z chirurgiczną precyzją. W rzeczywistości takie połączenie może sprawić, że sztuczna inteligencja będzie działać nawet sześciokrotnie lepiej niż w przypadku stosowania wyłącznie uczenia się w kontekście.

Aby jeszcze bardziej urozmaicić ten zestaw do szybkiego uczenia, naukowcy nie ograniczali się do ponownego wykorzystania przykładów w niezmienionej postaci. Urozmaicili dane, odwracając je, mieszając i modyfikując dane wejściowe, aby stworzyć jeszcze bogatszy zestaw. Szczególnie godne uwagi jest to, że wszystkie te zmiany następują dokładnie w momencie pojawienia się nowego zadania, nie zakłócając przy tym podstawowej wiedzy modelu. Oczywiście to uczenie się w czasie rzeczywistym może sprawić, że każde zapytanie potrwa nieco dłużej – na przykład minuta zamieni się w dziesięć – ale korzyścią jest ogromny wzrost dokładności, co ma największe znaczenie przy rozwiązywaniu szczególnie złożonych lub mających duże znaczenie zagadnień.

Jak może się to dalej potoczyć?

Zespół poddał swoją metodę hybrydową rygorystycznym testom, wykorzystując naprawdę trudne wyzwania — na przykład testy pełne łamigłówek sprawdzających IQ i trudnych do wykrycia wzorców. Jakie były wyniki? W zadaniach wymagających subtelnego rozumowania lub interpretacji zupełnie nowych danych odnotowano wyraźną, mierzalną poprawę. Jak ujął to doktorant Mehul Damani, uczenie się w kontekście sprawdza się w przypadku prostych zadań, ale kiedy pozwala się modelowi na bieżąco dostosowywać się, to tak, jakby uczyć go zupełnie nowej umiejętności na żądanie.

Kolejny etap? Tworzenie modeli, które potrafią uczyć się na bieżąco, samodzielnie decydując, czy trzymać się przykładów, czy przejść do uczenia się w czasie rzeczywistym – a wszystko to bez pomocy człowieka. Jeśli uda się to osiągnąć, będzie to znaczący krok w kierunku sztucznej inteligencji, która będzie nie tylko potężniejsza, ale i rzeczywiście mądrzejsza oraz bardziej elastyczna.

Badania te były wynikiem współpracy, wspieranej przez MIT-IBM Watson AI Lab oraz Narodową Fundację Naukową (NSF), a ich wyniki zostaną po raz pierwszy zaprezentowane podczas Międzynarodowej Konferencji poświęconej uczeniu maszynowemu. Szczegółowe informacje techniczne można znaleźć w pełnym opisie badań dostępnym pod adresem MIT News.