Naukowcy z MIT usprawniają rozumowanie LLM dzięki szkoleniom w czasie testów

Large language models have made major leaps in how computers understand and use human language—you see their handiwork in everything from rapid-fire document summaries to instant translations and slick Q&A bots. But as smart as they are, these models can hit a wall when faced with challenges that call for genuine reasoning or a touch of human logic. Imagine an AI that spins out financial summaries without breaking a sweat, but struggles if you ask it to sniff out suspicious transactions or predict where the market is headed next. The reason? Once these models are released into the wild, they can’t really pick up new skills or make themselves smarter on their own.

Szkolenie w trakcie testów: nowe życie dla sztucznej inteligencji

Naukowcy z MIT uznali, że to za mało, i opracowali metodę zwaną “uczeniem w czasie testowania”. Zamiast aktualizować cały model lub uczyć go od nowa, to sprytne podejście pozwala na bieżąco dostosowywać określone elementy sztucznej inteligencji – dokładnie wtedy, gdy jest to potrzebne. W ten sposób model pozostaje w swej istocie niezmieniony, ale może tymczasowo dostosować się do rozwiązywania trudniejszych lub zupełnie nowych problemów. Ekin Akyürek, członek zespołu, zwięźle to wyjaśnił: te modele sztucznej inteligencji nie są w stanie samodzielnie się uczyć po wdrożeniu – jednak dzięki niewielkiej, przemyślanej interwencji ich możliwości robią ogromny krok naprzód.

Wcześniej większość osób polegała na tak zwanym “uczeniu się w kontekście”, aby poprawić sposób, w jaki modele te radzą sobie z nowymi problemami: pokazuje się im kilka przykładów i pozwala im wyłapać wzorzec. To działa – do pewnego stopnia. Problem polega na tym, że jeśli zadanie naprawdę wymaga rozumowania lub elastyczności, podejście to często zawodzi, a wyniki są rozczarowujące.

Ogromny impuls dzięki myśleniu hybrydowemu

Zespół z MIT poszedł o krok dalej, łącząc uczenie się w kontekście z uczeniem się w czasie testowania. Oto, co sprawia, że rozwiązanie to jest wyjątkowe: podczas wnioskowania – czyli na etapie, kiedy sztuczna inteligencja faktycznie rozwiązuje problem – model przechodzi mini-kurs intensywny z wykorzystaniem zestawu przykładów dostosowanych specjalnie do danego zadania. Zamiast gruntownej przebudowy ogromnego zestawu parametrów sztucznej inteligencji aktualizowany jest jedynie niewielki, kluczowy podzbiór. Ta technika, znana jako “adaptacja niskiej rangi”, zapewnia lekkość i szybkość działania, zapewniając ogromny wzrost wydajności z chirurgiczną precyzją. W rzeczywistości takie połączenie może sprawić, że sztuczna inteligencja będzie działać nawet sześciokrotnie lepiej niż w przypadku stosowania wyłącznie uczenia się w kontekście.

Aby jeszcze bardziej urozmaicić ten zestaw do szybkiego uczenia, naukowcy nie ograniczali się do ponownego wykorzystania przykładów w niezmienionej postaci. Urozmaicili dane, odwracając je, mieszając i modyfikując dane wejściowe, aby stworzyć jeszcze bogatszy zestaw. Szczególnie godne uwagi jest to, że wszystkie te zmiany następują dokładnie w momencie pojawienia się nowego zadania, nie zakłócając przy tym podstawowej wiedzy modelu. Oczywiście to uczenie się w czasie rzeczywistym może sprawić, że każde zapytanie potrwa nieco dłużej – na przykład minuta zamieni się w dziesięć – ale korzyścią jest ogromny wzrost dokładności, co ma największe znaczenie przy rozwiązywaniu szczególnie złożonych lub mających duże znaczenie zagadnień.

Jak może się to dalej potoczyć?

Zespół poddał swoją metodę hybrydową rygorystycznym testom, wykorzystując naprawdę trudne wyzwania — na przykład testy pełne łamigłówek sprawdzających IQ i trudnych do wykrycia wzorców. Jakie były wyniki? W zadaniach wymagających subtelnego rozumowania lub interpretacji zupełnie nowych danych odnotowano wyraźną, mierzalną poprawę. Jak ujął to doktorant Mehul Damani, uczenie się w kontekście sprawdza się w przypadku prostych zadań, ale kiedy pozwala się modelowi na bieżąco dostosowywać się, to tak, jakby uczyć go zupełnie nowej umiejętności na żądanie.

Kolejny etap? Tworzenie modeli, które potrafią uczyć się na bieżąco, samodzielnie decydując, czy trzymać się przykładów, czy przejść do uczenia się w czasie rzeczywistym – a wszystko to bez pomocy człowieka. Jeśli uda się to osiągnąć, będzie to znaczący krok w kierunku sztucznej inteligencji, która będzie nie tylko potężniejsza, ale i rzeczywiście mądrzejsza oraz bardziej elastyczna.

Badania te były wynikiem współpracy, wspieranej przez MIT-IBM Watson AI Lab oraz Narodową Fundację Naukową (NSF), a ich wyniki zostaną po raz pierwszy zaprezentowane podczas Międzynarodowej Konferencji poświęconej uczeniu maszynowemu. Szczegółowe informacje techniczne można znaleźć w pełnym opisie badań dostępnym pod adresem MIT News.