Jak modele językowe wykorzystują skróty matematyczne do śledzenia zmieniających się sytuacji?

Wyobraź sobie, że czytasz wciągającą książkę lub rozgrywasz zaciętą partię szachów - twój mózg nieustannie się dostosowuje, zapamiętuje szczegóły i przewiduje, co będzie dalej. Możesz tego nie zauważać, ale ten wewnętrzny notatnik zawsze działa, po cichu pomagając ci poruszać się po zwrotach akcji.

Zaawansowane modele językowe AI, takie jak ChatGPT, robią coś podobnego, choć przy użyciu zupełnie innych środków. Ich “proces myślowy” jest zasilany przez architekturę transformatorową, sprytną strukturę, która pomaga im przewidzieć, co powinno nastąpić w sekwencji - niezależnie od tego, czy jest to słowo w zdaniu, czy następny logiczny krok w problemie matematycznym. Czy jednak modele te faktycznie myślą krok po kroku, tak jak my? A może idą na skróty w sposób, którego moglibyśmy się nie spodziewać?

Aby to zbadać, naukowcy z MIT przygotowali cyfrową wersję klasycznej gry w skorupki - tej z kubkami i ukrytym obiektem. Sztucznej inteligencji przekazano zestaw liczb i powiedziano “zasady” ich tasowania, ale nie pozwolono jej podglądać po rozpoczęciu tasowania. Wyzwanie: przewidzieć ostateczny układ wyłącznie na podstawie punktu początkowego i instrukcji.

Czy modele skrupulatnie podążały za każdą zamianą i instrukcją, jak obsesyjny ludzki gracz? Niezupełnie. Zamiast tego modele znalazły własne skróty matematyczne. Wyłoniły się dwie główne strategie: jedna, zwana “algorytmem asocjacyjnym”, grupowała kroki, rozwiązywała częściowe problemy i składała wyniki w całość, podobnie jak przycinanie gałęzi drzewa i śledzenie każdej z nich do jej wierzchołka. Dzięki temu modele były znacznie szybsze, a w niektórych przypadkach nawet dokładniejsze niż metodyczne wykonywanie każdego ruchu.

Był też “Algorytm asocjacyjny parzystości”, który zwracał uwagę na to, czy liczba zamian jest nieparzysta czy parzysta, a następnie stosował podobne skróty grupujące. Działało to dobrze w przypadku prostych zagadek, ale zaczęło się zacinać w obliczu dłuższych, bardziej złożonych wyzwań.

Jak badacze to wszystko ustalili? Użyli oni specjalistycznych narzędzi - wyobraź sobie czytanie prywatnych notatek sztucznej inteligencji w trakcie procesu - które pozwoliły im zobaczyć, kiedy model odgadł poprawnie, a kiedy się potknął. To, co odkryli, było jasne: algorytm asocjacyjny pozwolił modelowi uczyć się szybciej i zachować spokój, nawet gdy wyzwania rosły, podczas gdy strategia oparta na parzystości, zależna od szybkiej heurystyki, osiągnęła swoje granice wraz ze złożonością.

Co to wszystko oznacza dla sposobu, w jaki budujemy i szkolimy sztuczną inteligencję? Główna autorka Belinda Li sugeruje, że zamiast zmuszać sztuczną inteligencję do myślenia ściśle tak jak my, być może powinniśmy pomóc jej udoskonalić unikalne strategie, które rozwija. Na przykład układanie większej liczby “warstw” w modelu może budować głębsze, bardziej niezawodne łańcuchy rozumowania niż po prostu proszenie go o wykonanie większej liczby kroków w kolejności.

Chociaż badanie dotyczyło stosunkowo niewielkich modeli i danych syntetycznych, zespół uważa, że spostrzeżenia te można przenieść na potężne narzędzia, takie jak GPT-4.1. Kolejne kroki obejmują przetestowanie tych pomysłów na modelach zajmujących się rzeczywistymi zadaniami, takimi jak śledzenie fabuły w powieści lub śledzenie zmiennych w kodzie oprogramowania.

Tego rodzaju badania mogą zmienić sposób, w jaki sztuczna inteligencja radzi sobie z wszelkiego rodzaju trudnymi zadaniami związanymi ze śledzeniem stanu, od pisania przepisów kulinarnych po prowadzenie prostych rozmów. W miarę postępów w tej dziedzinie, zespół MIT - Belinda Li, Zifan “Carl” Guo i Jacob Andreas - ma nadzieję, że ich odkrycia doprowadzą do inteligentniejszej, bardziej godnej zaufania sztucznej inteligencji, pomagając nam unikać problematycznych “skrótów”, jednocześnie zachęcając do rozsądnego rozumowania.

Ich praca zadebiutowała na Międzynarodowej Konferencji Uczenia Maszynowego (ICML) i była możliwa dzięki wsparciu organizacji takich jak Open Philanthropy, MIT Quest for Intelligence, National Science Foundation, Clare Boothe Luce Program for Women in STEM i Sloan Research Fellowship.

Źródło: https://news.mit.edu/2025/unique-mathematical-shortcuts-language-models-use-to-predict-dynamic-scenarios-0721