Dlaczego absolwenci studiów LLM zastanawiają się nad łatwymi zagadkami, a rezygnują z trudnych?

Zagadkowe umysły sztucznej inteligencji: dlaczego inteligentne maszyny czasami przechytrzają same siebie

Łatwo dać się olśnić błyskawicznemu postępowi w dziedzinie sztucznej inteligencji. W ciągu zaledwie kilku lat zaawansowane systemy, takie jak GPT-3, BERT i ich bardziej strategicznie zorientowani następcy – duże modele rozumowania (Large Reasoning Models) – zyskały zdolność pisania opowiadań, tłumaczenia języków oraz odpowiadania na pytania z niesamowitą płynnością. Jeśli jednak przyjrzeć się temu bliżej, można dostrzec dziwną osobliwość: im inteligentniejsze stają się te systemy sztucznej inteligencji, tym częściej potykają się o własne rozumowanie, nadmiernie komplikując proste pytania, a przy trudniejszych – po prostu się blokują.

W nowym badaniu przeprowadzonym przez firmę Apple poddano tę osobliwość wnikliwej analizie, odrzucając efektowne testy porównawcze i zamiast tego wystawiając popularne modele sztucznej inteligencji na próbę w klasycznych łamigłówkach: próba przesuwania krążków w Wieży Hanoi, skakanie po polach w warcabach czy przeprowadzanie podróżników przez trudne do pokonania rzeki. W miarę jak poziom trudności zadań wzrastał, naukowcy obserwowali, jak zarówno standardowe modele językowe, jak i wyspecjalizowane modele rozumowania radziły sobie z tym wyzwaniem.

Wyniki były równie fascynujące, co pouczające. W przypadku łatwych zagadek typowi podejrzani – modele językowe wyszkolone na ogromnych ilościach tekstów z internetu – radzili sobie w prosty i konkretny sposób. Jednak ich “rozumujące” odpowiedniki, zaprogramowane tak, by wyjaśniać każdy swój krok, w rzeczywistości nadmiernie komplikowały sprawę: podawały więcej kroków niż było to konieczne, sprawiając, że proste zadania stawały się trudne. To tak, jakby mistrz szachowy upierał się przy opisywaniu każdego oczywistego ruchu pionka w stylu traktatu filozoficznego.

Co ciekawe, gdy zagadki stawały się nieco trudniejsze, te same systemy AI oparte na rozumowaniu radziły sobie znakomicie. Potrafiły rozkładać problemy na poszczególne etapy, zachowując porządek i rzadko gubiąc się w nich. Jednak gdy poziom złożoności wzrastał jeszcze bardziej — nagle całe to staranne myślenie przestawało pomagać. Systemy AI traciły kontrolę, a czasami całkowicie się poddawały. To niemal jak u ludzi: proste rzeczy stają się niepotrzebnie skomplikowane, a trudne wywołują reakcję ucieczki.

O co tu chodzi? W dużej mierze sprowadza się to do tego, w jaki sposób modele te się uczą. Modele rozumowania oparte na sztucznej inteligencji przyswajają wzorce na podstawie milionów przykładów, ale często nie potrafią “uogólnić” sytuacji, gdy zadanie nie przypomina tego, co widziały wcześniej. Zamiast uchwycić głębszą logikę, łączą ze sobą znane im posunięcia. Kiedy więc matematyka staje się skomplikowana lub logika ulega zawirowaniom, wzorzec się rozpada – podobnie jak rozumowanie sztucznej inteligencji.

Praca zespołu Apple’a nie pozostała niezauważona. Wyniki badań wywołały ożywioną debatę w środowisku zajmującym się sztuczną inteligencją. Niektórzy krytycy twierdzą, że choć dzisiejsza sztuczna inteligencja nie “myśli” jak człowiek, to i tak skutecznie rozwiązuje wiele przydatnych problemów. Inni twierdzą, że nadszedł czas, aby ponownie przemyśleć nasze kryteria oceny oraz to, co naprawdę rozumiemy pod pojęciem “rozumowania” w maszynach. Na forach i konferencjach ludzie chętnie wskazują na przepaść między imponującymi sztuczkami językowymi a prawdziwą zdolnością adaptacji poznawczej.

Mimo to jedno jest jasne: daleko nam jeszcze do sztucznej inteligencji, która rozumowałaby tak jak ludzki umysł. Kolejny etap? Projektowanie systemów, które wiedzą, kiedy należy postawić na prostotę, a kiedy zagłębić się w szczegóły — nazwijmy to “dynamicznym rozumowaniem”. W miarę jak sztuczna inteligencja coraz bardziej wkracza w naszą codzienność, od obsługi klienta po laboratoria naukowe, zapewnienie tej elastyczności będzie miało kluczowe znaczenie dla jej dalszego rozwoju.

Szczegóły — oraz wszystkie zagadki — można znaleźć w oryginalnym badaniu firmy Apple. Aby zapoznać się z tematem bardziej szczegółowo, zajrzyj do oryginalnego artykułu tutaj: https://www.unite.ai/why-llms-overthink-easy-puzzles-but-give-up-on-hard-ones/