Słyszałeś już o wielkich modelach językowych (LLM), takich jak ChatGPT? To prawdziwe cuda programistyczne, które potrafią błyskawicznie napisać esej, zaproponować pomysły na posiłki, a nawet pomóc w tworzeniu wiadomości e-mail. Jednak mimo że są niesamowite, historycznie nie radziły sobie zbyt dobrze z trudnymi zadaniami, takimi jak rozwiązywanie problemów, zwłaszcza w zakresie matematyki lub złożonego rozumowania. Ta wada staje się jednak coraz mniejszym problemem.
Nadchodzi nowa fala modeli LLM, zwanych modelami rozumowania, które wykazują znaczną poprawę w radzeniu sobie ze złożonymi zadaniami. Modele te, w przeciwieństwie do swoich poprzedników, które w dużym stopniu opierały się na wzorcach językowych w celu odgadnięcia odpowiedzi, stosują bardziej przemyślane, krok po kroku strategie, podobnie jak robiłby to człowiek.
Co więcej, naukowcy z Instytutu Badań nad Mózgiem im. McGovern’a przy MIT zauważyli uderzające podobieństwo między sposobem, w jaki ludzie i te nowe modele podchodzą do trudnych zadań. Co ciekawe, odkryli oni, że zadania wymagające od ludzi największego wysiłku umysłowego są jednocześnie tymi, które wymagają największego obciążenia obliczeniowego od modeli rozumowania. Doprowadziło to do sformułowania nowej koncepcji: “koszt myślenia” wykracza poza podział na człowieka i maszynę.
To nieco nieoczekiwane porozumienie doprowadziło do tego, że zespół MIT pod kierownictwem profesora nadzwyczajnego Evelina Fedorenko nieoczekiwanie. Twórcy tych modeli zazwyczaj skupiają się na opracowaniu systemu, który działa sprawnie i zapewnia dokładne wyniki w różnych warunkach, a nie na naśladowaniu ludzkich procesów poznawczych. Dlatego też połączenie wysiłków człowieka i maszyny okazało się nieoczekiwanym, ale ekscytującym odkryciem.
Te modele rozumowania nadal są zasadniczo sztucznymi sieciami neuronowymi – systemami, które uczą się poprzez analizę danych i rozpoznawanie wzorców. Wyróżniają się one jednak na tle swoich poprzedników, ponieważ zajmują się bardziej złożonymi zadaniami poznawczymi, takimi jak zadania matematyczne czy programowanie. Kluczową innowacją jest ich podejście do rozwiązywania problemów: modele te dzielą problemy na mniejsze części, co znacznie poprawia ich wydajność.
Inżynierowie wykorzystują również uczenie się przez wzmocnienie do szkolenia tych modeli, nagradzając poprawne odpowiedzi i karząc te błędne. Z czasem model uczy się odkrywać ścieżki rozwiązywania problemów, które częściej prowadzą do trafnych wniosków, naśladując procesy poznawcze zbliżone do ludzkich. Ta tradycyjna metoda, choć trwalsza niż procesy stosowane we wcześniejszych modelach LLM, znacznie poprawia dokładność.
Andrea Gregor de Varda, doktorantka na MIT K. Lisa Yang Centrum ICoN, wraz z Fedorenko, przeprowadzili eksperyment mający na celu zweryfikowanie tej teorii. Nie tylko obserwowali dokładność, ale także oceniali, ile wysiłku było do tego potrzebne. W przypadku ludzi polegało to na mierzeniu czasu reakcji z dokładnością do milisekundy. W przypadku modeli badacze analizowali, ile tokenów, czyli wewnętrznych elementów językowych, generuje model podczas rozwiązywania zadania. Najwyraźniej im trudniejsze zadanie, tym więcej tokenów generuje model – podobnie jak my, ludzie, metaforycznie ‘rozmawiamy sami ze sobą’, gdy napotykamy skomplikowany problem.
Zarówno ludziom, jak i modelowi rozumowania przedstawiono siedem rodzajów zadań, w tym zadania arytmetyczne i wymagające rozumowania intuicyjnego. Zgodnie z oczekiwaniami, rozwiązanie trudniejszych zadań zajmowało ludziom więcej czasu, a model rozumowania musiał wygenerować więcej tokenów. Jednak choć wyniki te są przekonujące, de Varda ostrzega przed wyciąganiem pochopnych wniosków, że modele te w pełni odzwierciedlają ludzkie procesy poznawcze. Podkreśla, że ponieważ nadal funkcjonują one głównie w abstrakcyjnej, pozajęzykowej przestrzeni, wciąż pozostaje wiele do zbadania, jeśli chodzi o stopień, w jakim odzwierciedlają one ludzkie procesy myślowe.
Wiele pytań pozostaje bez odpowiedzi. Na przykład: czy modele te przetwarzają informacje tak samo jak nasze mózgi? Czy potrafią radzić sobie z problemami wymagającymi wiedzy o świecie rzeczywistym wykraczającej poza dane, na których zostały wytrenowane? W miarę jak naukowcy zgłębiają te obszary, jasno wyłania się jedna intrygująca sugestia: maszyny mogą powoli, ale pewnie ewoluować w kierunku poznania podobnego do ludzkiego – nie dlatego, że zostały do tego wyraźnie zaprogramowane, ale prawdopodobnie dlatego, że jest to po prostu najskuteczniejszy sposób myślenia.
Więcej informacji na temat złożonych powiązań między ludzkim a maszynowym procesem poznawczym można znaleźć w pełnej wersji artykułu pod adresem MIT News.
Ta strona używa plików cookie.