Jak "inteligentny trener" pomaga modelom językowym przełączać się między tekstem a kodem

Duże modele językowe zyskały sławę jako mistrzowie czytania, pisania i poruszania się po zawiłym świecie języka. Wystarczy podać im skomplikowany fragment tekstu lub pytanie otwarte, a zazwyczaj zachwycą cię przekonującymi, uwzględniającymi kontekst odpowiedziami. Jednak gdy postawisz przed nimi zadanie matematyczne lub poprosisz o rozwiązanie łamigłówki logicznej, ich pewność siebie zaczyna się chwiać – czasami nawet podstawowe obliczenia sprawiają im trudności.

Modele te świetnie radzą sobie z rozumowaniem tekstowym, ale te umiejętności nie zawsze wystarczają w przypadku zadań wymagających precyzji, logiki lub obliczeń. Oczywiście, duże modele językowe (LLM) radzą sobie lepiej niż kiedykolwiek z generowaniem kodu, ale samo pisanie kodu nie zawsze oznacza, że naprawdę rozumieją, kiedy i jak należy go użyć, aby faktycznie rozwiązać dane zadanie. Nawet jeśli wygenerują kod, może on nie spełniać oczekiwań – czasami jest niedoskonały, a czasami po prostu nieefektywny.

Ta intrygująca luka przyciągnęła uwagę zespołu z MIT. Zadali sobie pytanie: a co by było, gdybyśmy zamiast pozostawiać duże modele językowe (LLM) samym sobie, zapewnili im odrobinę wsparcia? Ten tok myślenia doprowadził do stworzenia CodeSteer – lekkiego asystenta cyfrowego, który pełni rolę trenera stojącego na uboczu. Jaka jest jego rola? Kierowanie modeli LLM w stronę właściwej metody – niezależnie od tego, czy jest to zwykły tekst, czy fragment kodu – w zależności od danego zadania.

CodeSteer jest celowo niewielki i zwinny. Zamiast majstrować przy rdzeniu zaawansowanych modeli, takich jak GPT-4, naukowcy postanowili zachować modułową strukturę. Ten mini-asystent analizuje problem, sprawdza, jak poradził sobie z nim model LLM, a następnie delikatnie sugeruje, czy należy kontynuować rozumowanie za pomocą słów, czy też przejść do wykorzystania kodu. Pozostaje przy modelu, podając mu wskazówki krok po kroku, aż do uzyskania prawidłowego rozwiązania.

Dotychczasowe wyniki są imponujące. Modele LLM, pod kierunkiem CodeSteer, wykazują rzeczywisty postęp w takich obszarach, jak rozwiązywanie równań matematycznych, wypełnianie krzyżówek Sudoku, a nawet radzenie sobie z zadaniami wymagającymi rozumowania przestrzennego. Modele te odnotowały poprawę dokładności o ponad 30 procent — skok ten wynika w dużej mierze z umiejętności CodeSteer do zwalczania typowego dla modeli LLM “lenistwa”. Pozostawione same sobie modele LLM mają tendencję do wybierania najkrótszego lub najwygodniejszego rozwiązania, które nie zawsze jest prawidłowe. CodeSteer zachęca je do wybierania bardziej rozbudowanej (i poprawnej) ścieżki, porównując odpowiedzi z narzędziami do sprawdzania symbolicznego oraz przeprowadzając własne weryfikacje, aby upewnić się, że kod rzeczywiście działa.

Oczywiście stworzenie i przetestowanie rozwiązania takiego jak CodeSteer wymagało ogromnej ilości danych – dlatego zespół z MIT postanowił stworzyć własny zbiór. Opracowali SymBench, zróżnicowany zbiór 37 zadań symbolicznych z zakresu matematyki, rozumowania przestrzennego i optymalizacji. Dzięki temu nowemu środowisku testowemu CodeSteer nie tylko dotrzymał kroku konkurencji – ale wręcz ją zdeklasował, zwiększając średnią precyzję rozwiązywania zadań z nieco ponad 53 procent do ponad 86 procent, osiągając lepsze wyniki niż dziewięć innych metod.

Być może najbardziej obiecującą cechą CodeSteer jest jego subtelność. Nie ingeruje on w działanie dużych modeli LLM, pełniąc raczej rolę wyrafinowanego przewodnika niż wprowadzając gruntowne zmiany. Oznacza to, że nawet mniejsze modele, mając CodeSteer po swojej stronie, mogą sprostać specjalistycznym wyzwaniom, które często stanowią problem dla znacznie większych, “inteligentniejszych” modeli.

“Nasza metoda wykorzystuje własne możliwości modelu LLM” – mówi Yongchao Chen, główny autor projektu. Pomagając modelowi zrozumieć, kiedy – i jak – ma pisać kod, zamiast polegać wyłącznie na jego “surowych” zdolnościach, można radykalnie poprawić wydajność nawet już bardzo zaawansowanych modeli LLM. Podejście to nie ma wyłącznie charakteru akademickiego: wyobraźmy sobie, jak pomaga robotom poruszać się po trudnym terenie lub jak przyczynia się do uporządkowania złożonych globalnych łańcuchów dostaw.

W przyszłości zespół z MIT zamierza przyspieszyć działanie CodeSteer i, być może, zintegrować funkcję coachingu w jednym modelu – bez konieczności stosowania oddzielnego asystenta. Prace te wywołały już spore poruszenie w branży, a eksperci zarówno z Google Cloud AI, jak i DeepMind chwalą pomysłowość CodeSteer oraz jego potencjał w zakresie usprawniania współpracy między ‘agentami’ sztucznej inteligencji. Badania te, wspierane przez Biuro Badań Marynarki Wojennej (Office of Naval Research) oraz laboratorium MIT-IBM Watson AI Lab, będą głównym tematem Międzynarodowej Konferencji poświęconej uczeniu maszynowemu.

Aby uzyskać więcej informacji, przeczytaj cały artykuł pod adresem MIT News.