Jak małe modele językowe łączą siły, aby sprostać dużym wyzwaniom związanym z rozumowaniem

Podczas gdy postępy w dziedzinie sztucznej inteligencji (AI) niewątpliwie przeszły długą drogę, nie są one pozbawione trudności. Modele AI mają trudności zwłaszcza w przypadku skomplikowanych zadań, takich jak Sudoku, projektowanie molekularne lub pisanie dowodów matematycznych. Większość modeli, nawet tych zaawansowanych, ma trudności z radzeniem sobie z otwartymi zadaniami rządzonymi przez ścisłe wytyczne. Mają one tendencję do oferowania porad na temat tego, jak poradzić sobie z problemem, zamiast samodzielnie wymyślać rozwiązania.

Aby zaradzić tym wąskim gardłom, zespół naukowców z Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL) zdecydował się na nowatorskie podejście, które nosi nazwę DisCIPL, skrót od “Distributional Constraints by Inference Programming with Language Models”. Podejście to łączy w sobie strategiczne możliwości dużych modeli językowych (LLM) z lekką wydajnością mniejszych. Główna idea jest prosta, ale potężna: polega na tym, że duży model opracowuje strategię zadania, a następnie przekazuje implementację mniejszym modelom, które następnie wykonują polecenia dużego modelu.

Lepsze podejście do współpracującej sztucznej inteligencji

Pomyśl o tym, jak kierownik projektu koordynuje pracę zespołu. Duży model ‘szefa’ działa jak kierownik projektu, przyjmując podpowiedź, a następnie opracowując plan, który następnie dystrybuuje do mniejszych modeli ‘podążających’. W razie potrzeby duży model koryguje wyniki mniejszych modeli. Ten system współpracy zwiększa zdolność mniejszych modeli do generowania odpowiedzi, które są nie tylko dokładniejsze, ale także bardziej wydajne niż te generowane przez niektóre z najnowocześniejszych LLM.

Zasadniczym elementem DisCIPL jest wykorzystanie LLaMPPL, języka programowania zaprojektowanego do kontrolowania modeli językowych poprzez kodowanie określonych reguł i ograniczeń. Ta warstwa programowania pozwala dużemu modelowi komunikować się ze swoimi modelami podrzędnymi w ustrukturyzowany, oparty na regułach sposób, prowadząc je w kierunku bardziej precyzyjnych i spójnych odpowiedzi. Otrzymują one skrupulatne instrukcje, takie jak “napisz osiem linijek poezji, gdzie każda linijka ma dokładnie osiem słów”, co zapewnia, że każdy mniejszy model ma znaczący wkład w końcowy wynik.

Nowa era wydajnej sztucznej inteligencji

Wydajność, jaką zapewnia DisCIPL, jest niezwykła. Wykorzystując mniejsze modele, system znacznie obniża koszty obliczeniowe. Co więcej, system może uruchamiać wiele modeli jednocześnie, znacznie przyspieszając czas reakcji.

Praktyczne implikacje DisCIPL są bardzo szerokie. Może być wykorzystywany do wykonywania zadań, takich jak tworzenie list składników, planowanie tras podróży, a nawet sporządzanie wniosków o dotacje z określonym limitem słów. W porównaniu z ciężkimi konkurentami, takimi jak GPT-4o i o1, zapewnia spójne i dokładne wyniki, które dorównują najlepszym systemom rozumowania na świecie. Jego zdolność do prawidłowego wykonywania instrukcji jest świadectwem skuteczności komponentu planowania w każdej strukturze architektonicznej.

Przyszłość współpracującej sztucznej inteligencji

Idąc dalej, zespół badawczy planuje zbadać w pełni rekurencyjną wersję frameworka i zastosować system do zadań rozumowania matematycznego. Ponadto chcą zbadać, w jaki sposób system radzi sobie z preferencjami użytkownika, które nie są łatwo zakodowane w regułach. Gabriel Grand, doktorant na MIT i główny autor badania, mówi: “Modele językowe zużywają więcej energii, ponieważ ludzie częściej z nich korzystają, co oznacza, że potrzebujemy modeli, które zapewniają dokładne odpowiedzi przy minimalnym zużyciu mocy obliczeniowej”.”

W ten sposób DisCIPL podważa pogląd, że rozmiar zawsze ma znaczenie w świecie sztucznej inteligencji. Wykorzystując mocne strony mniejszych modeli w skoordynowany sposób, toruje drogę do dalszych postępów w systemach sztucznej inteligencji, które są szybsze, tańsze i potencjalnie bardziej interpretowalne. Kontynuując udoskonalanie tego podejścia, stoimy u progu świetlanej przyszłości dla współpracującej sztucznej inteligencji.

Aby dowiedzieć się więcej o DisCIPL, Sprawdź oryginalny artykuł na MIT News.