Podczas gdy postępy w dziedzinie sztucznej inteligencji (AI) niewątpliwie przeszły długą drogę, nie są one pozbawione trudności. Modele AI mają trudności zwłaszcza w przypadku skomplikowanych zadań, takich jak Sudoku, projektowanie molekularne lub pisanie dowodów matematycznych. Większość modeli, nawet tych zaawansowanych, ma trudności z radzeniem sobie z otwartymi zadaniami rządzonymi przez ścisłe wytyczne. Mają one tendencję do oferowania porad na temat tego, jak poradzić sobie z problemem, zamiast samodzielnie wymyślać rozwiązania.
Aby rozwiązać te problemy, zespół naukowców z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) przy MIT postanowił zastosować nowatorskie podejście znane pod nazwą DisCIPL, co jest skrótem od “Distributional Constraints by Inference Programming with Language Models” (Ograniczenia dystrybucyjne poprzez programowanie wnioskowania z wykorzystaniem modeli językowych). Podejście to łączy możliwości strategiczne dużych modeli językowych (LLM) z lekkością i wydajnością mniejszych modeli. Główna idea jest prosta, ale potężna: polega na tym, by duży model opracował strategię wykonania zadania, a następnie przekazał realizację mniejszym modelom, które wykonują polecenia dużego modelu.
Pomyśl o tym, jak kierownik projektu koordynuje pracę zespołu. Duży model pełniący rolę ‘szefa’ działa jak kierownik projektu: przyjmuje polecenie, a następnie opracowuje plan, który następnie przekazuje mniejszym modelom pełniącym rolę ‘podwładnych’. W razie potrzeby duża figurka koryguje wyniki mniejszych figurek. Ten system oparty na współpracy zwiększa zdolność mniejszych figurek do generowania odpowiedzi, które są nie tylko dokładniejsze, ale także wydajniejsze niż te generowane przez niektóre z najnowocześniejszych modeli LLM.
Istotnym elementem DisCIPL jest wykorzystanie języka programowania LLaMPPL, zaprojektowanego do sterowania modelami językowymi poprzez kodowanie konkretnych reguł i ograniczeń. Ta warstwa programistyczna umożliwia dużemu modelowi komunikowanie się z modelami podrzędnymi w uporządkowany, oparty na regułach sposób, kierując je ku bardziej precyzyjnym i spójnym odpowiedziom. Otrzymują one szczegółowe instrukcje, takie jak “napisz osiem wersów wiersza, w których każdy wers zawiera dokładnie osiem słów”, co gwarantuje, że każdy mniejszy model wnosi istotny wkład w ostateczny wynik.
Wydajność, jaką zapewnia DisCIPL, jest niezwykła. Wykorzystując mniejsze modele, system znacznie obniża koszty obliczeniowe. Co więcej, system może uruchamiać wiele modeli jednocześnie, znacznie przyspieszając czas reakcji.
Praktyczne zastosowania DisCIPL są bardzo szerokie. System ten można wykorzystać do wykonywania takich zadań, jak tworzenie list składników, planowanie tras podróży, a nawet sporządzanie wniosków o dotacje z uwzględnieniem określonego limitu słów. W porównaniu z potężnymi konkurentami, takimi jak GPT-4o i o1, zapewnia spójne i dokładne wyniki, które dorównują najlepszym systemom rozumowania na świecie. Jego zdolność do prawidłowego wykonywania instrukcji świadczy o skuteczności komponentu planowania w każdej strukturze architektonicznej.
W przyszłości zespół badawczy planuje zbadać w pełni rekurencyjną wersję tej struktury oraz zastosować system do zadań związanych z rozumowaniem matematycznym. Ponadto naukowcy są zainteresowani zbadaniem, w jaki sposób system radzi sobie z preferencjami użytkowników, których nie da się łatwo zakodować w regułach. Gabriel Grand, doktorant na MIT i główny autor badania, ujął to następująco: “Modele językowe zużywają coraz więcej energii w miarę wzrostu ich popularności, co oznacza, że potrzebujemy modeli, które zapewniają dokładne odpowiedzi przy minimalnym zużyciu mocy obliczeniowej”.”
W ten sposób DisCIPL podważa pogląd, że rozmiar zawsze ma znaczenie w świecie sztucznej inteligencji. Wykorzystując mocne strony mniejszych modeli w skoordynowany sposób, toruje drogę do dalszych postępów w systemach sztucznej inteligencji, które są szybsze, tańsze i potencjalnie bardziej interpretowalne. Kontynuując udoskonalanie tego podejścia, stoimy u progu świetlanej przyszłości dla współpracującej sztucznej inteligencji.
Aby dowiedzieć się więcej o DisCIPL, Sprawdź oryginalny artykuł na MIT News.
Ta strona używa plików cookie.