Podczas gdy post\u0119py w dziedzinie sztucznej inteligencji (AI) niew\u0105tpliwie przesz\u0142y d\u0142ug\u0105 drog\u0119, nie s\u0105 one pozbawione trudno\u015bci. Modele AI maj\u0105 trudno\u015bci zw\u0142aszcza w przypadku skomplikowanych zada\u0144, takich jak Sudoku, projektowanie molekularne lub pisanie dowod\u00f3w matematycznych. Wi\u0119kszo\u015b\u0107 modeli, nawet tych zaawansowanych, ma trudno\u015bci z radzeniem sobie z otwartymi zadaniami rz\u0105dzonymi przez \u015bcis\u0142e wytyczne. Maj\u0105 one tendencj\u0119 do oferowania porad na temat tego, jak poradzi\u0107 sobie z problemem, zamiast samodzielnie wymy\u015bla\u0107 rozwi\u0105zania.<\/p>\n
Aby zaradzi\u0107 tym w\u0105skim gard\u0142om, zesp\u00f3\u0142 naukowc\u00f3w z Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL) zdecydowa\u0142 si\u0119 na nowatorskie podej\u015bcie, kt\u00f3re nosi nazw\u0119 DisCIPL, skr\u00f3t od \u201cDistributional Constraints by Inference Programming with Language Models\u201d. Podej\u015bcie to \u0142\u0105czy w sobie strategiczne mo\u017cliwo\u015bci du\u017cych modeli j\u0119zykowych (LLM) z lekk\u0105 wydajno\u015bci\u0105 mniejszych. G\u0142\u00f3wna idea jest prosta, ale pot\u0119\u017cna: polega na tym, \u017ce du\u017cy model opracowuje strategi\u0119 zadania, a nast\u0119pnie przekazuje implementacj\u0119 mniejszym modelom, kt\u00f3re nast\u0119pnie wykonuj\u0105 polecenia du\u017cego modelu.<\/p>\n
Pomy\u015bl o tym, jak kierownik projektu koordynuje prac\u0119 zespo\u0142u. Du\u017cy model \u2018szefa\u2019 dzia\u0142a jak kierownik projektu, przyjmuj\u0105c podpowied\u017a, a nast\u0119pnie opracowuj\u0105c plan, kt\u00f3ry nast\u0119pnie dystrybuuje do mniejszych modeli \u2018pod\u0105\u017caj\u0105cych\u2019. W razie potrzeby du\u017cy model koryguje wyniki mniejszych modeli. Ten system wsp\u00f3\u0142pracy zwi\u0119ksza zdolno\u015b\u0107 mniejszych modeli do generowania odpowiedzi, kt\u00f3re s\u0105 nie tylko dok\u0142adniejsze, ale tak\u017ce bardziej wydajne ni\u017c te generowane przez niekt\u00f3re z najnowocze\u015bniejszych LLM.<\/p>\n
Zasadniczym elementem DisCIPL jest wykorzystanie LLaMPPL, j\u0119zyka programowania zaprojektowanego do kontrolowania modeli j\u0119zykowych poprzez kodowanie okre\u015blonych regu\u0142 i ogranicze\u0144. Ta warstwa programowania pozwala du\u017cemu modelowi komunikowa\u0107 si\u0119 ze swoimi modelami podrz\u0119dnymi w ustrukturyzowany, oparty na regu\u0142ach spos\u00f3b, prowadz\u0105c je w kierunku bardziej precyzyjnych i sp\u00f3jnych odpowiedzi. Otrzymuj\u0105 one skrupulatne instrukcje, takie jak \u201cnapisz osiem linijek poezji, gdzie ka\u017cda linijka ma dok\u0142adnie osiem s\u0142\u00f3w\u201d, co zapewnia, \u017ce ka\u017cdy mniejszy model ma znacz\u0105cy wk\u0142ad w ko\u0144cowy wynik.<\/p>\n
Wydajno\u015b\u0107, jak\u0105 zapewnia DisCIPL, jest niezwyk\u0142a. Wykorzystuj\u0105c mniejsze modele, system znacznie obni\u017ca koszty obliczeniowe. Co wi\u0119cej, system mo\u017ce uruchamia\u0107 wiele modeli jednocze\u015bnie, znacznie przyspieszaj\u0105c czas reakcji.<\/p>\n
Praktyczne implikacje DisCIPL s\u0105 bardzo szerokie. Mo\u017ce by\u0107 wykorzystywany do wykonywania zada\u0144, takich jak tworzenie list sk\u0142adnik\u00f3w, planowanie tras podr\u00f3\u017cy, a nawet sporz\u0105dzanie wniosk\u00f3w o dotacje z okre\u015blonym limitem s\u0142\u00f3w. W por\u00f3wnaniu z ci\u0119\u017ckimi konkurentami, takimi jak GPT-4o i o1, zapewnia sp\u00f3jne i dok\u0142adne wyniki, kt\u00f3re dor\u00f3wnuj\u0105 najlepszym systemom rozumowania na \u015bwiecie. Jego zdolno\u015b\u0107 do prawid\u0142owego wykonywania instrukcji jest \u015bwiadectwem skuteczno\u015bci komponentu planowania w ka\u017cdej strukturze architektonicznej.<\/p>\n
Id\u0105c dalej, zesp\u00f3\u0142 badawczy planuje zbada\u0107 w pe\u0142ni rekurencyjn\u0105 wersj\u0119 frameworka i zastosowa\u0107 system do zada\u0144 rozumowania matematycznego. Ponadto chc\u0105 zbada\u0107, w jaki spos\u00f3b system radzi sobie z preferencjami u\u017cytkownika, kt\u00f3re nie s\u0105 \u0142atwo zakodowane w regu\u0142ach. Gabriel Grand, doktorant na MIT i g\u0142\u00f3wny autor badania, m\u00f3wi: \u201cModele j\u0119zykowe zu\u017cywaj\u0105 wi\u0119cej energii, poniewa\u017c ludzie cz\u0119\u015bciej z nich korzystaj\u0105, co oznacza, \u017ce potrzebujemy modeli, kt\u00f3re zapewniaj\u0105 dok\u0142adne odpowiedzi przy minimalnym zu\u017cyciu mocy obliczeniowej\u201d.\u201d<\/p>\n
W ten spos\u00f3b DisCIPL podwa\u017ca pogl\u0105d, \u017ce rozmiar zawsze ma znaczenie w \u015bwiecie sztucznej inteligencji. Wykorzystuj\u0105c mocne strony mniejszych modeli w skoordynowany spos\u00f3b, toruje drog\u0119 do dalszych post\u0119p\u00f3w w systemach sztucznej inteligencji, kt\u00f3re s\u0105 szybsze, ta\u0144sze i potencjalnie bardziej interpretowalne. Kontynuuj\u0105c udoskonalanie tego podej\u015bcia, stoimy u progu \u015bwietlanej przysz\u0142o\u015bci dla wsp\u00f3\u0142pracuj\u0105cej sztucznej inteligencji.<\/p>\n