Badanie MIT ujawnia ukryte niedociągnięcia w dużych modelach językowych

Najnowsze badania z MIT ujawniła krytyczny błąd w dużych modelach językowych (LLM). Te zaawansowane narzędzia sztucznej inteligencji zrewolucjonizowały różne sektory, zapewniając usługi, od botów obsługi klienta po platformy podsumowujące notatki medyczne. Pojawił się jednak nieoczekiwany problem, ponieważ modele te mogą wyciągać niewłaściwe wnioski podczas fazy szkolenia.

Dylemat składni zastępującej sens

Co zaskakujące, modele LLM nie opierają się wyłącznie na wiedzy dziedzinowej przy udzielaniu odpowiedzi na zadane pytania. Zamiast tego zazwyczaj opierają się na znanych im strukturach gramatycznych, z którymi zetknęły się wcześniej podczas sesji szkoleniowych. Ta technika uczenia się może sprawiać, że generują one dość przekonujące, ale błędne odpowiedzi, zwłaszcza w obliczu nieznanych lub mylących pod względem składniowym pytań.

Modele te są szkolone przy użyciu szerokiego spektrum tekstów internetowych, co pozwala im ustalać powiązania między słowami, frazami i formatami zdań. W trakcie tego procesu duże modele językowe (LLM) kojarzą konkretne wzorce syntaktyczne, czyli “szablony syntaktyczne”, z określonymi tematami lub dziedzinami. Na przykład model może zinterpretować strukturę pytania typu “Gdzie leży Paryż?” jako często kojarzoną z zapytaniami geograficznymi. W rezultacie, nawet jeśli otrzymałby bezsensowne zapytanie o tej samej strukturze, na przykład “Szybko usiądź Paryż zachmurzony?”, model nadal odpowiedziałby “Francja”, niezależnie od absurdalności pytania.

To, co zaczęło się od niewinnego polegania na rozumowaniu opartym na wzorcach, przekształciło się w poważne zagrożenie, zwłaszcza w środowiskach o wysokiej stawce. Ta wada oznacza, że modele sztucznej inteligencji, takie jak LLM, mogą zawieść w nieprzewidywalny sposób podczas streszczania dokumentacji medycznej, generowania raportów finansowych lub przetwarzania wrażliwych danych klientów. “Jest to efekt uboczny sposobu, w jaki szkolimy modele” – wyjaśnia Marzyeh Ghassemi, profesor nadzwyczajna na MIT i główna autorka badania. “Jednak modele są obecnie wykorzystywane w praktyce w dziedzinach o krytycznym znaczeniu dla bezpieczeństwa, wykraczających daleko poza zadania, które spowodowały te błędy syntaktyczne”.”

Odkrywanie, wykorzystywanie i ewolucja

Aby jeszcze bardziej zagłębić się w tę kwestię, zespół badawczy przeprowadził testy syntetyczne, które zasadniczo ograniczyły każdą domenę do jednego szablonu syntaktycznego podczas treningu. Co zaskakujące, wyniki ujawniły, że LLM mogą nadal generować dokładne odpowiedzi nawet na bezsensowne zapytania, o ile są one zgodne ze znaną strukturą gramatyczną. Przeformułowanie z inną strukturą dawało nieprawidłowe odpowiedzi od modeli, niezależnie od niezmienionego znaczenia.

Badanie ujawniło również niepokojący fakt, że to syntaktyczne odchylenie mogłoby potencjalnie zostać wykorzystane przez złośliwych użytkowników do obejścia protokołów bezpieczeństwa sztucznej inteligencji. Vinith Suriyakumar, doktorant MIT i współautor badania, podkreśla tę obawę, stwierdzając, że “musimy opracować nowe mechanizmy obronne oparte na sposobie, w jaki duże modele językowe (LLM) uczą się języka, a nie tylko doraźne rozwiązania”.”

W ramach badań nie zaproponowano konkretnych rozwiązań, ale zespół opracował nowe narzędzie dla programistów. To narzędzie do testów porównawczych pozwoli programistom ustalić, czy dany model nadmiernie opiera się na wzorcach syntaktycznych, pomagając w ten sposób zwiększyć wiarygodność modelu przed wdrożeniem. Zespół z MIT planuje również zbadać potencjalne strategie łagodzenia tego problemu, takie jak włączenie bardziej zróżnicowanych szablonów syntaktycznych do danych szkoleniowych, oraz przeanalizować, w jaki sposób problem ten może wpływać na modele wnioskowania – podkategorię modeli LLM zaprojektowanych do rozwiązywania zadań wieloetapowych.

Badanie wzbudziło zainteresowanie specjalistów spoza zespołu badawczego. “Praca ta podkreśla znaczenie świadomości językowej w badaniach nad bezpieczeństwem modeli językowych (LLM)”, skomentowała Jessy Li, profesor nadzwyczajna na Uniwersytecie Teksańskim. Realizacja tego projektu była możliwa dzięki wsparciu Narodowej Fundacji Naukowej (National Science Foundation), Fundacji Gordona i Betty Moore, Schmidt Sciences, nagrody Google Research Award oraz stypendium Bridgewater AIA Labs Fellowship.