Sztuczna inteligencja (AI) potrafi być równie przekonująca jak najgłośniejszy głos w rozmowie. Jej zaawansowane modele wnioskowania zapewniają niezachwianą pewność w udzielanych odpowiedziach, niezależnie od ich słuszności. Ta niezachwiana pewność może być potężna, ale też wprowadzać w błąd. Jednak naukowcy z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) przy MIT niedawno zidentyfikowali ten problem nadmiernej pewności siebie i opracowali przełomową technikę o nazwie RLCR (uczenie się przez wzmocnienie z nagrodami kalibracyjnymi), aby mu zaradzić.
RLCR szkoli modele językowe nie tylko w generowaniu odpowiedzi, ale także w ocenie własnej niepewności. Oprócz odpowiedzi model podaje wskaźnik pewności, który zasadniczo odzwierciedla jego własną pewność. Eksperymenty wykazały, że RLCR zmniejszył błędy kalibracji nawet o 90%, jednocześnie utrzymując lub nawet zwiększając dokładność w wielu testach porównawczych. To obiecujące osiągnięcie zostanie zaprezentowane podczas zbliżającej się Międzynarodowej Konferencji poświęconej Reprezentacjom Uczenia się (International Conference on Learning Representations).
Problem ten ma swoje źródło w metodach uczenia wzmacniającego, które napędzają postępy w dziedzinie sztucznej inteligencji, na przykład w modelach OpenAI. Te dominujące metody przyznają nagrody za poprawne odpowiedzi i nakładają kary za błędne, nie pozostawiając przy tym żadnej szarej strefy. W rezultacie, niezależnie od tego, czy odpowiedź jest starannie uzasadniona, czy też jest jedynie dziełem przypadku, model wykazuje niezachwianą pewność siebie. Może to prowadzić do sytuacji, w których modele odpowiadają na każde pytanie z przekonaniem, niezależnie od tego, czy dysponują uzasadnionymi dowodami, czy też po prostu zgadują.
Ta nadmierna pewność siebie może być szczególnie niebezpieczna w branżach takich jak medycyna, prawo i finanse, gdzie decyzje oparte na sztucznej inteligencji są na porządku dziennym. System sztucznej inteligencji, który konsekwentnie wykazuje wysoki poziom pewności, niezależnie od faktycznego stopnia pewności, staje się niewiarygodny. Może na przykład twierdzić, że jest pewien odpowiedzi w 95%, ale mieć rację tylko w połowie przypadków. Jest to bardziej ryzykowne niż model, który jest po prostu błędny, ponieważ użytkownicy nie mają powodu, by zasięgnąć drugiej opinii.
Według Mehula Damani, doktoranta MIT i współgłównego autora badania, tradycyjne podejście do uczenia, choć proste i skuteczne, nie zachęca modeli do wyrażania niepewności. RLCR rozwiązuje ten problem poprzez włączenie do funkcji nagrody jednego terminu – wskaźnika Briera – który nakłada karę za różnicę między prognozowanym poziomem pewności modelu a jego rzeczywistą dokładnością.
Formalne dowody przedstawione przez zespół potwierdzają, że podejście to gwarantuje powstanie modeli, które są zarówno dokładne, jak i dobrze skalibrowane. Testy przeprowadzone na modelu zawierającym 7 miliardów parametrów w ramach różnych testów porównawczych potwierdziły te twierdzenia. Metoda ta osiągnęła lepsze wyniki niż podejścia post hoc, w których oddzielny klasyfikator przypisuje oceny pewności a posteriori. Isha Puri, również doktorantka MIT i współautorka główna, podkreśliła, że standardowe uczenie się przez wzmocnienie nie tylko nie poprawia kalibracji, ale wręcz ją aktywnie pogarsza, powodując, że modele stają się jednocześnie bardziej wydajne i zbyt pewne siebie.
Oprócz Damaniego i Puriego wśród autorów artykułu znaleźli się Stewart Slocum, Idan Shenfeld, Leshem Choshen oraz autorzy nadrzędni Jacob Andreas i Yoon Kim. Więcej szczegółów można znaleźć w artykuł oryginalny. Czy interesuje Cię automatyzacja oparta na sztucznej inteligencji w Twojej firmie? Odkryj więcej możliwości dzięki implementi.ai.
Ta strona używa plików cookie.