Sztuczna inteligencja (AI) potrafi by\u0107 r\u00f3wnie przekonuj\u0105ca jak najg\u0142o\u015bniejszy g\u0142os w rozmowie. Jej zaawansowane modele wnioskowania zapewniaj\u0105 niezachwian\u0105 pewno\u015b\u0107 w udzielanych odpowiedziach, niezale\u017cnie od ich s\u0142uszno\u015bci. Ta niezachwiana pewno\u015b\u0107 mo\u017ce by\u0107 pot\u0119\u017cnym narz\u0119dziem, ale mo\u017ce te\u017c wprowadza\u0107 w b\u0142\u0105d. Jednak naukowcy z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) przy MIT niedawno zidentyfikowali ten problem nadmiernej pewno\u015bci siebie i opracowali prze\u0142omow\u0105 technik\u0119 o nazwie RLCR (uczenie si\u0119 przez wzmocnienie z nagrodami kalibracyjnymi), aby mu zaradzi\u0107.<\/p>\n
RLCR szkoli modele j\u0119zykowe nie tylko w generowaniu odpowiedzi, ale tak\u017ce w ocenie w\u0142asnej niepewno\u015bci. Opr\u00f3cz odpowiedzi model podaje wska\u017anik pewno\u015bci, kt\u00f3ry zasadniczo odzwierciedla jego w\u0142asn\u0105 pewno\u015b\u0107. Eksperymenty wykaza\u0142y, \u017ce RLCR zmniejszy\u0142 b\u0142\u0119dy kalibracji nawet o 90%, jednocze\u015bnie utrzymuj\u0105c lub nawet zwi\u0119kszaj\u0105c dok\u0142adno\u015b\u0107 w wielu testach por\u00f3wnawczych. To obiecuj\u0105ce osi\u0105gni\u0119cie zostanie zaprezentowane podczas zbli\u017caj\u0105cej si\u0119 Mi\u0119dzynarodowej Konferencji po\u015bwi\u0119conej Reprezentacjom Uczenia si\u0119 (International Conference on Learning Representations).<\/p>\n
Problem ten ma swoje \u017ar\u00f3d\u0142o w metodach uczenia wzmacniaj\u0105cego, kt\u00f3re nap\u0119dzaj\u0105 post\u0119py w dziedzinie sztucznej inteligencji, na przyk\u0142ad w modelach OpenAI. Te dominuj\u0105ce metody przyznaj\u0105 nagrody za poprawne odpowiedzi i nak\u0142adaj\u0105 kary za b\u0142\u0119dne, nie pozostawiaj\u0105c przy tym \u017cadnej szarej strefy. W rezultacie, niezale\u017cnie od tego, czy odpowied\u017a jest starannie uzasadniona, czy te\u017c jest jedynie dzie\u0142em przypadku, model wykazuje niezachwian\u0105 pewno\u015b\u0107 siebie. Mo\u017ce to prowadzi\u0107 do sytuacji, w kt\u00f3rych modele odpowiadaj\u0105 na ka\u017cde pytanie z przekonaniem, niezale\u017cnie od tego, czy dysponuj\u0105 uzasadnionymi dowodami, czy te\u017c po prostu zgaduj\u0105.<\/p>\n
Ta nadmierna pewno\u015b\u0107 siebie mo\u017ce by\u0107 szczeg\u00f3lnie niebezpieczna w bran\u017cach takich jak medycyna, prawo i finanse, gdzie decyzje oparte na sztucznej inteligencji s\u0105 na porz\u0105dku dziennym. System sztucznej inteligencji, kt\u00f3ry konsekwentnie wykazuje wysoki poziom pewno\u015bci, niezale\u017cnie od faktycznego stopnia pewno\u015bci, staje si\u0119 niewiarygodny. Mo\u017ce na przyk\u0142ad twierdzi\u0107, \u017ce jest pewien odpowiedzi w 95%, ale mie\u0107 racj\u0119 tylko w po\u0142owie przypadk\u00f3w. Jest to bardziej ryzykowne ni\u017c model, kt\u00f3ry jest po prostu b\u0142\u0119dny, poniewa\u017c u\u017cytkownicy nie maj\u0105 powodu, by zasi\u0119gn\u0105\u0107 drugiej opinii.<\/p>\n
Wed\u0142ug Mehula Damani, doktoranta MIT i wsp\u00f3\u0142g\u0142\u00f3wnego autora badania, tradycyjne podej\u015bcie do uczenia, cho\u0107 proste i skuteczne, nie zach\u0119ca modeli do wyra\u017cania niepewno\u015bci. RLCR rozwi\u0105zuje ten problem poprzez w\u0142\u0105czenie do funkcji nagrody jednego terminu \u2013 wska\u017anika Briera \u2013 kt\u00f3ry nak\u0142ada kar\u0119 za r\u00f3\u017cnic\u0119 mi\u0119dzy prognozowanym poziomem pewno\u015bci modelu a jego rzeczywist\u0105 dok\u0142adno\u015bci\u0105.<\/p>\n
Formalne dowody przedstawione przez zesp\u00f3\u0142 potwierdzaj\u0105, \u017ce podej\u015bcie to gwarantuje powstanie modeli, kt\u00f3re s\u0105 zar\u00f3wno dok\u0142adne, jak i dobrze skalibrowane. Testy przeprowadzone na modelu zawieraj\u0105cym 7 miliard\u00f3w parametr\u00f3w w ramach r\u00f3\u017cnych test\u00f3w por\u00f3wnawczych potwierdzi\u0142y te twierdzenia. Metoda ta osi\u0105gn\u0119\u0142a lepsze wyniki ni\u017c podej\u015bcia post hoc, w kt\u00f3rych oddzielny klasyfikator przypisuje oceny pewno\u015bci a posteriori. Isha Puri, r\u00f3wnie\u017c doktorantka MIT i wsp\u00f3\u0142autorka g\u0142\u00f3wna, podkre\u015bli\u0142a, \u017ce standardowe uczenie si\u0119 przez wzmocnienie nie tylko nie poprawia kalibracji, ale wr\u0119cz j\u0105 aktywnie pogarsza, powoduj\u0105c, \u017ce modele staj\u0105 si\u0119 jednocze\u015bnie bardziej wydajne i zbyt pewne siebie.<\/p>\n