Czy zauważyliście ostatnio zmianę w stopniu formalności odpowiedzi ChatGPT? Niektórzy użytkownicy wyrazili obawy dotyczące długich wyjaśnień i nagłej skłonności do używania skomplikowanego żargonu. Nie martwcie się – nie jesteście w tym osamotnieni. Najnowszy model OpenAI, GPT-4o, jest obecnie przedmiotem analizy właśnie z powodu tej samej zmiany w zachowaniu.
Co zaskakujące, zapytany o swoją skłonność do nadmiernego wyjaśniania, ChatGPT udzielił odpowiedzi o charakterze autorefleksyjnym. Czy jest to autentyczna refleksja, czy zwykła anomalia algorytmiczna? To kwestia spekulacji. Pokazuje to jednak, w jaki sposób duże modele językowe (LLM), takie jak ChatGPT, ewoluowały, naśladując wzorce, za które otrzymały pozytywne wzmocnienie podczas szkolenia, nawet jeśli skutkiem tego są rozwlekłe odpowiedzi.
Nowy artykuł naukowy jeszcze bardziej zgłębia tę tajemnicę “Pochlebstwa, bzdury i mgła: rozpoznawanie i ograniczanie indywidualnych tendencji w modelach preferencji”. Spostrzeżenia dostarczone przez naukowców z University of Pennsylvania i NYU obejmują trzy główne problemy stylistyczne, których doświadczają współcześni LLM. Należą do nich pochlebstwa - pochopne zgadzanie się z użytkownikiem, głębokie, ale nieinformacyjne odpowiedzi oraz mgliste, powierzchowne odpowiedzi, które wydają się wnikliwe bez znacznej głębi.
Oprócz tego, że są irytujące, te anomalie behawioralne zniekształcają modele oceny i pogarszają wrażenia użytkownika. Artykuł podkreśla dodatkowe uprzedzenia, takie jak nadmierna długość, formatowanie list, ingerencja żargonu i niejasność, które razem tworzą inteligentnie brzmiący, ale zwykle płytki model.
Gdzie leży wina? W samych trenerach tych modeli – w ludziach. Wydaje się, że podczas fazy szkolenia ludzie zajmujący się adnotacją preferują rozbudowane, przyjemne w odbiorze i uporządkowane odpowiedzi, nawet jeśli nie są one bardziej trafne. W rezultacie modele przyswajają te cechy i odpowiednio dostosowują swoje wyniki.
Warto zrozumieć, że modele te nie są z natury rozgadane ani przyjazne. Po prostu nabierają tendencji do udzielania odpowiedzi, które wydawały się podobać osobom oceniającym dane szkoleniowe, takich jak styl pisania akademickiego czy długie odpowiedzi.
Aby przeciwdziałać takim uprzedzeniom, naukowcy wprowadzili syntetyczne przykłady szkoleniowe, które usuwały lub wyolbrzymiały każde uprzedzenie i wykorzystali protokół znany jako Rewrite-based Attribute Treatment Estimators (RATE) do kompilowania kontrolowanych par odpowiedzi w celu wyizolowania każdego uprzedzenia. Pary te służyły jako przykłady dostrajania, aby pomóc modelom odróżnić naprawdę dobre odpowiedzi od pozornie dobrych.
Dopracowanie modeli szkoleniowych przyniosło widoczną poprawę ich wyników. Znacznie zmniejszyły się tendencje związane z nadmierną szczegółowością, żargonem i niejasnością, co pozwala z optymizmem patrzeć na ogólną wydajność modelu. Podejście to dowiodło swojej skuteczności w dostosowywaniu preferencji modelu do rzeczywistych użytkowników, w przeciwieństwie do stronniczych osób dokonujących adnotacji podczas szkolenia.
Aby zmierzyć zakres tych uprzedzeń, naukowcy wykorzystali dwa kluczowe wskaźniki: Skew Rate, który wskazuje częstotliwość preferencji stronniczych odpowiedzi i Miscalibration Rate, pokazujący niezgodność między ludzką oceną a wyborami modelu. Ta kwantyfikacja ujawniła silne nachylenie w kierunku tendencyjnych odpowiedzi z modeli, szczególnie tych pełnych skomplikowanego żargonu lub niezdefiniowanych ogólników.
Co ciekawe, nawet najwyżej oceniane modele, takie jak GPT-4o, Claude-3.7-Sonnet i Gemini-2.5-Pro, wykazywały wysoki wskaźnik błędnej kalibracji, co dodatkowo wzmacniało istnienie tych uprzedzeń. Na przykład, GPT-4o wykazał preferencję dla zgodnych odpowiedzi w 85% przypadków, w porównaniu do 50% preferencji od ludzkich recenzentów.
Analiza zbioru danych Skywork, używanego do trenowania modeli nagród, ujawniła, że anotatorzy zwykle wykazywali upodobanie do tendencyjnych odpowiedzi. Ustrukturyzowane odpowiedzi otrzymały wskaźnik preferencji 65%, podczas gdy żargonowe odpowiedzi zostały wybrane 54% razy, ujawniając brak równowagi, który ostatecznie wpłynął na zachowanie tych modeli. Odkrycia te podkreślają, w jaki sposób styl, a nie tylko treść, kształtuje zachowanie modeli, prowadząc do potencjalnych uprzedzeń.
Wejdź na nową falę dostrajania modeli z nowo wstawionymi cechami uprzedzeń w zaktualizowanym zbiorze danych. Rezultat? Modele lepiej dopasowują się do ludzkich preferencji, zwłaszcza jeśli chodzi o użycie żargonu i niejasności. Chociaż struktura i zgodność uległy minimalnej poprawie, ogólny trend wskazuje, że strategiczne dostrajanie może zmusić sztuczną inteligencję do dokładniejszego odzwierciedlenia ludzkiej mowy.
Badania te i ich wyniki mogą rzucić światło na sytuację użytkowników, którzy zastanawiają się, dlaczego ChatGPT czasami wydaje się przesadzać. Wiemy już, że nie chodzi tylko o sam model — to proces szkolenia wymaga udoskonalenia. Ludzcy anotatorzy, świadomie lub nieświadomie, wywarli wpływ na język sztucznej inteligencji, powodując odejście od prawdziwej ludzkiej komunikacji.
Jest jednak promyk nadziei. Regularna informacja zwrotna może pomóc w wyszkoleniu chatbotów tak, by zachowywały się bardziej naturalnie. Jednak prawdziwym rozwiązaniem są progresywne protokoły szkoleniowe i reprezentatywne dane. Dzięki ukierunkowanemu dostrajaniu i identyfikacji uprzedzeń mamy szansę na lepszą, przejrzystą i bardziej ludzką komunikację opartą na sztucznej inteligencji. W miarę dalszego rozwoju tych modeli konieczne jest zapewnienie, by służyły one użytkownikom, a nie tylko ich naśladowały.
Chcesz dowiedzieć się więcej? Zapraszamy do zapoznania się z materiałami źródłowymi tutaj.
Ta strona używa plików cookie.