Czy zauwa\u017cy\u0142e\u015b ostatnio zmian\u0119 w formalno\u015bci odpowiedzi ChatGPT? Niekt\u00f3rzy u\u017cytkownicy zg\u0142aszali obawy dotycz\u0105ce d\u0142ugich wyja\u015bnie\u0144 i nag\u0142ej sk\u0142onno\u015bci do u\u017cywania skomplikowanego \u017cargonu. Nie martw si\u0119, nie jeste\u015b sam. Najnowszy model OpenAI, GPT-4o, jest badany pod k\u0105tem tej samej zmiany zachowania.<\/p>\n
Co zaskakuj\u0105ce, po zapytaniu o tendencj\u0119 do nadmiernego wyja\u015bniania, ChatGPT udzieli\u0142 autorefleksyjnej odpowiedzi. Czy jest to prawdziwa refleksja, czy zwyk\u0142a anomalia algorytmiczna? To kwestia spekulacji. Pokazuje to jednak, w jaki spos\u00f3b du\u017ce modele j\u0119zykowe (LLM), takie jak ChatGPT, ewoluowa\u0142y, aby na\u015bladowa\u0107 wzorce, dla kt\u00f3rych otrzyma\u0142y pozytywne wzmocnienie podczas szkolenia, nawet je\u015bli wynikiem s\u0105 rozwlek\u0142e odpowiedzi.<\/p>\n
Nowy artyku\u0142 naukowy jeszcze bardziej zg\u0142\u0119bia t\u0119 tajemnic\u0119 \"Pochlebstwo, puch i mg\u0142a: Diagnozowanie i \u0142agodzenie b\u0142\u0119d\u00f3w idiosynkratycznych w modelach preferencji\"<\/em>. Spostrze\u017cenia dostarczone przez naukowc\u00f3w z University of Pennsylvania i NYU obejmuj\u0105 trzy g\u0142\u00f3wne problemy stylistyczne, kt\u00f3rych do\u015bwiadczaj\u0105 wsp\u00f3\u0142cze\u015bni LLM. Nale\u017c\u0105 do nich pochlebstwa - pochopne zgadzanie si\u0119 z u\u017cytkownikiem, g\u0142\u0119bokie, ale nieinformacyjne odpowiedzi oraz mgliste, powierzchowne odpowiedzi, kt\u00f3re wydaj\u0105 si\u0119 wnikliwe bez znacznej g\u0142\u0119bi.<\/p>\n Opr\u00f3cz tego, \u017ce s\u0105 irytuj\u0105ce, te anomalie behawioralne zniekszta\u0142caj\u0105 modele oceny i pogarszaj\u0105 wra\u017cenia u\u017cytkownika. Artyku\u0142 podkre\u015bla dodatkowe uprzedzenia, takie jak nadmierna d\u0142ugo\u015b\u0107, formatowanie list, ingerencja \u017cargonu i niejasno\u015b\u0107, kt\u00f3re razem tworz\u0105 inteligentnie brzmi\u0105cy, ale zwykle p\u0142ytki model.<\/p>\n Gdzie le\u017cy wina? W samych trenerach tych modeli - ludziach. Podczas fazy szkolenia, ludzcy adnotatorzy wydaj\u0105 si\u0119 preferowa\u0107 gadatliwe, zgodne i ustrukturyzowane odpowiedzi, nawet je\u015bli nie s\u0105 one bardziej dok\u0142adne. W rezultacie modele rozwijaj\u0105 zrozumienie tych cech i odpowiednio ewoluuj\u0105 swoje wyniki.<\/p>\n Wa\u017cne jest, aby zrozumie\u0107, \u017ce modele te nie s\u0105 z natury gadatliwe ani ugodowe. Po prostu nabieraj\u0105 tendencji do udzielania odpowiedzi, kt\u00f3re wydaj\u0105 si\u0119 by\u0107 doceniane przez recenzent\u00f3w szkole\u0144, takich jak pisanie w stylu akademickim lub d\u0142ugie odpowiedzi.<\/p>\n Aby przeciwdzia\u0142a\u0107 takim uprzedzeniom, naukowcy wprowadzili syntetyczne przyk\u0142ady szkoleniowe, kt\u00f3re usuwa\u0142y lub wyolbrzymia\u0142y ka\u017cde uprzedzenie i wykorzystali protok\u00f3\u0142 znany jako Rewrite-based Attribute Treatment Estimators (RATE) do kompilowania kontrolowanych par odpowiedzi w celu wyizolowania ka\u017cdego uprzedzenia. Pary te s\u0142u\u017cy\u0142y jako przyk\u0142ady dostrajania, aby pom\u00f3c modelom odr\u00f3\u017cni\u0107 naprawd\u0119 dobre odpowiedzi od pozornie dobrych.<\/p>\n Precyzyjne dostrojenie skutkuje widoczn\u0105 popraw\u0105 modeli treningowych. B\u0142\u0119dy zwi\u0105zane z dos\u0142owno\u015bci\u0105, \u017cargonem i niejasno\u015bci\u0105 znacznie si\u0119 zmniejszy\u0142y, rzucaj\u0105c obiecuj\u0105ce \u015bwiat\u0142o na og\u00f3ln\u0105 wydajno\u015b\u0107 modelu. Podej\u015bcie to dowiod\u0142o swojej skuteczno\u015bci w dostosowywaniu preferencji modelu do rzeczywistych u\u017cytkownik\u00f3w, w przeciwie\u0144stwie do stronniczych anotator\u00f3w szkoleniowych.<\/p>\n Aby zmierzy\u0107 zakres tych uprzedze\u0144, naukowcy wykorzystali dwa kluczowe wska\u017aniki: Skew Rate, kt\u00f3ry wskazuje cz\u0119stotliwo\u015b\u0107 preferencji stronniczych odpowiedzi i Miscalibration Rate, pokazuj\u0105cy niezgodno\u015b\u0107 mi\u0119dzy ludzk\u0105 ocen\u0105 a wyborami modelu. Ta kwantyfikacja ujawni\u0142a silne nachylenie w kierunku tendencyjnych odpowiedzi z modeli, szczeg\u00f3lnie tych pe\u0142nych skomplikowanego \u017cargonu lub niezdefiniowanych og\u00f3lnik\u00f3w.<\/p>\n Co ciekawe, nawet najwy\u017cej oceniane modele, takie jak GPT-4o, Claude-3.7-Sonnet i Gemini-2.5-Pro, wykazywa\u0142y wysoki wska\u017anik b\u0142\u0119dnej kalibracji, co dodatkowo wzmacnia\u0142o istnienie tych uprzedze\u0144. Na przyk\u0142ad, GPT-4o wykaza\u0142 preferencj\u0119 dla zgodnych odpowiedzi w 85% przypadk\u00f3w, w por\u00f3wnaniu do 50% preferencji od ludzkich recenzent\u00f3w.<\/p>\n Analiza zbioru danych Skywork, u\u017cywanego do trenowania modeli nagr\u00f3d, ujawni\u0142a, \u017ce anotatorzy zwykle wykazywali upodobanie do tendencyjnych odpowiedzi. Ustrukturyzowane odpowiedzi otrzyma\u0142y wska\u017anik preferencji 65%, podczas gdy \u017cargonowe odpowiedzi zosta\u0142y wybrane 54% razy, ujawniaj\u0105c brak r\u00f3wnowagi, kt\u00f3ry ostatecznie wp\u0142yn\u0105\u0142 na zachowanie tych modeli. Odkrycia te podkre\u015blaj\u0105, w jaki spos\u00f3b styl, a nie tylko tre\u015b\u0107, kszta\u0142tuje zachowanie modeli, prowadz\u0105c do potencjalnych uprzedze\u0144.<\/p>\n Wejd\u017a na now\u0105 fal\u0119 dostrajania modeli z nowo wstawionymi cechami uprzedze\u0144 w zaktualizowanym zbiorze danych. Rezultat? Modele lepiej dopasowuj\u0105 si\u0119 do ludzkich preferencji, zw\u0142aszcza je\u015bli chodzi o u\u017cycie \u017cargonu i niejasno\u015bci. Chocia\u017c struktura i zgodno\u015b\u0107 uleg\u0142y minimalnej poprawie, og\u00f3lny trend wskazuje, \u017ce strategiczne dostrajanie mo\u017ce zmusi\u0107 sztuczn\u0105 inteligencj\u0119 do dok\u0142adniejszego odzwierciedlenia ludzkiej mowy.<\/p>\n To badanie i jego wyniki mog\u0105 rzuci\u0107 \u015bwiat\u0142o na u\u017cytkownik\u00f3w zastanawiaj\u0105cych si\u0119, dlaczego ChatGPT czasami wydaje si\u0119 przesadza\u0107. Teraz wiemy, \u017ce to nie tylko model - to proces szkolenia wymaga udoskonalenia. Ludzcy adnotatorzy, \u015bwiadomie lub nie\u015bwiadomie, wp\u0142yn\u0119li na j\u0119zyk AI, tworz\u0105c rozbie\u017cno\u015b\u0107 z prawdziw\u0105 ludzk\u0105 komunikacj\u0105. <\/p>\n Jest w tym jednak pewna zaleta. Konsekwentne przekazywanie informacji zwrotnych mo\u017ce sprawi\u0107, \u017ce chatboty b\u0119d\u0105 zachowywa\u0107 si\u0119 bardziej naturalnie. Prawdziwym lekarstwem s\u0105 jednak progresywne protoko\u0142y szkoleniowe i reprezentatywne dane. Dzi\u0119ki ukierunkowanemu dostrajaniu i identyfikacji uprzedze\u0144 mamy szans\u0119 na ulepszon\u0105, przejrzyst\u0105 i bardziej ludzk\u0105 komunikacj\u0119 AI. W miar\u0119 dalszego rozwoju tych modeli konieczne jest zapewnienie, by s\u0142u\u017cy\u0142y one u\u017cytkownikom, a nie tylko ich na\u015bladowa\u0142y.<\/p>\nRozwi\u0105zanie kwestii uprzedze\u0144 w chatbotach<\/h5>\n
Jak dane treningowe kszta\u0142tuj\u0105 nasze chatboty<\/h5>\n