Jesteś firmą, która robi duży krok naprzód. Chcesz zaadaptować duże modele językowe (LLM) do swoich operacji. Być może potrzebujesz sprytnego systemu, który podsumuje twoje raporty sprzedaży lub inteligentnego narzędzia, które sprawnie obsłuży zapytania obsługi klienta. Problem polega na tym, że istnieje tak wiele modeli LLM do wyboru. Setki unikalnych modeli, z których każdy wyróżnia się subtelnymi różnicami. Wybór tego idealnego jest tak skomplikowany i czasochłonny, jak szukanie igły w stogu siana.
Cóż, nie przejmuj się tym zbytnio. Platformy rankingowe modeli LLM mają na celu nieco ułatwić proces podejmowania decyzji. Gromadzą one opinie użytkowników i oceniają różne modele na podstawie tego, jak dobrze radzą sobie z zadaniami takimi jak kodowanie, rozumienie obrazów czy przetwarzanie języka naturalnego. Jeśli model zajmuje czołowe miejsce w rankingu, zakłada się, że najlepiej nadaje się do danego zastosowania. To proste, prawda?
Nie tak szybko. Naukowcy z MIT rzucili bombę, która podważa nasze zaufanie do tych platform rankingowych. Ich badania pokazują, że nawet niewielka część interakcji użytkowników – czasem zaledwie dwie lub trzy opinie – może spowodować radykalną zmianę w rankingach. Jest to niepokojące, ponieważ budzi wątpliwości, czy model zajmujący najwyższą pozycję w rankingu jest rzeczywiście najbardziej niezawodny lub najskuteczniejszy w praktyce.
“Wyniki nas zaskoczyły” – zauważyła Tamara Broderick, profesor nadzwyczajna na Wydziale Elektrotechniki i Informatyki (EECS) MIT oraz główna badaczka w ramach tego projektu. “Rodzi to pytanie, czy czołowy model LLM, oparty na dwóch lub trzech opiniach spośród dziesiątek tysięcy, może w praktyce konsekwentnie osiągać lepsze wyniki niż wszystkie inne modele LLM”.”
Zespół badawczy z MIT, w skład którego wchodzą doktoranci wydziału EECS – Jenny Huang i Yunyi Shen – oraz Dennis Wei z IBM Research, skupił się na tym, w jaki sposób można manipulować platformami rankingowymi. Opracowali oni szybki, a jednocześnie skuteczny sposób testowania stabilności platform rankingowych opartych na modelach LLM poprzez identyfikację poszczególnych opinii, które mają znaczący wpływ na ogólny ranking. Co ciekawe, odkryli, że niewielka zmiana danych wynosząca zaledwie 0,0035 procenta – czyli tylko dwa głosy na 57 000 – może spowodować zmianę pozycji modelu zajmującego pierwsze miejsce w rankingu.
Po przeanalizowaniu kilku platform przy użyciu swojej nowatorskiej metody, zauważyli platformę, na której usunięcie zaledwie dwóch ocen z tysięcy zmieniło najlepszy model. Nawet na bardziej niezawodnej platformie, na której wykorzystano anotatorów-ekspertów, odrzucenie zaledwie 3 procent z 2575 ocen zmieniło rankingi.
Oprócz ujawnienia zaskakującej wrażliwości tych systemów, badania te wykazały, że znaczna część wpływowych opinii wydawała się błędna. Nieuzasadniony wybór mniej dokładnych modeli spowodowany przypadkowymi kliknięciami lub rozproszeniem uwagi użytkownika pogłębiał tę niespójność. Jest to sygnał ostrzegawczy dotyczący wiarygodności opinii pozyskanych w ramach crowdsourcingu podczas wyboru najlepszego modelu LLM.
Naukowcy uważają, że moglibyśmy złagodzić te problemy, zbierając bardziej szczegółowe opinie użytkowników. Na przykład zrozumienie poziomu pewności użytkowników co do oddanych przez nich głosów mogłoby zapewnić lepszy kontekst. Proponują oni również zaangażowanie ludzkich mediatorów do weryfikacji odpowiedzi pozyskanych w ramach crowdsourcingu, co pozwoliłoby zminimalizować wpływ wszelkich nieistotnych lub błędnych danych.
Chociaż niniejsze badanie nie zapewnia pełnego rozwiązania, rzuca światło na kwestie, które wymagają bardziej rygorystycznej metody oceny LLM. Zespół ma nadzieję, że wyniki badania przyczynią się do poprawy sposobu oceny i rankingu LLM.
Obecnie Broderick i jej zespół zamierzają zbadać podobne zagadnienia w innych obszarach uczenia maszynowego, jednocześnie udoskonalając swoje techniki w celu wykrywania jeszcze subtelniejszych form niestabilności. Osoba postronna, Jessica Hullman, profesor informatyki na Uniwersytecie Northwestern, która nie brała udziału w badaniach, skomentowała ich szersze implikacje: “Obserwacja, jak niewielka liczba preferencji może tak radykalnie zmienić funkcjonowanie precyzyjnie dostrojonego modelu, może skłonić do stosowania bardziej przemyślanych metod gromadzenia danych”.”
To przełomowe badanie otrzymało hojne wsparcie od wielu sponsorów, w tym Office of Naval Research, MIT-IBM Watson AI Lab, National Science Foundation, Amazon, a także nagrodę CSAIL. Jeśli chcesz zagłębić się w badanie, możesz znaleźć oryginalny artykuł na stronie MIT News.
Ta strona używa plików cookie.