Jeste\u015b firm\u0105, kt\u00f3ra robi du\u017cy krok naprz\u00f3d. Chcesz zaadaptowa\u0107 du\u017ce modele j\u0119zykowe (LLM) do swoich operacji. By\u0107 mo\u017ce potrzebujesz sprytnego systemu, kt\u00f3ry podsumuje twoje raporty sprzeda\u017cy lub inteligentnego narz\u0119dzia, kt\u00f3re sprawnie obs\u0142u\u017cy zapytania obs\u0142ugi klienta. Problem polega na tym, \u017ce istnieje tak wiele modeli LLM do wyboru. Setki unikalnych modeli, z kt\u00f3rych ka\u017cdy wyr\u00f3\u017cnia si\u0119 subtelnymi r\u00f3\u017cnicami. Wyb\u00f3r tego idealnego jest tak skomplikowany i czasoch\u0142onny, jak szukanie ig\u0142y w stogu siana.<\/p>\n
C\u00f3\u017c, nie przejmuj si\u0119 tym zbytnio. Platformy rankingowe LLM zosta\u0142y zaprojektowane tak, aby u\u0142atwi\u0107 proces podejmowania decyzji. Zbieraj\u0105 one opinie od u\u017cytkownik\u00f3w i oceniaj\u0105 r\u00f3\u017cne modele na podstawie tego, jak dobrze wykonuj\u0105 one zadania, takie jak kodowanie, rozumienie wizualne lub przetwarzanie j\u0119zyka naturalnego. Je\u015bli model znajduje si\u0119 na szczycie rankingu, zak\u0142ada si\u0119, \u017ce najlepiej pasuje do danej aplikacji. Wystarczaj\u0105co proste, prawda?<\/p>\n
Nie tak szybko. Naukowcy z MIT zrzucili bomb\u0119, kt\u00f3ra podwa\u017ca nasze zaufanie do tych platform rankingowych. Ich badanie pokazuje, \u017ce nawet niewielki u\u0142amek interakcji u\u017cytkownik\u00f3w - czasami tak niewielki jak dwie lub trzy opinie - mo\u017ce drastycznie zmieni\u0107 rankingi. Jest to niepokoj\u0105ce, poniewa\u017c rzuca cie\u0144 w\u0105tpliwo\u015bci na to, czy najwy\u017cej sklasyfikowany model jest rzeczywi\u015bcie najbardziej niezawodny lub najbardziej skuteczny w rzeczywistych zastosowaniach.<\/p>\n
\u201cWyniki nas zaskoczy\u0142y\u201d - zauwa\u017cy\u0142a Tamara Broderick, profesor nadzwyczajny na Wydziale In\u017cynierii Elektrycznej i Informatyki MIT (EECS) i starszy badacz w badaniu. \u201cNasuwa si\u0119 pytanie, czy najwy\u017cej sklasyfikowany program LLM, kt\u00f3ry opiera si\u0119 na dw\u00f3ch lub trzech informacjach zwrotnych od dziesi\u0105tek tysi\u0119cy os\u00f3b, mo\u017ce konsekwentnie przewy\u017csza\u0107 wszystkie inne programy LLM w praktyce\u201d.\u201d<\/p>\n
Zesp\u00f3\u0142 badawczy z MIT, w tym studenci EECS Jenny Huang i Yunyi Shen oraz Dennis Wei z IBM Research, skupili si\u0119 na tym, jak mo\u017cna manipulowa\u0107 platformami rankingowymi. Opracowali oni szybki, ale skuteczny spos\u00f3b testowania stabilno\u015bci platform rankingowych LLM poprzez wykrywanie, kt\u00f3re pojedyncze informacje zwrotne znacz\u0105co wp\u0142ywaj\u0105 na og\u00f3lny ranking. Co ciekawe, odkryli, \u017ce niewielka zmiana danych o 0,0035% - czyli zaledwie dwa g\u0142osy z 57 000 - mo\u017ce wywr\u00f3ci\u0107 model zajmuj\u0105cy najwy\u017csze miejsce w rankingu.<\/p>\n
Po przeanalizowaniu kilku platform przy u\u017cyciu swojej nowatorskiej metody, zauwa\u017cyli platform\u0119, na kt\u00f3rej usuni\u0119cie zaledwie dw\u00f3ch ocen z tysi\u0119cy zmieni\u0142o najlepszy model. Nawet na bardziej niezawodnej platformie, na kt\u00f3rej wykorzystano anotator\u00f3w-ekspert\u00f3w, odrzucenie zaledwie 3 procent z 2575 ocen zmieni\u0142o rankingi.<\/p>\n
Opr\u00f3cz ujawnienia zaskakuj\u0105cej wra\u017cliwo\u015bci system\u00f3w, ich badania wykaza\u0142y, \u017ce znaczna cz\u0119\u015b\u0107 wp\u0142ywowych informacji zwrotnych okaza\u0142a si\u0119 b\u0142\u0119dna. Nieuzasadniony wyb\u00f3r mniej dok\u0142adnych modeli z powodu b\u0142\u0119dnych klikni\u0119\u0107 lub odwr\u00f3cenia uwagi przez u\u017cytkownika pog\u0142\u0119bi\u0142 niesp\u00f3jno\u015b\u0107. Jest to sygna\u0142 ostrzegawczy dotycz\u0105cy wiarygodno\u015bci informacji zwrotnych pochodz\u0105cych z crowdsourcingu przy wyborze najlepszego LLM.<\/p>\n
Naukowcy uwa\u017caj\u0105, \u017ce mogliby\u015bmy z\u0142agodzi\u0107 te problemy, zbieraj\u0105c bardziej szczeg\u00f3\u0142owe informacje zwrotne od u\u017cytkownik\u00f3w. Na przyk\u0142ad zrozumienie poziomu zaufania u\u017cytkownik\u00f3w do ich g\u0142os\u00f3w mog\u0142oby zapewni\u0107 lepszy kontekst. Proponuj\u0105 r\u00f3wnie\u017c zaanga\u017cowanie ludzkich mediator\u00f3w w celu weryfikacji odpowiedzi pochodz\u0105cych z crowdsourcingu, minimalizuj\u0105c wp\u0142yw wszelkich zaszumionych lub b\u0142\u0119dnych danych wej\u015bciowych.<\/p>\n
Chocia\u017c niniejsze badanie nie zapewnia pe\u0142nego rozwi\u0105zania, rzuca \u015bwiat\u0142o na kwestie, kt\u00f3re wymagaj\u0105 bardziej rygorystycznej metody oceny LLM. Zesp\u00f3\u0142 ma nadziej\u0119, \u017ce wyniki badania przyczyni\u0105 si\u0119 do poprawy sposobu oceny i rankingu LLM.<\/p>\n
Obecnie Broderick i jej grupa zamierzaj\u0105 zbada\u0107 podobne kwestie w innych obszarach uczenia maszynowego, jednocze\u015bnie doskonal\u0105c swoje techniki, aby ujawni\u0107 jeszcze subtelniejsze formy niestabilno\u015bci. Zewn\u0119trzny obserwator, Jessica Hullman, profesor informatyki na Northwestern University, kt\u00f3ra nie bra\u0142a udzia\u0142u w badaniu, skomentowa\u0142a jego szersze implikacje: \u201cWidz\u0105c, jak niewiele preferencji mo\u017ce tak drastycznie zmieni\u0107 funkcjonowanie precyzyjnie dostrojonego modelu, mo\u017ce naciska\u0107 na bardziej przemy\u015blane metody gromadzenia danych\u201d.\u201d<\/p>\n
To prze\u0142omowe badanie otrzyma\u0142o hojne wsparcie od wielu sponsor\u00f3w, w tym Office of Naval Research, MIT-IBM Watson AI Lab, National Science Foundation, Amazon, a tak\u017ce nagrod\u0119 CSAIL. Je\u015bli chcesz zag\u0142\u0119bi\u0107 si\u0119 w badanie, mo\u017cesz znale\u017a\u0107 oryginalny artyku\u0142 na stronie MIT News<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" So, you are a company taking the big leap. You want to adapt large language models (LLMs) into your operations. Perhaps you want a nifty system that can summarize your sales reports or a smart tool that can ably handle customer service inquiries. The problem is, there are so many of these LLMs to choose from. Hundreds of unique models, each distinguished by subtle variations. Picking the perfect one is as complex and time-consuming as finding a needle in a haystack. The Wide World of LLM Ranking Platforms and Their Fallibility Well, don\u2019t sweat it too much. LLM ranking platforms […]<\/p>\n","protected":false},"author":4,"featured_media":7958,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47,52],"tags":[],"class_list":["post-7957","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","category-ai-productivity","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7957","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=7957"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7957\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/7958"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=7957"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=7957"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=7957"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}