Sie sind also ein Unternehmen, das den gro\u00dfen Sprung wagt. Sie m\u00f6chten gro\u00dfe Sprachmodelle (LLMs) in Ihren Betrieb integrieren. Vielleicht m\u00f6chten Sie ein raffiniertes System, das Ihre Verkaufsberichte zusammenfassen kann, oder ein intelligentes Tool, das Kundendienstanfragen gekonnt bearbeiten kann. Das Problem ist nur, dass es so viele dieser LLMs gibt, aus denen Sie w\u00e4hlen k\u00f6nnen. Hunderte einzigartiger Modelle, die sich alle durch subtile Variationen auszeichnen. Das perfekte Modell zu finden, ist so komplex und zeitaufw\u00e4ndig wie die Suche nach der Nadel im Heuhaufen.<\/p>\n
Machen Sie sich nicht zu viele Gedanken dar\u00fcber. LLM-Bewertungsplattformen sollen Ihnen die Entscheidungsfindung etwas erleichtern. Sie sammeln Feedback von Nutzern und bewerten verschiedene Modelle danach, wie gut sie Aufgaben wie Codierung, visuelles Verst\u00e4ndnis oder Verarbeitung nat\u00fcrlicher Sprache erf\u00fcllen. Wenn ein Modell in der Rangliste ganz oben steht, wird davon ausgegangen, dass es f\u00fcr eine bestimmte Anwendung am besten geeignet ist. Einfach genug, oder?<\/p>\n
Nicht so schnell. Forscher des MIT haben eine Bombe platzen lassen, die unser Vertrauen in diese Ranking-Plattformen ersch\u00fcttert. Ihre Studie zeigt, dass selbst ein kleiner Teil der Nutzerinteraktionen - manchmal sogar nur zwei oder drei Meinungen - die Rangliste drastisch ver\u00e4ndern kann. Das ist alarmierend, denn es wirft einen Schatten des Zweifels darauf, ob das bestplatzierte Modell tats\u00e4chlich das zuverl\u00e4ssigste oder das effektivste f\u00fcr die Praxis ist.<\/p>\n
\u201cDie Ergebnisse haben uns \u00fcberrascht\u201d, bemerkte Tamara Broderick, au\u00dferordentliche Professorin am MIT Department of Electrical Engineering and Computer Science (EECS) und leitende Wissenschaftlerin der Studie. \u201cEs wirft die Frage auf, ob ein LLM der Spitzenklasse, das sich auf zwei oder drei R\u00fcckmeldungen von Zehntausenden st\u00fctzt, in der Praxis best\u00e4ndig besser abschneiden kann als alle anderen LLMs.\u201d<\/p>\n
Das Forschungsteam am MIT, zu dem auch die EECS-Absolventen Jenny Huang und Yunyi Shen sowie Dennis Wei von IBM Research geh\u00f6ren, untersuchte, wie Ranking-Plattformen manipuliert werden k\u00f6nnen. Sie entwickelten eine schnelle und effiziente Methode, um die Stabilit\u00e4t von LLM-Ranking-Plattformen zu testen, indem sie feststellten, welche einzelnen R\u00fcckmeldungen das Gesamtranking ma\u00dfgeblich beeinflussen. Interessanterweise entdeckten sie, dass eine winzige Daten\u00e4nderung von 0,0035 Prozent - das sind nur zwei von 57.000 Stimmen - das bestplatzierte Modell ins Wanken bringen kann.<\/p>\n
Nachdem sie mehrere Plattformen mit ihrer neuen Methode analysiert hatten, stellten sie fest, dass bei einer Plattform das Entfernen von nur zwei von Tausenden Bewertungen das beste Modell umkehrte. Selbst auf einer robusteren Plattform, auf der Expertenkommentare verwendet wurden, \u00e4nderte sich die Rangfolge, wenn nur 3 Prozent von 2.575 Bewertungen entfernt wurden.<\/p>\n
Neben der \u00fcberraschenden Empfindlichkeit der Systeme zeigte ihre Untersuchung, dass ein gro\u00dfer Teil der einflussreichen R\u00fcckmeldungen fehlerhaft zu sein schien. Die ungerechtfertigte Auswahl weniger genauer Modelle aufgrund von Fehlklicks oder Ablenkungen durch den Nutzer versch\u00e4rfte die Inkonsistenz noch. Dies ist ein Weckruf in Bezug auf die Zuverl\u00e4ssigkeit von Crowdsourced Feedback bei der Auswahl des besten LLM.<\/p>\n
Die Forscher sind der Meinung, dass wir diese Probleme abmildern k\u00f6nnten, indem wir detaillierteres Nutzerfeedback einholen. So k\u00f6nnte beispielsweise das Vertrauen der Nutzer in ihre Stimmen einen besseren Kontext bieten. Sie schlagen au\u00dferdem vor, menschliche Mediatoren zur \u00dcberpr\u00fcfung der Antworten aus der Crowd einzusetzen, um die Auswirkungen von verrauschten oder fehlerhaften Eingaben zu minimieren.<\/p>\n
Auch wenn diese Studie keine vollst\u00e4ndige L\u00f6sung bietet, so wirft sie doch ein Licht auf die Probleme, die eine strengere Bewertungsmethode f\u00fcr LLMs erfordern. Das Team hofft, dass seine Ergebnisse zu Verbesserungen bei der Bewertung und Einstufung von LLMs f\u00fchren werden.<\/p>\n
Derzeit wollen Broderick und ihre Gruppe \u00e4hnliche Probleme in anderen Bereichen des maschinellen Lernens untersuchen und gleichzeitig ihre Techniken perfektionieren, um noch subtilere Formen der Instabilit\u00e4t aufzudecken. Jessica Hullman, eine Informatikprofessorin an der Northwestern University, die nicht an der Studie mitgewirkt hat, \u00e4u\u00dferte sich als Au\u00dfenstehender zu den weiterreichenden Auswirkungen der Studie: \u201cZu sehen, wie wenige Pr\u00e4ferenzen die Funktionsweise eines fein abgestimmten Modells so dramatisch ver\u00e4ndern k\u00f6nnen, k\u00f6nnte ein Ansto\u00df f\u00fcr durchdachtere Methoden der Datenerfassung sein.\u201d<\/p>\n
Diese bahnbrechende Forschung wurde von vielen Sponsoren gro\u00dfz\u00fcgig unterst\u00fctzt, darunter das Office of Naval Research, das MIT-IBM Watson AI Lab, die National Science Foundation, Amazon und ein CSAIL Seed Award. Wenn Sie sich eingehender mit der Studie befassen m\u00f6chten, finden Sie den Originalartikel unter MIT-Nachrichten<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" So, you are a company taking the big leap. You want to adapt large language models (LLMs) into your operations. Perhaps you want a nifty system that can summarize your sales reports or a smart tool that can ably handle customer service inquiries. The problem is, there are so many of these LLMs to choose from. Hundreds of unique models, each distinguished by subtle variations. Picking the perfect one is as complex and time-consuming as finding a needle in a haystack. The Wide World of LLM Ranking Platforms and Their Fallibility Well, don\u2019t sweat it too much. LLM ranking platforms […]<\/p>\n","protected":false},"author":4,"featured_media":7958,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47,52],"tags":[],"class_list":["post-7957","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","category-ai-productivity","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/7957","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=7957"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/7957\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/7958"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=7957"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=7957"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=7957"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}