Sie sind also ein Unternehmen, das den großen Sprung wagt. Sie möchten große Sprachmodelle (LLMs) in Ihren Betrieb integrieren. Vielleicht möchten Sie ein raffiniertes System, das Ihre Verkaufsberichte zusammenfassen kann, oder ein intelligentes Tool, das Kundendienstanfragen gekonnt bearbeiten kann. Das Problem ist nur, dass es so viele dieser LLMs gibt, aus denen Sie wählen können. Hunderte einzigartiger Modelle, die sich alle durch subtile Variationen auszeichnen. Das perfekte Modell zu finden, ist so komplex und zeitaufwändig wie die Suche nach der Nadel im Heuhaufen.
Na ja, mach dir nicht zu viele Gedanken darüber. LLM-Ranking-Plattformen sollen dir die Entscheidung ein wenig erleichtern. Sie sammeln Feedback von Nutzern und bewerten verschiedene Modelle danach, wie gut sie Aufgaben wie Programmierung, visuelles Verständnis oder natürliche Sprachverarbeitung bewältigen. Wenn ein Modell ganz oben im Ranking steht, geht man davon aus, dass es für eine bestimmte Anwendung am besten geeignet ist. Ganz einfach, oder?
Nicht so schnell. Forscher des MIT haben eine Bombe platzen lassen, die unser Vertrauen in diese Bewertungsplattformen erschüttert. Ihre Studie zeigt, dass schon ein winziger Bruchteil der Nutzerinteraktionen – manchmal nicht mehr als zwei oder drei Bewertungen – zu einer drastischen Veränderung der Rangliste führen kann. Das ist alarmierend, denn es lässt Zweifel daran aufkommen, ob das Modell mit der höchsten Platzierung tatsächlich das zuverlässigste oder das effektivste für den Einsatz in der Praxis ist.
“Die Ergebnisse haben uns überrascht”, bemerkte Tamara Broderick, außerordentliche Professorin am Fachbereich Elektrotechnik und Informatik (EECS) des MIT und leitende Forscherin der Studie. “Das wirft die Frage auf, ob ein LLM der Spitzenklasse, das auf zwei oder drei Rückmeldungen von Zehntausenden basiert, in der Praxis tatsächlich durchweg besser abschneiden kann als alle anderen LLMs.”
Das Forschungsteam am MIT, zu dem die EECS-Doktorandinnen Jenny Huang und Yunyi Shen sowie Dennis Wei von IBM Research gehörten, untersuchte, wie Ranking-Plattformen manipuliert werden können. Sie entwickelten eine schnelle und dennoch effiziente Methode, um die Stabilität von LLM-Ranking-Plattformen zu testen, indem sie ermittelten, welche einzelnen Rückmeldungen das Gesamtranking maßgeblich beeinflussen. Interessanterweise stellten sie fest, dass bereits eine winzige Datenveränderung von 0,0035 Prozent – das sind gerade einmal zwei von 57.000 Stimmen – das bestplatzierte Modell aus dem Gleichgewicht bringen konnte.
Nachdem sie mehrere Plattformen mit ihrer neuen Methode analysiert hatten, stellten sie fest, dass bei einer Plattform das Entfernen von nur zwei von Tausenden Bewertungen das beste Modell umkehrte. Selbst auf einer robusteren Plattform, auf der Expertenkommentare verwendet wurden, änderte sich die Rangfolge, wenn nur 3 Prozent von 2.575 Bewertungen entfernt wurden.
Ihre Forschung deckte nicht nur eine überraschende Empfindlichkeit der Systeme auf, sondern machte auch deutlich, dass ein Großteil des einflussreichen Feedbacks offenbar fehlerhaft war. Die ungerechtfertigte Auswahl weniger genauer Modelle aufgrund von Fehlklicks oder abgelenkter Aufmerksamkeit seitens der Nutzer verschärfte diese Inkonsistenz noch. Dies ist ein Weckruf hinsichtlich der Zuverlässigkeit von Crowdsourcing-Feedback bei der Auswahl des besten LLM.
Die Forscher sind der Ansicht, dass wir diese Probleme durch die Erhebung detaillierterer Nutzer-Feedbacks abmildern könnten. So könnte beispielsweise das Verständnis dafür, wie sicher sich die Nutzer bei ihren Abstimmungen sind, einen besseren Kontext liefern. Sie schlagen außerdem vor, menschliche Moderatoren einzusetzen, um die Crowdsourcing-Antworten zu überprüfen und so die Auswirkungen von Störsignalen oder fehlerhaften Eingaben zu minimieren.
Auch wenn diese Studie keine vollständige Lösung bietet, so wirft sie doch ein Licht auf die Probleme, die eine strengere Bewertungsmethode für LLMs erfordern. Das Team hofft, dass seine Ergebnisse zu Verbesserungen bei der Bewertung und Einstufung von LLMs führen werden.
Derzeit wollen Broderick und ihr Team ähnliche Fragestellungen in anderen Bereichen des maschinellen Lernens untersuchen und gleichzeitig ihre Methoden verfeinern, um noch subtilere Formen der Instabilität aufzudecken. Eine externe Beobachterin, Jessica Hullman, Professorin für Informatik an der Northwestern University, die nicht an der Studie mitgearbeitet hat, äußerte sich zu den weiterreichenden Auswirkungen: “Zu sehen, wie wenige Präferenzen die Funktionsweise eines fein abgestimmten Modells so dramatisch verändern können, könnte den Anstoß für durchdachtere Methoden der Datenerhebung geben.”
Diese bahnbrechende Forschung wurde von vielen Sponsoren großzügig unterstützt, darunter das Office of Naval Research, das MIT-IBM Watson AI Lab, die National Science Foundation, Amazon und ein CSAIL Seed Award. Wenn Sie sich eingehender mit der Studie befassen möchten, finden Sie den Originalartikel unter MIT-Nachrichten.
Diese Website verwendet Cookies.