MIT-Studie zeigt Schwachstellen in LLM-Ranking-Plattformen auf

Sie sind also ein Unternehmen, das den großen Sprung wagt. Sie möchten große Sprachmodelle (LLMs) in Ihren Betrieb integrieren. Vielleicht möchten Sie ein raffiniertes System, das Ihre Verkaufsberichte zusammenfassen kann, oder ein intelligentes Tool, das Kundendienstanfragen gekonnt bearbeiten kann. Das Problem ist nur, dass es so viele dieser LLMs gibt, aus denen Sie wählen können. Hunderte einzigartiger Modelle, die sich alle durch subtile Variationen auszeichnen. Das perfekte Modell zu finden, ist so komplex und zeitaufwändig wie die Suche nach der Nadel im Heuhaufen.

Die weite Welt der LLM-Ranking-Plattformen und ihre Fehlbarkeit

Machen Sie sich nicht zu viele Gedanken darüber. LLM-Bewertungsplattformen sollen Ihnen die Entscheidungsfindung etwas erleichtern. Sie sammeln Feedback von Nutzern und bewerten verschiedene Modelle danach, wie gut sie Aufgaben wie Codierung, visuelles Verständnis oder Verarbeitung natürlicher Sprache erfüllen. Wenn ein Modell in der Rangliste ganz oben steht, wird davon ausgegangen, dass es für eine bestimmte Anwendung am besten geeignet ist. Einfach genug, oder?

Nicht so schnell. Forscher des MIT haben eine Bombe platzen lassen, die unser Vertrauen in diese Ranking-Plattformen erschüttert. Ihre Studie zeigt, dass selbst ein kleiner Teil der Nutzerinteraktionen - manchmal sogar nur zwei oder drei Meinungen - die Rangliste drastisch verändern kann. Das ist alarmierend, denn es wirft einen Schatten des Zweifels darauf, ob das bestplatzierte Modell tatsächlich das zuverlässigste oder das effektivste für die Praxis ist.

“Die Ergebnisse haben uns überrascht”, bemerkte Tamara Broderick, außerordentliche Professorin am MIT Department of Electrical Engineering and Computer Science (EECS) und leitende Wissenschaftlerin der Studie. “Es wirft die Frage auf, ob ein LLM der Spitzenklasse, das sich auf zwei oder drei Rückmeldungen von Zehntausenden stützt, in der Praxis beständig besser abschneiden kann als alle anderen LLMs.”

Für ein besseres Verständnis von LLM-Rankings

Das Forschungsteam am MIT, zu dem auch die EECS-Absolventen Jenny Huang und Yunyi Shen sowie Dennis Wei von IBM Research gehören, untersuchte, wie Ranking-Plattformen manipuliert werden können. Sie entwickelten eine schnelle und effiziente Methode, um die Stabilität von LLM-Ranking-Plattformen zu testen, indem sie feststellten, welche einzelnen Rückmeldungen das Gesamtranking maßgeblich beeinflussen. Interessanterweise entdeckten sie, dass eine winzige Datenänderung von 0,0035 Prozent - das sind nur zwei von 57.000 Stimmen - das bestplatzierte Modell ins Wanken bringen kann.

Nachdem sie mehrere Plattformen mit ihrer neuen Methode analysiert hatten, stellten sie fest, dass bei einer Plattform das Entfernen von nur zwei von Tausenden Bewertungen das beste Modell umkehrte. Selbst auf einer robusteren Plattform, auf der Expertenkommentare verwendet wurden, änderte sich die Rangfolge, wenn nur 3 Prozent von 2.575 Bewertungen entfernt wurden.

Neben der überraschenden Empfindlichkeit der Systeme zeigte ihre Untersuchung, dass ein großer Teil der einflussreichen Rückmeldungen fehlerhaft zu sein schien. Die ungerechtfertigte Auswahl weniger genauer Modelle aufgrund von Fehlklicks oder Ablenkungen durch den Nutzer verschärfte die Inkonsistenz noch. Dies ist ein Weckruf in Bezug auf die Zuverlässigkeit von Crowdsourced Feedback bei der Auswahl des besten LLM.

Der Weg in die Zukunft: Hoffnungen und Hoffnungen auf robustere Bewertungsmethoden

Die Forscher sind der Meinung, dass wir diese Probleme abmildern könnten, indem wir detaillierteres Nutzerfeedback einholen. So könnte beispielsweise das Vertrauen der Nutzer in ihre Stimmen einen besseren Kontext bieten. Sie schlagen außerdem vor, menschliche Mediatoren zur Überprüfung der Antworten aus der Crowd einzusetzen, um die Auswirkungen von verrauschten oder fehlerhaften Eingaben zu minimieren.

Auch wenn diese Studie keine vollständige Lösung bietet, so wirft sie doch ein Licht auf die Probleme, die eine strengere Bewertungsmethode für LLMs erfordern. Das Team hofft, dass seine Ergebnisse zu Verbesserungen bei der Bewertung und Einstufung von LLMs führen werden.

Derzeit wollen Broderick und ihre Gruppe ähnliche Probleme in anderen Bereichen des maschinellen Lernens untersuchen und gleichzeitig ihre Techniken perfektionieren, um noch subtilere Formen der Instabilität aufzudecken. Jessica Hullman, eine Informatikprofessorin an der Northwestern University, die nicht an der Studie mitgewirkt hat, äußerte sich als Außenstehender zu den weiterreichenden Auswirkungen der Studie: “Zu sehen, wie wenige Präferenzen die Funktionsweise eines fein abgestimmten Modells so dramatisch verändern können, könnte ein Anstoß für durchdachtere Methoden der Datenerfassung sein.”

Diese bahnbrechende Forschung wurde von vielen Sponsoren großzügig unterstützt, darunter das Office of Naval Research, das MIT-IBM Watson AI Lab, die National Science Foundation, Amazon und ein CSAIL Seed Award. Wenn Sie sich eingehender mit der Studie befassen möchten, finden Sie den Originalartikel unter MIT-Nachrichten.