Ist Ihnen in letzter Zeit aufgefallen, dass sich der Formalisierungsgrad der Antworten von ChatGPT verändert hat? Einige Nutzer haben Bedenken hinsichtlich der langatmigen Erklärungen und der plötzlichen Neigung zur Verwendung komplexer Fachsprache geäußert. Keine Sorge, damit sind Sie nicht allein. Das neueste Modell von OpenAI, GPT-4o, steht wegen genau dieser Verhaltensänderung im Fokus der Kritik.
Überraschenderweise gab ChatGPT auf die Frage nach seiner Neigung zu ausführlichen Erklärungen eine selbstreflexive Antwort. Handelt es sich dabei um echte Selbstreflexion oder lediglich um eine algorithmische Anomalie? Das bleibt Spekulation. Es zeigt jedoch, wie sich große Sprachmodelle (LLMs) wie ChatGPT dahingehend weiterentwickelt haben, Muster nachzuahmen, für die sie während ihres Trainings positive Rückmeldungen erhielten – selbst wenn das Ergebnis weitschweifige Antworten sind.
Eine neue wissenschaftliche Arbeit geht diesem Geheimnis auf den Grund “Schmeichelei, leere Worte und Nebel: Diagnose und Minderung idiosynkratischer Verzerrungen in Präferenzmodellen”. Die von Forschern der University of Pennsylvania und der NYU gewonnenen Erkenntnisse zeigen die drei großen stilistischen Schwierigkeiten auf, mit denen moderne LLMs zu kämpfen haben. Dazu gehören Schmeicheleien, die dem Nutzer vorschnell zustimmen, fluffige, aber uninformative Antworten und nebelhafte, oberflächliche Antworten, die aufschlussreich erscheinen, aber keinen wesentlichen Tiefgang haben.
Diese Verhaltensanomalien sind nicht nur ärgerlich, sondern verzerren auch die Bewertungsmodelle und beeinträchtigen die Benutzererfahrung. Das Papier hebt zusätzliche Verzerrungen hervor, wie z. B. übermäßige Länge, Listenformatierung, Aufdringlichkeit von Jargon und Vagheit, die zusammen ein intelligent klingendes, aber meist oberflächliches Modell ergeben.
Wo liegt der Fehler? Bei den Trainern dieser Modelle selbst – den Menschen. Während der Trainingsphase scheinen menschliche Annotatoren ausführliche, ansprechende und strukturierte Antworten zu bevorzugen, auch wenn diese nicht unbedingt genauer sind. Infolgedessen entwickeln die Modelle ein Verständnis für diese Merkmale und passen ihre Ausgaben entsprechend an.
Man muss sich bewusst machen, dass diese Modelle nicht von Natur aus wortreich oder sympathisch sind. Sie entwickeln lediglich die Tendenz, Antworten zu liefern, die die Prüfer während des Trainings offenbar geschätzt haben, wie beispielsweise Texte im akademischen Stil oder ausführliche Antworten.
Um solchen Verzerrungen entgegenzuwirken, führten die Forscher synthetische Trainingsbeispiele ein, die jede Verzerrung beseitigten oder überbetont darstellten, und verwendeten ein Protokoll, das als Rewrite-based Attribute Treatment Estimators (RATE) bekannt ist, um kontrollierte Antwortpaare zusammenzustellen, um jedes Vorurteil zu isolieren. Diese Paare dienten als Beispiele für die Feinabstimmung, damit die Modelle wirklich gute Antworten von den scheinbar guten unterscheiden konnten.
Die Feinabstimmung führt zu einer offensichtlichen Verbesserung der Trainingsmodelle. Verzerrungen im Zusammenhang mit Wortreichheit, Fachjargon und Unklarheiten haben deutlich abgenommen, was vielversprechende Aussichten für die Gesamtleistung des Modells eröffnet. Der Ansatz hat seine Wirksamkeit bei der Angleichung der Modellpräferenzen an echte Nutzer unter Beweis gestellt – im Gegensatz zu den voreingenommenen Trainingsannotatoren.
Um das Ausmaß dieser Verzerrungen zu messen, verwendeten die Forscher zwei Schlüsselkennzahlen: Skew Rate, die die Häufigkeit der verzerrten Antworten angibt, und Miscalibration Rate, die die Unstimmigkeit zwischen menschlichem Urteil und Modellentscheidungen anzeigt. Diese Quantifizierung ergab eine starke Tendenz zu voreingenommenen Antworten von Modellen, insbesondere solchen, die mit kompliziertem Jargon oder unbestimmten Allgemeinplätzen gespickt sind.
Interessanterweise wiesen selbst die am besten bewerteten Modelle wie GPT-4o, Claude-3.7-Sonnet und Gemini-2.5-Pro eine hohe Fehlkalibrierungsrate auf, was das Vorhandensein dieser Verzerrungen weiter untermauert. Beispielsweise zeigte GPT-4o in 85% der Fälle eine Präferenz für zustimmende Antworten, verglichen mit einer Präferenzrate von 50% bei menschlichen Prüfern.
Die Analyse des Skywork-Datensatzes, der für das Training der Reward-Modelle verwendet wurde, ergab, dass die Annotatoren in der Regel eine Vorliebe für einseitige Antworten zeigten. Strukturierte Antworten erhielten eine Präferenzrate von 65%, während Jargon-lastige Antworten in 54% der Fälle ausgewählt wurden, was ein Ungleichgewicht offenbart, das letztendlich das Verhalten dieser Modelle beeinflusst. Diese Ergebnisse verdeutlichen, dass nicht nur der Inhalt, sondern auch der Stil das Verhalten der Modelle beeinflusst, was zu potenziellen Verzerrungen führt.
Die neue Welle der Feinabstimmung von Modellen mit neu eingefügten Verzerrungsmerkmalen im aktualisierten Datensatz beginnt. Das Ergebnis? Die Modelle stimmen besser mit den menschlichen Präferenzen überein, vor allem wenn es um die Verwendung von Fachausdrücken und Vagheit geht. Obwohl die Verbesserungen bei Struktur und Übereinstimmung minimal waren, weist der allgemeine Trend darauf hin, dass eine strategische Feinabstimmung die KI dazu bringen kann, die menschliche Sprache genauer wiederzugeben.
Diese Untersuchung und ihre Ergebnisse können Nutzern, die sich fragen, warum ChatGPT manchmal übertrieben zu reagieren scheint, Aufschluss geben. Wir wissen nun, dass es nicht nur am Modell liegt – vielmehr muss der Trainingsprozess verfeinert werden. Menschliche Annotatoren haben, bewusst oder unbewusst, die Sprache der KI beeinflusst und damit eine Abweichung von der tatsächlichen menschlichen Kommunikation geschaffen.
Aber es gibt auch einen Lichtblick. Durch konsequentes Feedback lassen sich Chatbots so trainieren, dass sie sich natürlicher verhalten. Die eigentliche Lösung liegt jedoch in fortschrittlichen Trainingsprotokollen und repräsentativen Daten. Durch gezielte Feinabstimmung und die Identifizierung von Verzerrungen haben wir die Chance auf eine verbesserte, transparente und menschlichere KI-Kommunikation. Während wir diese Modelle weiterentwickeln, ist es unerlässlich sicherzustellen, dass sie den Nutzern dienen und diese nicht nur imitieren.
Möchten Sie mehr erfahren? Tauchen Sie ein in das Quellenmaterial hier.
Diese Website verwendet Cookies.