Bemerken Sie in letzter Zeit eine Ver\u00e4nderung in der F\u00f6rmlichkeit der Antworten von ChatGPT? Einige Nutzer haben sich \u00fcber die langatmigen Erkl\u00e4rungen und den pl\u00f6tzlichen Hang zu komplexem Jargon beschwert. Machen Sie sich keine Sorgen, Sie sind nicht allein. OpenAIs neuestes Modell, GPT-4o, steht wegen der gleichen Verhaltens\u00e4nderung auf dem Pr\u00fcfstand.<\/p>\n
\u00dcberraschenderweise hat ChatGPT auf die Frage nach seiner Tendenz, zu viele Erkl\u00e4rungen abzugeben, eine selbstreflektierende Antwort gegeben. Ist das eine echte Reflexion oder eine einfache algorithmische Anomalie? Das ist eine Frage der Spekulation. Es zeigt jedoch, wie sich Large Language Models (LLMs) wie ChatGPT entwickelt haben, um Muster zu imitieren, f\u00fcr die sie w\u00e4hrend ihres Trainings positive Verst\u00e4rkung erhalten haben, selbst wenn die Ergebnisse ausf\u00fchrliche Antworten sind.<\/p>\n
Eine neue wissenschaftliche Arbeit geht diesem Geheimnis auf den Grund \u201cSchmeicheleien, Fluff und Nebel: Diagnose und Abschw\u00e4chung idiosynkratischer Verzerrungen in Pr\u00e4ferenzmodellen\u201d<\/em>. Die von Forschern der University of Pennsylvania und der NYU gewonnenen Erkenntnisse zeigen die drei gro\u00dfen stilistischen Schwierigkeiten auf, mit denen moderne LLMs zu k\u00e4mpfen haben. Dazu geh\u00f6ren Schmeicheleien, die dem Nutzer vorschnell zustimmen, fluffige, aber uninformative Antworten und nebelhafte, oberfl\u00e4chliche Antworten, die aufschlussreich erscheinen, aber keinen wesentlichen Tiefgang haben.<\/p>\n Diese Verhaltensanomalien sind nicht nur \u00e4rgerlich, sondern verzerren auch die Bewertungsmodelle und beeintr\u00e4chtigen die Benutzererfahrung. Das Papier hebt zus\u00e4tzliche Verzerrungen hervor, wie z. B. \u00fcberm\u00e4\u00dfige L\u00e4nge, Listenformatierung, Aufdringlichkeit von Jargon und Vagheit, die zusammen ein intelligent klingendes, aber meist oberfl\u00e4chliches Modell ergeben.<\/p>\n Wo liegt der Fehler? Bei den Ausbildern dieser Modelle - den Menschen. W\u00e4hrend der Trainingsphase scheinen menschliche Kommentatoren wortreiche, angenehme und strukturierte Antworten zu bevorzugen, auch wenn sie nicht genauer sind. Infolgedessen entwickeln die Modelle ein Verst\u00e4ndnis f\u00fcr diese Merkmale und entwickeln ihre Ergebnisse entsprechend weiter.<\/p>\n Es ist wichtig zu verstehen, dass diese Modelle nicht von Natur aus wortreich oder angenehm sind. Sie neigen lediglich dazu, Antworten zu geben, die die Pr\u00fcfer zu sch\u00e4tzen wussten, wie z. B. akademisch anmutende Texte oder lange Antworten.<\/p>\n Um solchen Verzerrungen entgegenzuwirken, f\u00fchrten die Forscher synthetische Trainingsbeispiele ein, die jede Verzerrung beseitigten oder \u00fcberbetont darstellten, und verwendeten ein Protokoll, das als Rewrite-based Attribute Treatment Estimators (RATE) bekannt ist, um kontrollierte Antwortpaare zusammenzustellen, um jedes Vorurteil zu isolieren. Diese Paare dienten als Beispiele f\u00fcr die Feinabstimmung, damit die Modelle wirklich gute Antworten von den scheinbar guten unterscheiden konnten.<\/p>\n Die Feinabstimmung f\u00fchrt zu einer deutlichen Verbesserung der Trainingsmodelle. Verzerrungen im Zusammenhang mit Ausf\u00fchrlichkeit, Fachjargon und Vagheit sind deutlich zur\u00fcckgegangen, was ein vielversprechendes Licht auf die Gesamtleistung des Modells wirft. Der Ansatz hat sich als wirksam erwiesen, da er die Modellpr\u00e4ferenzen mit den echten Nutzern in Einklang bringt, im Gegensatz zu den voreingenommenen Trainingskommentatoren.<\/p>\n Um das Ausma\u00df dieser Verzerrungen zu messen, verwendeten die Forscher zwei Schl\u00fcsselkennzahlen: Skew Rate, die die H\u00e4ufigkeit der verzerrten Antworten angibt, und Miscalibration Rate, die die Unstimmigkeit zwischen menschlichem Urteil und Modellentscheidungen anzeigt. Diese Quantifizierung ergab eine starke Tendenz zu voreingenommenen Antworten von Modellen, insbesondere solchen, die mit kompliziertem Jargon oder unbestimmten Allgemeinpl\u00e4tzen gespickt sind.<\/p>\n Interessanterweise wiesen selbst die am besten bewerteten Modelle wie GPT-4o, Claude-3.7-Sonnet und Gemini-2.5-Pro eine hohe Fehlkalibrierungsrate auf, was das Vorhandensein dieser Verzerrungen weiter untermauert. Beispielsweise zeigte GPT-4o in 85% der F\u00e4lle eine Pr\u00e4ferenz f\u00fcr zustimmende Antworten, verglichen mit einer Pr\u00e4ferenzrate von 50% bei menschlichen Pr\u00fcfern.<\/p>\n Die Analyse des Skywork-Datensatzes, der f\u00fcr das Training der Reward-Modelle verwendet wurde, ergab, dass die Annotatoren in der Regel eine Vorliebe f\u00fcr einseitige Antworten zeigten. Strukturierte Antworten erhielten eine Pr\u00e4ferenzrate von 65%, w\u00e4hrend Jargon-lastige Antworten in 54% der F\u00e4lle ausgew\u00e4hlt wurden, was ein Ungleichgewicht offenbart, das letztendlich das Verhalten dieser Modelle beeinflusst. Diese Ergebnisse verdeutlichen, dass nicht nur der Inhalt, sondern auch der Stil das Verhalten der Modelle beeinflusst, was zu potenziellen Verzerrungen f\u00fchrt.<\/p>\n Die neue Welle der Feinabstimmung von Modellen mit neu eingef\u00fcgten Verzerrungsmerkmalen im aktualisierten Datensatz beginnt. Das Ergebnis? Die Modelle stimmen besser mit den menschlichen Pr\u00e4ferenzen \u00fcberein, vor allem wenn es um die Verwendung von Fachausdr\u00fccken und Vagheit geht. Obwohl die Verbesserungen bei Struktur und \u00dcbereinstimmung minimal waren, weist der allgemeine Trend darauf hin, dass eine strategische Feinabstimmung die KI dazu bringen kann, die menschliche Sprache genauer wiederzugeben.<\/p>\n Diese Untersuchung und ihre Ergebnisse k\u00f6nnen Nutzern, die sich fragen, warum ChatGPT manchmal zu \u00fcbertreiben scheint, Klarheit verschaffen. Wir wissen jetzt, dass es nicht nur am Modell liegt, sondern auch am Trainingsprozess, der verfeinert werden muss. Menschliche Kommentatoren haben, wissentlich oder unwissentlich, die KI-Sprache beeinflusst, was zu einer Abweichung von der echten menschlichen Kommunikation f\u00fchrt. <\/p>\n Aber es gibt hier einen Silberstreif am Horizont. Konsequentes Feedback kann Chatbots dazu bringen, sich nat\u00fcrlicher zu verhalten. Das wahre Heilmittel liegt jedoch in progressiven Trainingsprotokollen und repr\u00e4sentativen Daten. Durch gezielte Feinabstimmung und Identifizierung von Verzerrungen haben wir die Chance auf eine verbesserte, transparente und menschen\u00e4hnlichere KI-Kommunikation. Bei der Weiterentwicklung dieser Modelle m\u00fcssen wir unbedingt sicherstellen, dass sie den Nutzern dienen und sie nicht nur imitieren.<\/p>\nDas Problem der Voreingenommenheit in Chatbots angehen<\/h5>\n
Wie Trainingsdaten unsere Chatbots formen<\/h5>\n