KI lehren, Ungewissheit zu akzeptieren: Ein neuer Ansatz zur Kalibrierung

Das Vertrauensproblem der KI: Eine Frage von Überheblichkeit und Fehlleitung

Künstliche Intelligenz (KI) kann genauso überzeugend sein wie die lauteste Stimme in einem Gespräch. Ihre fortschrittlichen Schlussfolgerungsmodelle liefern in ihren Antworten unerschütterliche Gewissheit – unabhängig von deren Richtigkeit. Diese unerschütterliche Zuversicht kann zwar wirkungsvoll sein, aber auch irreführend. Forscher am Labor für Informatik und Künstliche Intelligenz (CSAIL) des MIT haben dieses Problem der übermäßigen Selbstsicherheit jedoch kürzlich erkannt und eine bahnbrechende Technik namens RLCR (Reinforcement Learning with Calibration Rewards) entwickelt, um es anzugehen.

RLCR trainiert Sprachmodelle so, dass sie nicht nur Antworten generieren, sondern auch ihre eigene Unsicherheit einschätzen. Neben der Antwort liefert das Modell einen Konfidenzwert, mit dem es im Wesentlichen seine eigene Sicherheit bewertet. Experimente zeigten, dass RLCR Kalibrierungsfehler um bis zu 90% reduzierte und gleichzeitig die Genauigkeit über mehrere Benchmarks hinweg beibehielt oder sogar steigerte. Diese vielversprechende Entwicklung wird auf der bevorstehenden International Conference on Learning Representations vorgestellt.

Das Problem der übermäßigen Selbstsicherheit bei KI: Ursachen und Auswirkungen in der Praxis

Das Problem hat seine Wurzeln in den Methoden des verstärkenden Lernens, die den Fortschritt der KI vorantreiben, beispielsweise in den Modellen von OpenAI. Diese vorherrschenden Methoden vergeben Belohnungen für richtige Antworten und Strafen für falsche, wodurch keine Grauzonen dazwischen entstehen. Infolgedessen zeigt das Modell ein unerschütterliches Selbstvertrauen, unabhängig davon, ob eine Antwort sorgfältig begründet ist oder lediglich auf Zufall beruht. Dies kann zu Situationen führen, in denen Modelle jede Frage selbstbewusst beantworten, ganz gleich, ob sie über stichhaltige Belege verfügen oder lediglich wild raten.

Diese übermäßige Selbstsicherheit kann in Branchen wie der Medizin, dem Rechtswesen und dem Finanzwesen, in denen KI-gestützte Entscheidungen an der Tagesordnung sind, besonders gefährlich sein. Ein KI-System, das unabhängig von der tatsächlichen Sicherheit stets ein hohes Maß an Sicherheit ausdrückt, wird unzuverlässig. Es kann beispielsweise behaupten, zu 95% sicher zu sein, liegt aber nur in der Hälfte der Fälle richtig. Dies ist riskanter als ein Modell, das schlichtweg falsch liegt, da es für die Nutzer keinen Anhaltspunkt gibt, eine zweite Meinung einzuholen.

Vertrauen berechnen: Der Ansatz von RLCR und seine Auswirkungen

Laut Mehul Damani, einem Doktoranden am MIT und Mitautor der Studie, bietet der traditionelle Trainingsansatz zwar Einfachheit und Leistungsfähigkeit, schafft jedoch keine Anreize für Modelle, Unsicherheit auszudrücken. RLCR löst dieses Problem, indem es einen einzigen Term – den Brier-Score – in die Belohnungsfunktion einbezieht, der die Differenz zwischen der vom Modell prognostizierten Konfidenz und seiner tatsächlichen Genauigkeit bestraft.

Formale Beweise des Teams belegen, dass dieser Ansatz Modelle garantiert, die sowohl genau als auch gut kalibriert sind. Tests an einem Modell mit 7 Milliarden Parametern in verschiedenen Benchmarks untermauerten diese Aussagen. Die Methode schnitt besser ab als Post-hoc-Ansätze, bei denen ein separater Klassifikator im Nachhinein Konfidenzwerte zuweist. Isha Puri, ebenfalls Doktorandin am MIT und Mitautorin der Studie, betonte, dass reguläres Training mittels verstärkendem Lernen die Kalibrierung nicht nur nicht verbessert, sondern aktiv beeinträchtigt, was dazu führt, dass Modelle zwar leistungsfähiger werden, gleichzeitig aber auch übermäßig selbstsicher.

Zu den Autoren der Arbeit zählen neben Damani und Puri auch Stewart Slocum, Idan Shenfeld, Leshem Choshen sowie die leitenden Autoren Jacob Andreas und Yoon Kim. Weitere Informationen finden Sie unter Originalartikel. Sind Sie an KI-Automatisierung für Ihr Unternehmen interessiert? Entdecken Sie weitere Möglichkeiten mit implementi.ai.