K\u00fcnstliche Intelligenz (KI) kann genauso \u00fcberzeugend sein wie die lauteste Stimme in einem Gespr\u00e4ch. Ihre fortschrittlichen Schlussfolgerungsmodelle liefern in ihren Antworten unersch\u00fctterliche Gewissheit \u2013 unabh\u00e4ngig von deren Richtigkeit. Diese unersch\u00fctterliche Zuversicht kann zwar wirkungsvoll sein, aber auch irref\u00fchrend. Forscher am Labor f\u00fcr Informatik und K\u00fcnstliche Intelligenz (CSAIL) des MIT haben dieses Problem der \u00fcberm\u00e4\u00dfigen Selbstsicherheit jedoch k\u00fcrzlich erkannt und eine bahnbrechende Technik namens RLCR (Reinforcement Learning with Calibration Rewards) entwickelt, um es anzugehen.<\/p>\n
RLCR trainiert Sprachmodelle so, dass sie nicht nur Antworten generieren, sondern auch ihre eigene Unsicherheit einsch\u00e4tzen. Neben der Antwort liefert das Modell einen Konfidenzwert, mit dem es im Wesentlichen seine eigene Sicherheit bewertet. Experimente zeigten, dass RLCR Kalibrierungsfehler um bis zu 90% reduzierte und gleichzeitig die Genauigkeit \u00fcber mehrere Benchmarks hinweg beibehielt oder sogar steigerte. Diese vielversprechende Entwicklung wird auf der bevorstehenden International Conference on Learning Representations vorgestellt.<\/p>\n
Das Problem hat seine Wurzeln in den Methoden des verst\u00e4rkenden Lernens, die den Fortschritt der KI vorantreiben, beispielsweise in den Modellen von OpenAI. Diese vorherrschenden Methoden vergeben Belohnungen f\u00fcr richtige Antworten und Strafen f\u00fcr falsche, wodurch keine Grauzonen dazwischen entstehen. Infolgedessen zeigt das Modell ein unersch\u00fctterliches Selbstvertrauen, unabh\u00e4ngig davon, ob eine Antwort sorgf\u00e4ltig begr\u00fcndet ist oder lediglich auf Zufall beruht. Dies kann zu Situationen f\u00fchren, in denen Modelle jede Frage selbstbewusst beantworten, ganz gleich, ob sie \u00fcber stichhaltige Belege verf\u00fcgen oder lediglich wild raten.<\/p>\n
Diese \u00fcberm\u00e4\u00dfige Selbstsicherheit kann in Branchen wie der Medizin, dem Rechtswesen und dem Finanzwesen, in denen KI-gest\u00fctzte Entscheidungen an der Tagesordnung sind, besonders gef\u00e4hrlich sein. Ein KI-System, das unabh\u00e4ngig von der tats\u00e4chlichen Sicherheit stets ein hohes Ma\u00df an Sicherheit ausdr\u00fcckt, wird unzuverl\u00e4ssig. Es kann beispielsweise behaupten, zu 95% sicher zu sein, liegt aber nur in der H\u00e4lfte der F\u00e4lle richtig. Dies ist riskanter als ein Modell, das schlichtweg falsch liegt, da es f\u00fcr die Nutzer keinen Anhaltspunkt gibt, eine zweite Meinung einzuholen.<\/p>\n
Laut Mehul Damani, einem Doktoranden am MIT und Mitautor der Studie, bietet der traditionelle Trainingsansatz zwar Einfachheit und Leistungsf\u00e4higkeit, schafft jedoch keine Anreize f\u00fcr Modelle, Unsicherheit auszudr\u00fccken. RLCR l\u00f6st dieses Problem, indem es einen einzigen Term \u2013 den Brier-Score \u2013 in die Belohnungsfunktion einbezieht, der die Differenz zwischen der vom Modell prognostizierten Konfidenz und seiner tats\u00e4chlichen Genauigkeit bestraft.<\/p>\n
Formale Beweise des Teams belegen, dass dieser Ansatz Modelle garantiert, die sowohl genau als auch gut kalibriert sind. Tests an einem Modell mit 7 Milliarden Parametern in verschiedenen Benchmarks untermauerten diese Aussagen. Die Methode schnitt besser ab als Post-hoc-Ans\u00e4tze, bei denen ein separater Klassifikator im Nachhinein Konfidenzwerte zuweist. Isha Puri, ebenfalls Doktorandin am MIT und Mitautorin der Studie, betonte, dass regul\u00e4res Training mittels verst\u00e4rkendem Lernen die Kalibrierung nicht nur nicht verbessert, sondern aktiv beeintr\u00e4chtigt, was dazu f\u00fchrt, dass Modelle zwar leistungsf\u00e4higer werden, gleichzeitig aber auch \u00fcberm\u00e4\u00dfig selbstsicher.<\/p>\n