Modelle des maschinellen Lernens haben zahlreiche Bewunderer, vor allem wegen ihrer Fähigkeit, riesige Datensätze zu durchforsten und äußerst präzise Ergebnisse zu liefern. Doch sie sind nicht unbesiegbar. Ganz im Gegenteil, wie aktuelle Erkenntnisse von Wissenschaftlern des MIT zeigen. Sie haben eine Schwachstelle in der ansonsten robusten „Rüstung“ der besten Modelle aufgedeckt – nämlich die Unfähigkeit, ihre Zuverlässigkeit von einer Situation auf eine andere zu übertragen.
Man sollte meinen, dass eine hohe Genauigkeit ein Beweis für die Verallgemeinerbarkeit ist. Doch die Forscher des MIT sehen das anders. Marzyeh Ghassemi, eine außerordentliche Professorin an der MIT-Abteilung für Elektrotechnik und Informatik, weist darauf hin, dass ein Modell, das in einem Kontext ein Superstar sein mag, in einem anderen für bis zu 75% der Datensätze abstürzen kann. Sie rät zur Vorsicht, wenn man sich beim Einsatz von Modellen in realen Szenarien blind auf durchschnittliche Leistungskennzahlen verlässt.
Eine erhellende Papier die das Team auf der Konferenz NeurIPS (Neural Information Processing Systems) 2025 vorstellte, zeigt, wie tief dieses Problem reicht. Im Wesentlichen fanden sie heraus, dass Modelle, die ursprünglich für die Diagnose von Krankheiten in einem Krankenhaus anhand von Röntgenaufnahmen der Brust trainiert wurden, in einem anderen Krankenhaus miserable Leistungen erbringen können. Der Haken an der Sache? Die aggregierten Statistiken übersehen diese Diskrepanz weitgehend und verschleiern die schlechte Leistung bei bestimmten Patientengruppen, z. B. bei Patienten mit bestimmten Erkrankungen wie Pleuraerkrankungen oder vergrößertem Kardiomediastinum.
Ein Hauptproblem, das die Forscher feststellten, war das Vorhandensein von Scheinkorrelationen, d. h. von Beziehungen, die während der Ausbildung gelernt wurden, sich aber nicht auf neue Umgebungen übertragen lassen. Wird ein solcher Zusammenhang aufgedeckt, kann dies weitreichende, wenn nicht gar katastrophale Folgen haben. So können Bildgebungsmodelle beispielsweise bestimmte Markierungen auf Röntgenbildern eines Krankenhauses mit einer Krankheit in Verbindung bringen, aber dieselbe Krankheit in den Scans eines anderen Krankenhauses, wo die Markierung fehlt, nicht erkennen. Diese falschen Zusammenhänge zu verlernen, ist sicherlich eine Herausforderung.
Die gängige Meinung lautete, dass Modelle, die in einem Kontext gut abschnitten, auch in einem anderen Kontext ebenso gut abschneiden würden. Diese als “Accuracy-on-the-line” bezeichnete Annahme wurde durch die Untersuchungen des MIT-Teams widerlegt. Ihre Arbeit zeigte, dass Modelle, die in einem Kontext als die besten galten, in einem anderen Kontext tatsächlich zu den Schlusslichtern gehören konnten.
Die Forscher haben diese Situation mit einem neuartigen Algorithmus namens OODSelect gemeistert, der von einem MIT-Postdoc Olawale Salaudeen. Bei dieser Technik werden Tausende von Modellen, die mit Daten trainiert wurden, überprüft und dann mit anderen Daten erneut getestet. Der Algorithmus wirft ein Schlaglicht auf die Modelle, die in der ursprünglichen Umgebung bewundernswert abschnitten, aber in einer neuen Umgebung deutlich versagten.
Wie geht es nun weiter? Das Team hat seinen Code und die identifizierten Teilmengen bereits zur Verfügung gestellt, in der Hoffnung, dass die Machine-Learning-Community OODSelect annehmen wird. Auf diese Weise können Unternehmen, die auf Bereiche stoßen, in denen ihre Modelle hinter den Erwartungen zurückbleiben, durch gezielte Maßnahmen zur Verbesserung dieser spezifischen Bereiche Kurskorrekturen vornehmen.
“Wir hoffen, dass der veröffentlichte Code und die OODSelect-Teilmengen als Brücke dienen”, schreiben die Forscher und weisen damit auf ihr Bestreben hin, Benchmarks und Modelle zu erstellen, die sich mit den negativen Auswirkungen falscher Korrelationen auseinandersetzen.
Um diese Diskussion im Detail zu verfolgen, lesen Sie den Originalartikel von MIT News: Warum es wichtig ist, sich von übermäßig aggregierten Metriken des maschinellen Lernens zu lösen.
Diese Website verwendet Cookies.