Papier<\/a> die das Team auf der Konferenz NeurIPS (Neural Information Processing Systems) 2025 vorstellte, zeigt, wie tief dieses Problem reicht. Im Wesentlichen fanden sie heraus, dass Modelle, die urspr\u00fcnglich f\u00fcr die Diagnose von Krankheiten in einem Krankenhaus anhand von R\u00f6ntgenaufnahmen der Brust trainiert wurden, in einem anderen Krankenhaus miserable Leistungen erbringen k\u00f6nnen. Der Haken an der Sache? Die aggregierten Statistiken \u00fcbersehen diese Diskrepanz weitgehend und verschleiern die schlechte Leistung bei bestimmten Patientengruppen, z. B. bei Patienten mit bestimmten Erkrankungen wie Pleuraerkrankungen oder vergr\u00f6\u00dfertem Kardiomediastinum.<\/p>\nEin Hauptproblem, das die Forscher feststellten, war das Vorhandensein von Scheinkorrelationen, d. h. von Beziehungen, die w\u00e4hrend der Ausbildung gelernt wurden, sich aber nicht auf neue Umgebungen \u00fcbertragen lassen. Wird ein solcher Zusammenhang aufgedeckt, kann dies weitreichende, wenn nicht gar katastrophale Folgen haben. So k\u00f6nnen Bildgebungsmodelle beispielsweise bestimmte Markierungen auf R\u00f6ntgenbildern eines Krankenhauses mit einer Krankheit in Verbindung bringen, aber dieselbe Krankheit in den Scans eines anderen Krankenhauses, wo die Markierung fehlt, nicht erkennen. Diese falschen Zusammenh\u00e4nge zu verlernen, ist sicherlich eine Herausforderung.<\/p>\n
L\u00f6cher in traditionellen \u00dcberzeugungen und ein Blick in die Zukunft<\/h5>\n
Die g\u00e4ngige Meinung war, dass Modelle, die in einem Bereich sehr gut abschnitten, auch in einem anderen Bereich gut abschneiden w\u00fcrden. Diese Pr\u00e4misse, die als \u201cGenauigkeit auf der Linie\u201d bezeichnet wird, wurde durch die Untersuchungen des MIT-Teams zu Fall gebracht. Die Arbeit des Teams zeigte, dass Modelle, die in einem Kontext die besten Ergebnisse erzielten, in einem anderen Kontext die schlechtesten sein konnten.<\/p>\n
Die Forscher haben diese Situation mit einem neuartigen Algorithmus namens OODSelect gemeistert, der von einem MIT-Postdoc Olawale Salaudeen<\/strong>. Bei dieser Technik werden Tausende von Modellen, die mit Daten trainiert wurden, \u00fcberpr\u00fcft und dann mit anderen Daten erneut getestet. Der Algorithmus wirft ein Schlaglicht auf die Modelle, die in der urspr\u00fcnglichen Umgebung bewundernswert abschnitten, aber in einer neuen Umgebung deutlich versagten.<\/p>\nWie geht es weiter? Das Team hat seinen Code und die identifizierten Teilmengen bereits anderen zur Verf\u00fcgung gestellt und hofft, dass die Community f\u00fcr maschinelles Lernen OODSelect annehmen wird. Auf diese Weise k\u00f6nnen Unternehmen, die auf Bereiche sto\u00dfen, in denen ihre Modelle unterdurchschnittlich abschneiden, den Kurs korrigieren, indem sie gezielte Schritte zur Verbesserung dieser spezifischen Bereiche unternehmen.<\/p>\n
\u201cWir hoffen, dass der ver\u00f6ffentlichte Code und die OODSelect-Teilmengen als Br\u00fccke dienen\u201d, schreiben die Forscher und weisen damit auf ihr Bestreben hin, Benchmarks und Modelle zu erstellen, die sich mit den negativen Auswirkungen falscher Korrelationen auseinandersetzen.<\/p>\n
Um diese Diskussion im Detail zu verfolgen, lesen Sie den Originalartikel von MIT News: Warum es wichtig ist, sich von \u00fcberm\u00e4\u00dfig aggregierten Metriken des maschinellen Lernens zu l\u00f6sen<\/a>.<\/p>","protected":false},"excerpt":{"rendered":"Machine learning models have their fair share of admirers, mostly for their ability to dig into colossal datasets and churn out highly accurate results. But they\u2019re not invincible. Quite the contrary, according to recent findings from MIT scientists. They uncovered a chink in the otherwise resilient armor of top-rated models – a failure to carry their credibility from one situation to another. One would think high-accuracy is a testament to generalizability. Not according to MIT researchers, though. Marzyeh Ghassemi, an associate professor in MIT\u2019s Department of Electrical Engineering and Computer Science, suggests that a model that may be a superstar […]<\/p>\n","protected":false},"author":4,"featured_media":7823,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47],"tags":[],"class_list":["post-7822","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/7822","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=7822"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/7822\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/7823"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=7822"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=7822"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=7822"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}