Wir haben große Sprachmodelle (LLMs), die oft auf künstlicher Intelligenz basieren, stets als Mittel zur Demokratisierung betrachtet – sie machen Wissen für alle zugänglich, unabhängig vom Hintergrund einer Person oder von geografischen Barrieren. Jüngste Erkenntnisse des Center for Constructive Communication (CCC) des MIT haben diese Vorstellung jedoch auf den Kopf gestellt. Die Forschungsergebnisse deuten darauf hin, dass diese KI-Tools gerade für jene Nutzer, die sie am dringendsten benötigen, möglicherweise unterdurchschnittliche Leistungen erbringen.
Die Studie wurde von Forschern des CCC durchgeführt, das am MIT Media Lab angesiedelt ist. Sie untersuchten die Leistung einiger der modernsten KI-Chatbots, darunter GPT-4 von OpenAI, Claude 3 Opus von Anthropic und Llama 3 von Meta. Die Ergebnisse waren überraschend. Sie stellten fest, dass diese KI-Systeme Nutzern mit geringeren Englischkenntnissen, einem niedrigeren Bildungsniveau oder solchen, die nicht aus den Vereinigten Staaten stammen, manchmal weniger genaue und weniger wahrheitsgemäße Antworten lieferten. Diese KI-Modelle weigerten sich bei diesen bestimmten Nutzern zudem häufiger, Fragen zu beantworten, und antworteten in einigen Fällen sogar in einem herablassenden oder bevormundenden Ton.
Ausgangspunkt der Forschung war das Potenzial von LLMs, den weltweit ungleichen Zugang zu Informationen zu beheben, erklärte Elinor Poole-Dayan SM ’25, die Hauptautorin, die an der MIT Sloan School of Management tätig und zudem dem CCC angegliedert ist. Um diese Vision zu verwirklichen, fügt sie jedoch hinzu, sei es unerlässlich, Modellverzerrungen und für Nutzer schädliche Tendenzen zu mindern – unabhängig von deren Sprache, Nationalität oder demografischen Merkmalen. Die Forschungsarbeit mit dem Titel “LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users” wurde erst im Januar dieses Jahres auf der AAAI-Konferenz für Künstliche Intelligenz vorgestellt.
Im Rahmen der Studie wurde die Reaktionsfähigkeit dieser drei LLMs auf Nutzeranfragen aus zwei Datensätzen – TruthfulQA und SciQ – getestet. Zu jeder Frage wurden kurze Nutzerbiografien bereitgestellt, wobei verschiedene Parameter wie Bildungsniveau, Englischkenntnisse und Herkunftsland variiert wurden. Deutlich erkennbar war ein erheblicher Rückgang der Genauigkeit der Antworten bei Nutzern, bei denen eine geringere formale Bildung festgestellt wurde oder die nicht englische Muttersprachler waren. Die Leistungsschwäche verstärkte sich bei Nutzern, die sich an der Schnittstelle dieser Kategorien befanden.
Die Untersuchung hob zudem den Einfluss des Herkunftslandes eines Nutzers auf die Leistung des KI-Modells hervor. So schnitt Claude 3 Opus bei Nutzern aus dem Iran in beiden Datensätzen deutlich schlechter ab als bei Nutzern aus den Vereinigten Staaten, dem Iran und China mit ähnlichem Bildungshintergrund. Die negativen Auswirkungen des Modellverhaltens in Bezug auf diese Nutzermerkmale verstärkten sich auf besorgniserregende Weise und bergen die Gefahr, dass schädliches Verhalten oder Falschinformationen unter den am stärksten benachteiligten Bevölkerungsgruppen verbreitet werden, so Jad Kabbara, Wissenschaftler am CCC und Mitautor der Studie.
Am auffälligsten war vielleicht die Beobachtung, dass die Modelle sich weigerten, Anfragen bestimmter Nutzergruppen überhaupt zu beantworten. So beantwortete Claude 3 Opus beispielsweise fast 11 Prozent der Anfragen von Nutzern mit geringerem Bildungsniveau, deren Muttersprache nicht Englisch war – ein krasser Gegensatz zu den nur 3,6 Prozent bei der Kontrollgruppe ohne Nutzerbiografie. Die Verweigerung ging oft mit herablassenden oder spöttischen Antworten einher, und das Modell weigerte sich sogar, weniger gebildeten Nutzern aus dem Iran oder Russland Informationen zu bestimmten Themen wie Atomkraft, Anatomie und historischen Ereignissen zu geben – obwohl es dieselben Fragen anderen Nutzern bereitwillig beantwortete.
Solche Ergebnisse erinnern in besorgniserregender Weise an soziokognitive Vorurteilsmuster beim Menschen, bei denen englische Muttersprachler Nicht-Muttersprachler unabhängig von deren tatsächlichen Fähigkeiten als weniger sachkundig oder kompetent wahrnehmen könnten. Wie Deb Roy, Professorin für Medienkunst und -wissenschaften, Direktorin des CCC und eine weitere Mitautorin der Studie, treffend formuliert: Es besteht dringender Bedarf, systemische Verzerrungen kontinuierlich zu bewerten und zu überprüfen, die sich in diese Systeme einschleichen und bestimmte Gruppen unverhältnismäßig stark benachteiligen könnten, ohne dass wir uns dessen voll bewusst sind. Je weiter sich Personalisierungsfunktionen auf Basis künstlicher Intelligenz verbreiten, desto gravierender werden die Folgen für diejenigen, die ohnehin schon an den Rand gedrängt sind.
Während Sprachmodelle also einen gerechten Informationszugang und eine Revolution des personalisierten Lernens versprechen, könnte die Realität ganz anders aussehen. Unseren Untersuchungen zufolge könnten sie bestehende Ungleichgewichte verstärken, indem sie bestimmten Nutzern fehlerhafte oder nicht ansprechende Informationen liefern. Die Ironie besteht darin, dass es sich dabei um dieselben Personen handeln könnte, die sich stark auf sie verlassen und am Ende unvollständige, wenn nicht sogar gefährliche Informationen erhalten. Ein ausführlicheres Verständnis der Studie finden Sie unter MIT-Nachrichten.
Diese Website verwendet Cookies.