Wir haben gro\u00dfe Sprachmodelle (LLMs), die oft von k\u00fcnstlicher Intelligenz unterst\u00fctzt werden, immer als unsere Demokratisierer betrachtet - sie machen Wissen universell zug\u00e4nglich, unabh\u00e4ngig von der Herkunft oder den \u00f6rtlichen Gegebenheiten einer Person. J\u00fcngste Erkenntnisse des Center for Constructive Communication (CCC) des MIT haben diese Vorstellung jedoch auf den Kopf gestellt. Die Forschungsergebnisse deuten darauf hin, dass diese KI-Tools bei den Nutzern, die sie am dringendsten ben\u00f6tigen, unterdurchschnittliche Leistungen erbringen k\u00f6nnten.<\/p>\n
Die Studie wurde von Forschern des in das MIT Media Lab integrierten CCC durchgef\u00fchrt. Sie untersuchten die Leistung einiger der modernsten KI-Chatbots, wie GPT-4 von OpenAI, Claude 3 Opus von Anthropic und Llama 3 von Meta. Die Ergebnisse waren \u00fcberraschend. Sie stellten fest, dass diese KI-Systeme manchmal weniger genaue und weniger wahrheitsgem\u00e4\u00dfe Antworten an Nutzer mit geringeren Englischkenntnissen, geringerer formaler Bildung oder an Nutzer von au\u00dferhalb der Vereinigten Staaten geben. Diese KI-Modelle lehnten es auch ab, Fragen f\u00fcr diese Nutzer in h\u00f6herem Ma\u00dfe zu beantworten, und in einigen F\u00e4llen antworteten sie sogar in einem herablassenden oder herablassenden Ton.<\/p>\n
Die Forschung wurde durch das Potenzial von LLMs motiviert, die ungleiche Zug\u00e4nglichkeit von Informationen auf der ganzen Welt zu verbessern, so Elinor Poole-Dayan SM \u201925, die Hauptautorin, die mit der MIT Sloan School of Management assoziiert und auch ein Mitglied des CCC ist. Um diese Vision zu verwirklichen, so Poole-Dayan weiter, ist es unerl\u00e4sslich, Modellvorurteile und sch\u00e4dliche Tendenzen f\u00fcr die Nutzer abzuschw\u00e4chen, unabh\u00e4ngig von ihrer Sprache, Nationalit\u00e4t oder demografischen Zusammensetzung. Das Forschungspapier mit dem Titel \u201cLLM Targeted Underperformance Disproportionately Impacts Vulnerable Users\u201d wurde im Januar auf der AAAI Conference on Artificial Intelligence vorgestellt.<\/p>\n
Im Rahmen der Studie wurde die Reaktionsf\u00e4higkeit dieser drei LLMs auf Benutzeranfragen aus zwei Datens\u00e4tzen - TruthfulQA und SciQ - getestet. Zu jeder Frage wurde eine kurze Nutzerbiografie hinzugef\u00fcgt, wobei verschiedene Parameter wie Bildungsniveau, Englischkenntnisse und Herkunftsland beibehalten wurden. Es wurde deutlich, dass die Genauigkeit der Antworten von Nutzern mit geringerer formaler Bildung oder mit nicht muttersprachlichen Englischkenntnissen deutlich abnahm. Die unzureichende Leistung wurde bei Nutzern verst\u00e4rkt, die an der Kreuzung dieser Kategorien auftraten.<\/p>\n
Die Untersuchung machte auch deutlich, welche Rolle das Herkunftsland eines Nutzers f\u00fcr die Leistung des KI-Modells spielt. Beispielsweise schnitt Claude 3 Opus bei Nutzern aus dem Iran in beiden Datens\u00e4tzen deutlich schlechter ab als bei Nutzern aus den Vereinigten Staaten, dem Iran und China mit \u00e4hnlichem Bildungshintergrund. Die negativen Auswirkungen des Modellverhaltens in Bezug auf diese Nutzereigenschaften sind besorgniserregend und bergen das Risiko, dass sich sch\u00e4dliches Verhalten oder Fehlinformationen auf die am wenigsten Beg\u00fcnstigten ausbreiten, so Jad Kabbara, Forscher am CCC und Mitautor der Studie.<\/p>\n
Die auff\u00e4lligste Beobachtung war vielleicht, dass sich die Modelle weigerten, Anfragen von bestimmten Nutzergruppen \u00fcberhaupt zu beantworten. So beantwortete Claude 3 Opus fast 11 % der Anfragen von weniger gebildeten, nicht englischsprachigen Nutzern nicht, im Gegensatz zu nur 3,6 % in der Kontrollgruppe ohne Nutzerbiografie. Die Ablehnung erfolgte oft mit herablassenden oder sp\u00f6ttischen Antworten, und das Modell weigerte sich sogar, weniger gebildeten Nutzern aus dem Iran oder Russland Informationen zu bestimmten Themen zu geben, z. B. zu Atomkraft, Anatomie und historischen Ereignissen - obwohl es anderen Nutzern bereitwillig die gleichen Antworten gab.<\/p>\n
Solche Ergebnisse erinnern in beunruhigender Weise an menschliche soziokognitive Verzerrungsmuster, bei denen englische Muttersprachler Nicht-Muttersprachler unabh\u00e4ngig von ihren tats\u00e4chlichen F\u00e4higkeiten als weniger sachkundig oder kompetent wahrnehmen k\u00f6nnen. Wie Deb Roy, Professorin f\u00fcr Medienkunst und -wissenschaften, CCC-Direktorin und eine weitere Mitverfasserin des Papiers, treffend formuliert, besteht die dringende Notwendigkeit, systemische Voreingenommenheiten, die sich in diese Systeme einschleichen und bestimmte Gruppen unverh\u00e4ltnism\u00e4\u00dfig stark beeintr\u00e4chtigen k\u00f6nnten, ohne dass wir uns dessen bewusst sind, kontinuierlich zu bewerten und zu \u00fcberpr\u00fcfen. Mit der zunehmenden Verbreitung von KI-Personalisierungsfunktionen werden die Auswirkungen f\u00fcr diejenigen, die bereits an den Rand gedr\u00e4ngt sind, noch gravierender.<\/p>\n
W\u00e4hrend Sprachmodelle also einen gerechten Informationszugang und eine Revolution des personalisierten Lernens versprechen, k\u00f6nnte die Realit\u00e4t ganz anders aussehen. Unseren Untersuchungen zufolge k\u00f6nnten sie bestehende Ungleichgewichte verst\u00e4rken, indem sie bestimmten Nutzern fehlerhafte oder nicht ansprechende Informationen liefern. Die Ironie besteht darin, dass es sich dabei um dieselben Personen handeln k\u00f6nnte, die sich stark auf sie verlassen und am Ende unvollst\u00e4ndige, wenn nicht sogar gef\u00e4hrliche Informationen erhalten. Ein ausf\u00fchrlicheres Verst\u00e4ndnis der Studie finden Sie unter MIT-Nachrichten<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" We’ve always looked at large language models (LLMs), often powered by artificial intelligence, as our democratizers – making knowledge universally accessible, regardless of a person’s background or locational barriers. However, recent findings from MIT\u2019s Center for Constructive Communication (CCC) have turned this notion on its head. The research suggests that these AI tools might actually be performing subpar for the very users who need them most. The study was undertaken by researchers at the MIT Media Lab-nested CCC. They explored the performance of some of the state-of-the-art AI chatbots, such as OpenAI’s GPT-4, Anthropic’s Claude 3 Opus, and Meta’s Llama […]<\/p>\n","protected":false},"author":4,"featured_media":8058,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[43,47],"tags":[],"class_list":["post-8057","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-agents","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/8057","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=8057"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/8057\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/8058"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=8057"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=8057"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=8057"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}