Zawsze patrzyli\u015bmy na du\u017ce modele j\u0119zykowe (LLM), cz\u0119sto zasilane przez sztuczn\u0105 inteligencj\u0119, jako na nasze demokratyzatory - czyni\u0105c wiedz\u0119 powszechnie dost\u0119pn\u0105, niezale\u017cnie od pochodzenia danej osoby lub barier lokalizacyjnych. Jednak ostatnie odkrycia Centrum Konstruktywnej Komunikacji MIT (CCC) postawi\u0142y t\u0119 koncepcj\u0119 na g\u0142owie. Badania sugeruj\u0105, \u017ce te narz\u0119dzia sztucznej inteligencji mog\u0105 by\u0107 w rzeczywisto\u015bci s\u0142abe dla u\u017cytkownik\u00f3w, kt\u00f3rzy najbardziej ich potrzebuj\u0105.<\/p>\n
Badanie zosta\u0142o przeprowadzone przez naukowc\u00f3w z MIT Media Lab-nested CCC. Zbadali oni wydajno\u015b\u0107 niekt\u00f3rych z najnowocze\u015bniejszych chatbot\u00f3w AI, takich jak GPT-4 firmy OpenAI, Claude 3 Opus firmy Anthropic i Llama 3 firmy Meta. Wyniki by\u0142y zaskakuj\u0105ce. Okaza\u0142o si\u0119, \u017ce te systemy sztucznej inteligencji czasami dostarcza\u0142y mniej dok\u0142adnych i mniej zgodnych z prawd\u0105 odpowiedzi u\u017cytkownikom z ni\u017csz\u0105 znajomo\u015bci\u0105 j\u0119zyka angielskiego, mniej formalnym wykszta\u0142ceniem lub pochodz\u0105cym spoza Stan\u00f3w Zjednoczonych. Modele AI odmawia\u0142y r\u00f3wnie\u017c odpowiedzi na pytania z wi\u0119ksz\u0105 cz\u0119stotliwo\u015bci\u0105 w przypadku tych konkretnych u\u017cytkownik\u00f3w, a w niekt\u00f3rych przypadkach odpowiada\u0142y nawet protekcjonalnym lub protekcjonalnym tonem.<\/p>\n
Badania by\u0142y motywowane potencja\u0142em LLM w zakresie nier\u00f3wnego dost\u0119pu do informacji na ca\u0142ym \u015bwiecie, wspomina Elinor Poole-Dayan SM \u201925, g\u0142\u00f3wna autorka, kt\u00f3ra jest zwi\u0105zana z MIT Sloan School of Management i jest r\u00f3wnie\u017c cz\u0142onkiem CCC. Dodaje jednak, \u017ce aby zrealizowa\u0107 t\u0119 wizj\u0119, konieczne jest z\u0142agodzenie modelowych uprzedze\u0144 i szkodliwych tendencji dla u\u017cytkownik\u00f3w, niezale\u017cnie od ich j\u0119zyka, narodowo\u015bci czy danych demograficznych. Artyku\u0142 badawczy zatytu\u0142owany \u201cLLM Targeted Underperformance Disproportionately Impacts Vulnerable Users\u201d zosta\u0142 zaprezentowany na konferencji AAAI po\u015bwi\u0119conej sztucznej inteligencji w styczniu tego roku.<\/p>\n
Badanie obejmowa\u0142o testowanie responsywno\u015bci tych trzech LLM na zapytania u\u017cytkownik\u00f3w z dw\u00f3ch zbior\u00f3w danych - TruthfulQA i SciQ. Do ka\u017cdego pytania wprowadzono kr\u00f3tkie biografie u\u017cytkownik\u00f3w, zachowuj\u0105c r\u00f3\u017cne parametry, takie jak poziom wykszta\u0142cenia, znajomo\u015b\u0107 j\u0119zyka angielskiego i kraj pochodzenia. Zauwa\u017cono znaczny spadek dok\u0142adno\u015bci odpowiedzi udzielanych przez u\u017cytkownik\u00f3w, kt\u00f3rzy zostali zidentyfikowani jako posiadaj\u0105cy mniej formalne wykszta\u0142cenie lub nieb\u0119d\u0105cy rodzimymi u\u017cytkownikami j\u0119zyka angielskiego. S\u0142abe wyniki zosta\u0142y wzmocnione u u\u017cytkownik\u00f3w znajduj\u0105cych si\u0119 na przeci\u0119ciu tych kategorii.<\/p>\n
Badania podkre\u015bli\u0142y r\u00f3wnie\u017c rol\u0119 kraju pochodzenia u\u017cytkownika na wydajno\u015b\u0107 modelu AI. Na przyk\u0142ad Claude 3 Opus dzia\u0142a\u0142 znacznie gorzej dla u\u017cytkownik\u00f3w z Iranu w obu zestawach danych, w\u015br\u00f3d u\u017cytkownik\u00f3w ze Stan\u00f3w Zjednoczonych, Iranu i Chin o podobnym wykszta\u0142ceniu. Negatywne skutki zachowania modelu w odniesieniu do tych cech u\u017cytkownik\u00f3w po\u0142\u0105czone w niepokoj\u0105cy spos\u00f3b, mog\u0105 zagrozi\u0107 rozprzestrzenianiu si\u0119 szkodliwych zachowa\u0144 lub dezinformacji w\u015br\u00f3d najmniej uprzywilejowanych, cytuje Jad Kabbara, naukowiec z CCC i wsp\u00f3\u0142autor artyku\u0142u.<\/p>\n
Najbardziej uderzaj\u0105c\u0105 obserwacj\u0105 by\u0142o to, \u017ce modele ca\u0142kowicie odmawia\u0142y odpowiedzi na zapytania od niekt\u00f3rych grup u\u017cytkownik\u00f3w. Na przyk\u0142ad Claude 3 Opus nie odpowiedzia\u0142 na prawie 11 procent zapyta\u0144 od mniej wykszta\u0142conych, nierodzimych angloj\u0119zycznych u\u017cytkownik\u00f3w, co stanowi wyra\u017any kontrast z zaledwie 3,6 procentami w grupie kontrolnej bez biografii u\u017cytkownika. Odmowa cz\u0119sto wi\u0105za\u0142a si\u0119 z protekcjonalnymi lub kpi\u0105cymi odpowiedziami, a model odm\u00f3wi\u0142 nawet dostarczenia informacji na okre\u015blone tematy mniej wykszta\u0142conym u\u017cytkownikom z Iranu lub Rosji, takie jak energia j\u0105drowa, anatomia i wydarzenia historyczne - cho\u0107 z \u0142atwo\u015bci\u0105 odpowiada\u0142 na te same pytania innym u\u017cytkownikom.<\/p>\n
Takie odkrycia niepokoj\u0105co przypominaj\u0105 ludzkie wzorce uprzedze\u0144 spo\u0142eczno-poznawczych, w kt\u00f3rych rodzimi u\u017cytkownicy j\u0119zyka angielskiego mog\u0105 postrzega\u0107 osoby nieb\u0119d\u0105ce rodzimymi u\u017cytkownikami j\u0119zyka jako mniej kompetentne lub posiadaj\u0105ce mniejsz\u0105 wiedz\u0119, niezale\u017cnie od ich rzeczywistych umiej\u0119tno\u015bci. Jak trafnie uj\u0105\u0142 to Deb Roy, profesor sztuk i nauk medialnych, dyrektor CCC i inny wsp\u00f3\u0142autor artyku\u0142u - istnieje pilna potrzeba ci\u0105g\u0142ej oceny i sprawdzania systemowych uprzedze\u0144, kt\u00f3re mog\u0105 wkra\u015b\u0107 si\u0119 do tych system\u00f3w i nieproporcjonalnie zaszkodzi\u0107 okre\u015blonym grupom, nie b\u0119d\u0105c tego w pe\u0142ni \u015bwiadomym. W miar\u0119 jak funkcje personalizacji AI staj\u0105 si\u0119 coraz bardziej powszechne, konsekwencje staj\u0105 si\u0119 coraz bardziej dotkliwe dla os\u00f3b ju\u017c zmarginalizowanych.<\/p>\n
Tak wi\u0119c, podczas gdy modele j\u0119zykowe obiecuj\u0105 sprawiedliwy dost\u0119p do informacji i rewolucj\u0119 w spersonalizowanym uczeniu si\u0119, rzeczywisto\u015b\u0107 mo\u017ce by\u0107 zupe\u0142nie inna. Je\u015bli nasze badania s\u0105 wiarygodne, mog\u0105 one pog\u0142\u0119bia\u0107 istniej\u0105ce nier\u00f3wno\u015bci, dostarczaj\u0105c b\u0142\u0119dnych lub nieodpowiednich informacji niekt\u00f3rym u\u017cytkownikom. Ironia polega na tym, \u017ce mog\u0105 to by\u0107 te same osoby, kt\u00f3re mog\u0105 w du\u017cym stopniu na nich polega\u0107 i ostatecznie otrzymywa\u0107 niedoskona\u0142e, je\u015bli nie niebezpieczne, informacje. Bardziej szczeg\u00f3\u0142owe informacje na temat badania mo\u017cna znale\u017a\u0107 na stronie MIT News<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" We’ve always looked at large language models (LLMs), often powered by artificial intelligence, as our democratizers – making knowledge universally accessible, regardless of a person’s background or locational barriers. However, recent findings from MIT\u2019s Center for Constructive Communication (CCC) have turned this notion on its head. The research suggests that these AI tools might actually be performing subpar for the very users who need them most. The study was undertaken by researchers at the MIT Media Lab-nested CCC. They explored the performance of some of the state-of-the-art AI chatbots, such as OpenAI’s GPT-4, Anthropic’s Claude 3 Opus, and Meta’s Llama […]<\/p>\n","protected":false},"author":4,"featured_media":8058,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[43,47],"tags":[],"class_list":["post-8057","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-agents","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/8057","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=8057"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/8057\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/8058"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=8057"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=8057"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=8057"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}