Zastanawiałeś się kiedyś, czy lśniąca recenzja filmu, którą właśnie przeczytałeś, jest tak naprawdę krytyką pokrytą pochwałami? Albo, czy odpowiedź chatbota na pytanie o kartę kredytową jest na cienkiej granicy udzielania porad finansowych? W miarę jak systemy sztucznej inteligencji (AI) wkraczają coraz głębiej w nasz cyfrowy ekosystem, dokładna klasyfikacja tekstu staje się coraz ważniejsza.
Klasyfikatory tekstu – algorytmy zaprogramowane do kategoryzowania treści tekstowych – szybko przejmują role tradycyjnie pełnione przez ludzi. Od sortowania wiadomości po moderowanie czatów obsługi klienta – te systemy oparte na sztucznej inteligencji rozpoznają niuanse pozytywnych lub negatywnych opinii, odróżniają fakty od fikcji, a nawet sprawdzają, czy odpowiedź chatbota nie zbliża się do udzielania bardziej ryzykownych porad, takich jak sugestie medyczne lub finansowe.
Zastanawiasz się, w jaki sposób te klasyfikatory robią to dobrze? Zespół z MIT's Lab for Information and Decision Systems, kierowany przez starszego naukowca Kalyana Veeramachaneni, starał się znaleźć odpowiedź na to pytanie. Zaprojektowali oni innowacyjny pakiet oprogramowania, który nie tylko ocenia skuteczność tych klasyfikatorów, ale także poprawia ich dokładność.
W tradycyjnym podejściu ocena tych klasyfikatorów opierała się na generowaniu przykładów syntetycznych: nieznacznie zmodyfikowanych wersji zdań, które zostały już sklasyfikowane. Celem jest ustalenie, czy drobne modyfikacje, takie jak zamiana słowa, mogą również wprowadzić klasyfikator w błąd. Nazywa się je przykładami przeciwnymi. Veeramachaneni zauważa: “Podejmowano różne próby wykrycia słabych punktów w tych klasyfikatorach. Jednak istniejące strategie często pomijają kluczowe przykłady, które należy zidentyfikować”.”
Zespół z MIT ulepszył tę procedurę testową, wykorzystując duże modele językowe (LLM) do tworzenia i analizowania tych przeciwstawnych przykładów. Jeśli kilka zdań o tym samym znaczeniu otrzyma różne klasyfikacje, system oznaczy je jako problematyczne. Co ciekawe, w większości przypadków może to być spowodowane różnicą jednego słowa.
Po przeanalizowaniu tysięcy takich przykładów zespół odkrył, że zaledwie niewielka część słów – 0,1% ze słownictwa liczącego 30 000 słów – może być przyczyną prawie połowy wszystkich błędów w niektórych zastosowaniach. To odkrycie pozwoliło badaczom skoncentrować się podczas testów na mniejszym, ale bardziej znaczącym zbiorze słów, dzięki czemu procedura stała się niezwykle wydajna.
W tych pracach znaczący wkład wniósł Lei Xu, świeżo upieczony doktorant z wydziału LIDS. Xu zidentyfikował najbardziej “wpływowe” słowa, które mogą wpłynąć na ocenę klasyfikatora, wykorzystując zaawansowane techniki estymacji. Następnie, korzystając z modeli LLM, stworzył hierarchię powiązanych słów w oparciu o ich wpływ.
Odkrycie to doprowadziło do wkładu wykraczającego poza samo testowanie. Zespół MIT opracował dwa narzędzia wykorzystujące przeciwstawne przykłady, które mają na celu wzmocnienie klasyfikatorów i uczynienie ich odpornymi na subtelne manipulacje. Stworzyli oni SP-Attack, który produkuje przeciwstawne zdania, oraz SP-Defense, który wykorzystuje je do przekwalifikowania i wzmocnienia klasyfikatora.
Chociaż błędna klasyfikacja recenzji filmu może wydawać się nieszkodliwa, konsekwencje są znacznie poważniejsze w innych obszarach. Klasyfikatory tekstu odgrywają obecnie integralną rolę w ograniczaniu rozprzestrzeniania się dezinformacji, ochronie wrażliwych informacji medycznych lub finansowych, a nawet wspomaganiu badań naukowych w obszarach takich jak odkrywanie leków i genomika. Dlatego też dokładna klasyfikacja jest ważniejsza niż kiedykolwiek wcześniej.
Aby ocenić odporność klasyfikatora na ataki oparte na pojedynczych słowach, zespół z MIT wprowadził nowy wskaźnik o nazwie “p”. Ich metoda radykalnie obniżyła wskaźniki skuteczności ataków przeciwniczych – nawet niewielka poprawa, taka jak 2%, może wywołać znaczący efekt domina po zastosowaniu jej w skali miliardów interakcji
Wyniki badań zespołu zostały opublikowane w czasopiśmie „Expert Systems” i są dostępne dla wszystkich. Oprogramowanie typu open source umożliwia programistom i organizacjom na całym świecie tworzenie bardziej niezawodnych i precyzyjnych systemów sztucznej inteligencji. W miarę jak będziemy wspólnie ewoluować wraz ze sztuczną inteligencją, narzędzia takie jak te staną się niezbędne do zapewnienia, że treści, które czytamy i na które reagujemy, są dokładnie rozumiane – nie tylko przez nas, ale także przez systemy sztucznej inteligencji, które w coraz większym stopniu pośredniczą w naszych transakcjach cyfrowych.
Jeśli chcesz zanurzyć się głębiej, możesz przeczytać oryginalny artykuł z MIT News: MIT News - Nowy sposób na sprawdzenie, jak dobrze systemy sztucznej inteligencji klasyfikują tekst
Ta strona używa plików cookie.