Naukowcy z MIT opracowali inteligentniejszy sposób testowania i ulepszania klasyfikatorów tekstu AI

Zastanawiałeś się kiedyś, czy lśniąca recenzja filmu, którą właśnie przeczytałeś, jest tak naprawdę krytyką pokrytą pochwałami? Albo, czy odpowiedź chatbota na pytanie o kartę kredytową jest na cienkiej granicy udzielania porad finansowych? W miarę jak systemy sztucznej inteligencji (AI) wkraczają coraz głębiej w nasz cyfrowy ekosystem, dokładna klasyfikacja tekstu staje się coraz ważniejsza.

Rozpakowywanie znaczenia dokładnej klasyfikacji tekstu

Klasyfikatory tekstu - algorytmy zaprogramowane do kategoryzowania treści tekstowych - szybko przejmują role tradycyjnie pełnione przez ludzi. Od sortowania wiadomości po moderowanie czatów z obsługą klienta, te systemy sztucznej inteligencji określają niuanse pozytywnych lub negatywnych opinii, odróżniają fakty od fikcji, a nawet sprawdzają, czy odpowiedź chatbota graniczy z udzielaniem bardziej ryzykownych porad, takich jak sugestie medyczne lub finansowe.

Zastanawiasz się, w jaki sposób te klasyfikatory robią to dobrze? Zespół z MIT's Lab for Information and Decision Systems, kierowany przez starszego naukowca Kalyana Veeramachaneni, starał się znaleźć odpowiedź na to pytanie. Zaprojektowali oni innowacyjny pakiet oprogramowania, który nie tylko ocenia skuteczność tych klasyfikatorów, ale także poprawia ich dokładność.

W tradycyjnych metodach ocena tych klasyfikatorów zależała od generowania syntetycznych przykładów: nieznacznie zmienionych wersji zdań, które zostały już skategoryzowane. Celem jest zrozumienie, czy drobne modyfikacje, takie jak zamiana słów, mogą również sprowadzić klasyfikator na manowce. Nazywa się je przykładami przeciwstawnymi. Veeramachaneni zauważa: “Podejmowano różne próby wykrycia słabych punktów w tych klasyfikatorach. Jednak istniejące strategie często pomijają kluczowe przykłady, które należy oznaczyć”.”

Innowacyjna metoda oceny

Zespół z MIT ulepszył tę procedurę testową, wykorzystując duże modele językowe (LLM) do tworzenia i analizowania tych przeciwstawnych przykładów. Jeśli kilka zdań o tym samym znaczeniu otrzyma różne klasyfikacje, system oznaczy je jako problematyczne. Co ciekawe, w większości przypadków może to być spowodowane różnicą jednego słowa.

Po przeanalizowaniu tysięcy takich przykładów zespół odkrył, że niewielki ułamek słów - 0,1% z 30 000 słów - może prowadzić do prawie połowy wszystkich błędów w niektórych aplikacjach. Odkrycie to umożliwiło naukowcom skoncentrowanie testów na mniejszym, bardziej wpływowym zestawie słów, czyniąc procedurę wysoce wydajną.

W tym przedsięwzięciu znaczący wkład wniósł Lei Xu, niedawno ukończony doktorant LIDS. Xu zidentyfikował najbardziej “potężne” słowa, które mogą wpłynąć na ocenę klasyfikatora przy użyciu zaawansowanych technik szacowania. Wykorzystując LLM, zbudował hierarchię powiązanych słów w oparciu o ich wpływ.

Opracowywanie instrumentów wzmacniających klasyfikatory AI

Odkrycie to doprowadziło do wkładu wykraczającego poza samo testowanie. Zespół MIT opracował dwa narzędzia wykorzystujące przeciwstawne przykłady, które mają na celu wzmocnienie klasyfikatorów i uczynienie ich odpornymi na subtelne manipulacje. Stworzyli oni SP-Attack, który produkuje przeciwstawne zdania, oraz SP-Defense, który wykorzystuje je do przekwalifikowania i wzmocnienia klasyfikatora.

Chociaż błędna klasyfikacja recenzji filmu może wydawać się nieszkodliwa, konsekwencje są znacznie poważniejsze w innych obszarach. Klasyfikatory tekstu odgrywają obecnie integralną rolę w ograniczaniu rozprzestrzeniania się dezinformacji, ochronie wrażliwych informacji medycznych lub finansowych, a nawet wspomaganiu badań naukowych w obszarach takich jak odkrywanie leków i genomika. Dlatego też dokładna klasyfikacja jest ważniejsza niż kiedykolwiek wcześniej.

Aby ocenić odporność klasyfikatora na ataki jednowyrazowe, zespół MIT wprowadził nową metrykę o nazwie “p”. Ich metoda drastycznie zmniejszyła wskaźniki powodzenia ataków przeciwników - nawet niewielka poprawa, taka jak 2%, może wywołać znaczący efekt falowania, gdy jest skalowana w miliardach interakcji

Wyniki badań zespołu zostały opublikowane w czasopiśmie Expert Systems i są dostępne publicznie. Oprogramowanie typu open source umożliwia programistom i organizacjom tworzenie bardziej niezawodnych, precyzyjnych systemów sztucznej inteligencji na całym świecie. Ponieważ nadal ewoluujemy wraz ze sztuczną inteligencją, narzędzia takie jak te staną się niezbędne do zapewnienia, że treści, które czytamy i na które reagujemy, są dokładnie rozumiane - nie tylko przez nas, ale także przez systemy sztucznej inteligencji coraz częściej pośredniczące w naszych transakcjach cyfrowych.

Jeśli chcesz zanurzyć się głębiej, możesz przeczytać oryginalny artykuł z MIT News: MIT News - Nowy sposób na sprawdzenie, jak dobrze systemy sztucznej inteligencji klasyfikują tekst