Wybór właściwych słów, we właściwej kolejności, ma kluczowe znaczenie dla prawidłowej interpretacji zarówno ludzkich języków, jak i instrukcji programistycznych. Na przykład zmiana układu słów w zdaniu “Kot usiadł na pudełku” na “Pudełko było na kocie” prowadzi do zupełnie innego scenariusza. Podobnie, w przypadku złożonych instrukcji, takich jak kodowanie programu, obserwowanie zmian zmiennych lub przestrzeganie logiki warunkowej wymaga opanowania zmian stanu i sekwencyjnego rozumowania. Dzisiejsze najnowocześniejsze systemy sztucznej inteligencji, w szczególności duże modele językowe (LLM), mają na celu udoskonalenie tych możliwości.
Zrozumienie, dogłębna analiza i opanowanie tego kodu nie jest prostym zadaniem, a nie wszystkie systemy sztucznej inteligencji są do tego przystosowane. W rzeczywistości obecne wiodące architektury transformatorowe napotykają w tej dziedzinie pewne trudności, zwłaszcza jeśli chodzi o mechanizmy uwagi.
Mechanizm uwagi to narzędzie wykorzystywane przez modele typu Transformer do określania znaczenia poszczególnych słów lub tokenów w sekwencji. Ta zdolność pozwala modelom odwoływać się do wcześniejszych fragmentów tekstu lub polecenia, ale niekoniecznie oznacza to, że rozumieją one kolejność słów. Poszczególne tokeny są przetwarzane jednocześnie, a system musi opierać się na dodatkowych technikach w celu zakodowania ich pozycji. Główną techniką stosowaną w tym celu jest rotacyjne kodowanie pozycji (RoPE), które polega na obliczaniu względnej odległości między tokenami. Metoda ta często się sprawdza, ale ma nieodłączne ograniczenie – uwzględnia jedynie fizyczną odległość między słowami, całkowicie pomijając ich treść lub kontekst.
Zespół naukowców z MIT oraz laboratorium MIT-IBM Watson AI Lab zdaje sobie sprawę z tych ograniczeń. Mając to na uwadze, opracowali niedawno nową metodę kodowania znaną jako PaTH Attention. Jest to dynamiczna, uwzględniająca kontekst technika, która traktuje przestrzeń między słowami jako ścieżkę z własnymi zmiennymi, podlegającymi niewielkim, opartym na danych korektom. Przekształcenia te wynikają z koncepcji matematycznej zwanej odbiciami Householdera – można je sobie wyobrazić jako maleńkie lusterka, które dostosowują się w zależności od treści każdego tokenu.
Implikacje uwagi PaTH są ogromne. Ponieważ każdy token jest przetwarzany sekwencyjnie, kodowanie wpływa na sposób interpretacji przyszłych informacji. To świeże podejście pozwala modelowi śledzić ewolucję znaczeń, a nie tylko mierzyć odległość między tokenami. Zasadniczo zapewnia to transformatorom formę “pamięci pozycyjnej”, umożliwiając im lepsze zrozumienie, w jaki sposób jednostki i relacje zmieniają się w czasie.
Naukowcy poszli o krok dalej, badając możliwość zintegrowania techniki selektywnego zapominania z uwagą PaTH. Łącząc PaTH z inną strategią określaną jako Forgetting Transformer (FoX), modele były w stanie zignorować starsze lub mniej istotne informacje. To nowe połączenie, znane jako PaTH-FoX, wykazało wysoki stopień skuteczności w zadaniach rozumienia i rozumowania z długimi kontekstami.
Yoon Kim, profesor nadzwyczajny na MIT, twierdzi: “Nasze nowe podejście było w stanie przewyższyć istniejące mechanizmy uwagi zarówno w zadaniach diagnostycznych, jak i zadaniach modelowania języka w świecie rzeczywistym, przy jednoczesnym zachowaniu ich wydajności”.”
Te pionierskie badania, przeprowadzone przez laboratorium MIT-IBM Watson AI Lab i wspierane przez program AI2050 w ramach Schmidt Sciences, jeszcze bardziej pogłębiają naszą wiedzę na temat możliwości sztucznej inteligencji. Stanowią one część szeroko zakrojonych działań mających na celu poszerzenie granic możliwości systemów sztucznej inteligencji.
Uzasadniając znaczenie tego wysiłku, Kim dodał: “Byłbym podekscytowany widząc, czy tego typu kodowanie pozycji zależne od danych, takie jak PATH, poprawia wydajność transformatorów w domenach strukturalnych, takich jak biologia, w analizie białek lub DNA”.”
Ten niezwykły skok w technologii sztucznej inteligencji został szczegółowo opisany w artykule przedstawionym na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS). Szczegółowe informacje na temat tych rewolucyjnych badań można znaleźć na stronie MIT News.
Ta strona używa plików cookie.