Wyb\u00f3r w\u0142a\u015bciwych s\u0142\u00f3w, we w\u0142a\u015bciwej kolejno\u015bci, ma kluczowe znaczenie dla prawid\u0142owej interpretacji zar\u00f3wno ludzkich j\u0119zyk\u00f3w, jak i instrukcji programistycznych. Na przyk\u0142ad zmiana uk\u0142adu s\u0142\u00f3w w zdaniu \u201cKot usiad\u0142 na pude\u0142ku\u201d na \u201cPude\u0142ko by\u0142o na kocie\u201d prowadzi do zupe\u0142nie innego scenariusza. Podobnie, w przypadku z\u0142o\u017conych instrukcji, takich jak kodowanie programu, obserwowanie zmian zmiennych lub przestrzeganie logiki warunkowej wymaga opanowania zmian stanu i sekwencyjnego rozumowania. Dzisiejsze najnowocze\u015bniejsze systemy sztucznej inteligencji, w szczeg\u00f3lno\u015bci du\u017ce modele j\u0119zykowe (LLM), maj\u0105 na celu udoskonalenie tych mo\u017cliwo\u015bci.<\/p>\n
Zrozumienie, przeanalizowanie i opanowanie tego kodu nie jest prostym zadaniem i nie wszystkie systemy sztucznej inteligencji s\u0105 do tego przystosowane. W rzeczywisto\u015bci obecne wiod\u0105ce architektury transformator\u00f3w stoj\u0105 przed pewnym wyzwaniem w tym obszarze, zw\u0142aszcza je\u015bli chodzi o mechanizmy uwagi.<\/p>\n
Mechanizm uwagi to narz\u0119dzie u\u017cywane przez transformatory do okre\u015blania znaczenia r\u00f3\u017cnych s\u0142\u00f3w lub token\u00f3w w sekwencji. Ta zdolno\u015b\u0107 pozwala modelom odnosi\u0107 si\u0119 do wcze\u015bniejszych cz\u0119\u015bci tekstu lub polecenia, ale niekoniecznie musi rozumie\u0107 kolejno\u015b\u0107 s\u0142\u00f3w. Poszczeg\u00f3lne tokeny s\u0105 przetwarzane jednocze\u015bnie, a system musi polega\u0107 na dodatkowych technikach kodowania ich pozycji. Podstawow\u0105 technik\u0105 stosowan\u0105 w tym celu jest kodowanie pozycji obrotowej (RoPE), kt\u00f3re dzia\u0142a poprzez obliczanie wzgl\u0119dnej odleg\u0142o\u015bci mi\u0119dzy tokenami. Metoda ta jest cz\u0119sto skuteczna, ale ma nieod\u0142\u0105czne ograniczenie - uwzgl\u0119dnia jedynie fizyczn\u0105 odleg\u0142o\u015b\u0107 mi\u0119dzy s\u0142owami, ca\u0142kowicie odrzucaj\u0105c ich tre\u015b\u0107 lub kontekst.<\/p>\n
Ekipa badaczy z MIT i MIT-IBM Watson AI Lab jest \u015bwiadoma tych ogranicze\u0144. Maj\u0105c to na uwadze, niedawno opracowali now\u0105 metod\u0119 kodowania znan\u0105 jako PaTH Attention. Jest to dynamiczna, \u015bwiadoma kontekstu technika, kt\u00f3ra traktuje przestrze\u0144 mi\u0119dzy s\u0142owami jako \u015bcie\u017ck\u0119 z w\u0142asnymi zmiennymi, kt\u00f3re podlegaj\u0105 niewielkim, opartym na danych korektom. Przekszta\u0142cenia te wynikaj\u0105 z matematycznej koncepcji zwanej odbiciami Householdera - pomy\u015bl o tym jak o male\u0144kich lusterkach, kt\u00f3re dostosowuj\u0105 si\u0119 w zale\u017cno\u015bci od zawarto\u015bci ka\u017cdego tokena.<\/p>\n
Implikacje uwagi PaTH s\u0105 ogromne. Poniewa\u017c ka\u017cdy token jest przetwarzany sekwencyjnie, kodowanie wp\u0142ywa na spos\u00f3b interpretacji przysz\u0142ych informacji. To \u015bwie\u017ce podej\u015bcie pozwala modelowi \u015bledzi\u0107 ewolucj\u0119 znacze\u0144, a nie tylko mierzy\u0107 odleg\u0142o\u015b\u0107 mi\u0119dzy tokenami. Zasadniczo zapewnia to transformatorom form\u0119 \u201cpami\u0119ci pozycyjnej\u201d, umo\u017cliwiaj\u0105c im lepsze zrozumienie, w jaki spos\u00f3b jednostki i relacje zmieniaj\u0105 si\u0119 w czasie.<\/p>\n
Naukowcy poszli o krok dalej, badaj\u0105c mo\u017cliwo\u015b\u0107 zintegrowania techniki selektywnego zapominania z uwag\u0105 PaTH. \u0141\u0105cz\u0105c PaTH z inn\u0105 strategi\u0105 okre\u015blan\u0105 jako Forgetting Transformer (FoX), modele by\u0142y w stanie zignorowa\u0107 starsze lub mniej istotne informacje. To nowe po\u0142\u0105czenie, znane jako PaTH-FoX, wykaza\u0142o wysoki stopie\u0144 skuteczno\u015bci w zadaniach rozumienia i rozumowania z d\u0142ugimi kontekstami.<\/p>\n
Yoon Kim, profesor nadzwyczajny na MIT, twierdzi: \u201cNasze nowe podej\u015bcie by\u0142o w stanie przewy\u017cszy\u0107 istniej\u0105ce mechanizmy uwagi zar\u00f3wno w zadaniach diagnostycznych, jak i zadaniach modelowania j\u0119zyka w \u015bwiecie rzeczywistym, przy jednoczesnym zachowaniu ich wydajno\u015bci\u201d.\u201d<\/p>\n
To pionierskie badanie przeprowadzone przez MIT-IBM Watson AI Lab i wspierane przez program AI2050 w Schmidt Sciences tylko pog\u0142\u0119bia nasze zrozumienie mo\u017cliwo\u015bci sztucznej inteligencji. Jest to cz\u0119\u015b\u0107 nadrz\u0119dnego wysi\u0142ku maj\u0105cego na celu rozszerzenie granic tego, co mog\u0105 osi\u0105gn\u0105\u0107 systemy sztucznej inteligencji.<\/p>\n
Uzasadniaj\u0105c znaczenie tego wysi\u0142ku, Kim doda\u0142: \u201cBy\u0142bym podekscytowany widz\u0105c, czy tego typu kodowanie pozycji zale\u017cne od danych, takie jak PATH, poprawia wydajno\u015b\u0107 transformator\u00f3w w domenach strukturalnych, takich jak biologia, w analizie bia\u0142ek lub DNA\u201d.\u201d<\/p>\n
Ten niezwyk\u0142y skok w technologii sztucznej inteligencji zosta\u0142 szczeg\u00f3\u0142owo opisany w artykule przedstawionym na konferencji po\u015bwi\u0119conej systemom przetwarzania informacji neuronowych (NeurIPS). Szczeg\u00f3\u0142owe informacje na temat tych rewolucyjnych bada\u0144 mo\u017cna znale\u017a\u0107 na stronie MIT News<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" Choosing the right words, in the correct order, is crucial for the correct interpretation of both human languages and programming instructions. For example, changing the word arrangement in the sentence \u201cThe cat sat on the box\u201d to \u201cThe box was on the cat\u201d leads to a completely different scenario. Similarly, with complex instructions like program coding, observing variable changes or following conditional logic requires the mastery of state changes and sequential reasoning. Today\u2019s state-of-the-art AI systems, particularly large language models (LLMs), aim to perfect these capabilities. Understanding, scrutinizing and mastering this code isn’t a simple task, and not all artificial […]<\/p>\n","protected":false},"author":4,"featured_media":7637,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47],"tags":[],"class_list":["post-7636","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7636","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=7636"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7636\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/7637"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=7636"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=7636"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=7636"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}