W najnowocze\u015bniejszym \u015bwiecie sztucznej inteligencji, du\u017ce modele j\u0119zykowe (LLM), kt\u00f3re wykorzystuj\u0105 mo\u017cliwo\u015bci rozumowania, wywar\u0142y znacz\u0105cy wp\u0142yw. Te pot\u0119\u017cne narz\u0119dzia s\u0105 w stanie podzieli\u0107 z\u0142o\u017cone zadania na \u0142atwe do zarz\u0105dzania kroki - s\u0105 wyj\u0105tkowo dobre w radzeniu sobie z wymagaj\u0105cymi wyzwaniami, takimi jak wieloaspektowe planowanie i zaawansowane programowanie. Jednak jak ka\u017cdy post\u0119p, modele te wi\u0105\u017c\u0105 si\u0119 z kosztami. Ich rozw\u00f3j wymaga intensywnych oblicze\u0144 i zu\u017cywa znaczn\u0105 ilo\u015b\u0107 energii, a nieefektywno\u015b\u0107 systemu cz\u0119sto prowadzi do tego, \u017ce procesory o du\u017cej mocy pracuj\u0105 na biegu ja\u0142owym, podczas gdy inne wykonuj\u0105 skomplikowane zadania.<\/p>\n
Zesp\u00f3\u0142 badaczy z MIT i r\u00f3\u017cnych innych instytucji zaj\u0105\u0142 si\u0119 tym problemem, opracowuj\u0105c innowacyjne rozwi\u0105zanie, kt\u00f3re wykorzystuje ten przest\u00f3j obliczeniowy. Ich podej\u015bcie polega na wykorzystaniu mniejszego, szybszego modelu \u201cdrafter\u201d do przewidywania wynik\u00f3w wi\u0119kszego rozumowania LLM, kt\u00f3re jest nast\u0119pnie weryfikowane przez wi\u0119kszy model. Metoda ta jest wyj\u0105tkowa, poniewa\u017c mniejszy model jest wdra\u017cany tylko wtedy, gdy zasoby procesora s\u0105 bezczynne. To genialne posuni\u0119cie wykorzystuje zasoby obliczeniowe, kt\u00f3re w przeciwnym razie zosta\u0142yby zmarnowane, zwi\u0119kszaj\u0105c szybko\u015b\u0107 szkolenia bez zwi\u0119kszania obci\u0105\u017cenia prac\u0105.<\/p>\n
Zesp\u00f3\u0142 nie poprzesta\u0142 na tym w swoim innowacyjnym rozwoju. Dostrzegli oni kwesti\u0119 synchronizacji w standardowych algorytmach uczenia ze wzmocnieniem (RL), co prowadzi\u0142o do tego, \u017ce bezczynne procesory po prostu czeka\u0142y, a\u017c inne uko\u0144cz\u0105 d\u0142u\u017csze odpowiedzi. RL jest kluczowym aspektem umo\u017cliwiaj\u0105cym rozumuj\u0105cym LLM identyfikowanie i korygowanie b\u0142\u0119d\u00f3w w my\u015bleniu. Proces RL obejmuje cykliczny schemat, w kt\u00f3rym model generuje kilka potencjalnych odpowiedzi, otrzymuje nagrody za lepszych kandydat\u00f3w, a nast\u0119pnie jest aktualizowany w oparciu o najlepsze odpowiedzi. Jednak cz\u0119sto prowadzi\u0142o to do nieefektywno\u015bci czasowej - generowanie wielu odpowiedzi mog\u0142o poch\u0142on\u0105\u0107 do 85% czasu wykonywania podczas szkolenia RL, pozostawiaj\u0105c cz\u0119\u015b\u0107 \u2018szkoleniow\u0105\u2019 zajmuj\u0105c\u0105 minimaln\u0105 cz\u0119\u015b\u0107 czasu.<\/p>\n
Naukowcy szukali sposobu na przekszta\u0142cenie tego bezczynnego czasu w u\u017cyteczne korzy\u015bci, oszcz\u0119dzaj\u0105c koszty i czas. Zag\u0142\u0119bili si\u0119 w koncepcj\u0119 znan\u0105 jako dekodowanie spekulacyjne, proces, kt\u00f3ry obejmuje mniejszy model \u201cdrafter\u201d przewiduj\u0105cy, jakie b\u0119d\u0105 przysz\u0142e wyniki wi\u0119kszego modelu - a nast\u0119pnie weryfikowanie ich przez wi\u0119kszy model. Najwi\u0119ksz\u0105 zalet\u0105 tej metody jest to, \u017ce wi\u0119kszy model mo\u017ce jednocze\u015bnie weryfikowa\u0107 wszystkie przewidywania modelu draftera, zamiast generowa\u0107 ka\u017cde wyj\u015bcie sekwencyjnie - co znacznie przyspiesza ca\u0142y proces.<\/p>\n
Kolejn\u0105 prze\u0142omow\u0105 innowacj\u0105 by\u0142 opracowany przez naukowc\u00f3w system \u201cTaming the Long Tail\u201d (TLT). Wyzwanie zwi\u0105zane z uczeniem ze wzmocnieniem polega\u0142o na tym, \u017ce statyczny, raz wytrenowany model sta\u0142 si\u0119 przestarza\u0142y, poniewa\u017c model rozumowania przeszed\u0142 tysi\u0105ce aktualizacji podczas treningu. TLT to elastyczny system z adaptacyjnym trenerem draftera, kt\u00f3ry wykorzystuje bezczynny czas procesora do ci\u0105g\u0142ego trenowania modelu draftera, utrzymuj\u0105c go na bie\u017c\u0105co z modelem docelowym bez ponoszenia dodatkowych koszt\u00f3w obliczeniowych. Jego inny komponent, adaptacyjny silnik rollout, automatycznie wybiera najlepsz\u0105 strategi\u0119 dekodowania spekulacyjnego dla ka\u017cdej nowej partii danych wej\u015bciowych.<\/p>\n
TLT wykorzysta\u0142 lekk\u0105 konstrukcj\u0119 modelu kre\u015blarza, umo\u017cliwiaj\u0105c szybkie szkolenie. Wykorzysta\u0142 on komponenty z procesu szkolenia modelu rozumowania do szkolenia modelu draftera, zwi\u0119kszaj\u0105c przyspieszenie ca\u0142ego procesu szkolenia. Wyniki by\u0142y obiecuj\u0105ce - testy na wielu modelach rozumowania LLM wykaza\u0142y przyspieszenie procesu szkolenia od 70 do 210 procent, bez uszczerbku dla dok\u0142adno\u015bci modelu.<\/p>\n
Niekt\u00f3re z innych korzy\u015bci odnotowanych przez badaczy obejmowa\u0142y fakt, \u017ce mniejszy model draftera okaza\u0142 si\u0119 warto\u015bciowy nawet podczas jego wdra\u017cania. W d\u0142u\u017cszej perspektywie ich planem jest zintegrowanie TLT z innymi ramami szkoleniowymi i wnioskowania oraz zbadanie wi\u0119kszej liczby aplikacji uczenia si\u0119 ze wzmocnieniem, kt\u00f3re mog\u0142yby skorzysta\u0107 z tego podej\u015bcia. Wraz z pojawieniem si\u0119 rozumowania jako kluczowego aspektu w zapotrzebowaniu na wnioskowanie, TLT oferuje rozwi\u0105zanie zwi\u0119kszaj\u0105ce wydajno\u015b\u0107 oblicze\u0144 sztucznej inteligencji, eliminuj\u0105c w\u0105skie gard\u0142o obliczeniowe w szkoleniu tych modeli rozumowania.<\/p>\n
Te prze\u0142omowe badania s\u0105 wspierane przez wybitne instytucje, takie jak MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company i National Science Foundation. Wi\u0119cej informacji na temat bada\u0144, metodologii i ich potencja\u0142u mo\u017cna znale\u017a\u0107 na stronie oryginalny artyku\u0142 prasowy<\/a>.<\/p>","protected":false},"excerpt":{"rendered":" In the cutting-edge world of artificial intelligence, large language models (LLMs) that use reasoning capabilities have made a significant impact. These powerful tools are capable of breaking down complex tasks into manageable steps – they’re exceptionally good at addressing demanding challenges like multifaceted planning and advanced programming. But like any advancement, these models come with associated costs. Their development involves intense computation and utilizes significant energy, and inefficiencies in the system often lead to high-power processors idling while others work through complicated tasks. Revolutionizing Training Efficiency and Addressing the Training Bottleneck A team of researchers from MIT and various other […]<\/p>\n","protected":false},"author":4,"featured_media":8105,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[46],"tags":[],"class_list":["post-8104","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-automation","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/8104","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=8104"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/8104\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/8105"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=8104"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=8104"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=8104"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}