Zwiększanie wydajności rozumowania dużych modeli językowych

W najnowocześniejszym świecie sztucznej inteligencji, duże modele językowe (LLM), które wykorzystują możliwości rozumowania, wywarły znaczący wpływ. Te potężne narzędzia są w stanie podzielić złożone zadania na łatwe do zarządzania kroki - są wyjątkowo dobre w radzeniu sobie z wymagającymi wyzwaniami, takimi jak wieloaspektowe planowanie i zaawansowane programowanie. Jednak jak każdy postęp, modele te wiążą się z kosztami. Ich rozwój wymaga intensywnych obliczeń i zużywa znaczną ilość energii, a nieefektywność systemu często prowadzi do tego, że procesory o dużej mocy pracują na biegu jałowym, podczas gdy inne wykonują skomplikowane zadania.

Rewolucja w wydajności szkoleń i rozwiązanie problemu wąskiego gardła szkoleniowego

Zespół badaczy z MIT i różnych innych instytucji zajął się tym problemem, opracowując innowacyjne rozwiązanie, które wykorzystuje ten przestój obliczeniowy. Ich podejście polega na wykorzystaniu mniejszego, szybszego modelu “drafter” do przewidywania wyników większego rozumowania LLM, które jest następnie weryfikowane przez większy model. Metoda ta jest wyjątkowa, ponieważ mniejszy model jest wdrażany tylko wtedy, gdy zasoby procesora są bezczynne. To genialne posunięcie wykorzystuje zasoby obliczeniowe, które w przeciwnym razie zostałyby zmarnowane, zwiększając szybkość szkolenia bez zwiększania obciążenia pracą.

Zespół nie poprzestał na tym w swoim innowacyjnym rozwoju. Dostrzegli oni kwestię synchronizacji w standardowych algorytmach uczenia ze wzmocnieniem (RL), co prowadziło do tego, że bezczynne procesory po prostu czekały, aż inne ukończą dłuższe odpowiedzi. RL jest kluczowym aspektem umożliwiającym rozumującym LLM identyfikowanie i korygowanie błędów w myśleniu. Proces RL obejmuje cykliczny schemat, w którym model generuje kilka potencjalnych odpowiedzi, otrzymuje nagrody za lepszych kandydatów, a następnie jest aktualizowany w oparciu o najlepsze odpowiedzi. Jednak często prowadziło to do nieefektywności czasowej - generowanie wielu odpowiedzi mogło pochłonąć do 85% czasu wykonywania podczas szkolenia RL, pozostawiając część ‘szkoleniową’ zajmującą minimalną część czasu.

Innowacyjne rozwiązania przyspieszające trening

Naukowcy szukali sposobu na przekształcenie tego bezczynnego czasu w użyteczne korzyści, oszczędzając koszty i czas. Zagłębili się w koncepcję znaną jako dekodowanie spekulacyjne, proces, który obejmuje mniejszy model “drafter” przewidujący, jakie będą przyszłe wyniki większego modelu - a następnie weryfikowanie ich przez większy model. Największą zaletą tej metody jest to, że większy model może jednocześnie weryfikować wszystkie przewidywania modelu draftera, zamiast generować każde wyjście sekwencyjnie - co znacznie przyspiesza cały proces.

Kolejną przełomową innowacją był opracowany przez naukowców system “Taming the Long Tail” (TLT). Wyzwanie związane z uczeniem ze wzmocnieniem polegało na tym, że statyczny, raz wytrenowany model stał się przestarzały, ponieważ model rozumowania przeszedł tysiące aktualizacji podczas treningu. TLT to elastyczny system z adaptacyjnym trenerem draftera, który wykorzystuje bezczynny czas procesora do ciągłego trenowania modelu draftera, utrzymując go na bieżąco z modelem docelowym bez ponoszenia dodatkowych kosztów obliczeniowych. Jego inny komponent, adaptacyjny silnik rollout, automatycznie wybiera najlepszą strategię dekodowania spekulacyjnego dla każdej nowej partii danych wejściowych.

TLT wykorzystał lekką konstrukcję modelu kreślarza, umożliwiając szybkie szkolenie. Wykorzystał on komponenty z procesu szkolenia modelu rozumowania do szkolenia modelu draftera, zwiększając przyspieszenie całego procesu szkolenia. Wyniki były obiecujące - testy na wielu modelach rozumowania LLM wykazały przyspieszenie procesu szkolenia od 70 do 210 procent, bez uszczerbku dla dokładności modelu.

Patrząc w przyszłość

Niektóre z innych korzyści odnotowanych przez badaczy obejmowały fakt, że mniejszy model draftera okazał się wartościowy nawet podczas jego wdrażania. W dłuższej perspektywie ich planem jest zintegrowanie TLT z innymi ramami szkoleniowymi i wnioskowania oraz zbadanie większej liczby aplikacji uczenia się ze wzmocnieniem, które mogłyby skorzystać z tego podejścia. Wraz z pojawieniem się rozumowania jako kluczowego aspektu w zapotrzebowaniu na wnioskowanie, TLT oferuje rozwiązanie zwiększające wydajność obliczeń sztucznej inteligencji, eliminując wąskie gardło obliczeniowe w szkoleniu tych modeli rozumowania.

Te przełomowe badania są wspierane przez wybitne instytucje, takie jak MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company i National Science Foundation. Więcej informacji na temat badań, metodologii i ich potencjału można znaleźć na stronie oryginalny artykuł prasowy.