Łatwo jest uznać niektóre sieci neuronowe za “niemożliwe do wytrenowania”, gdy nie radzą sobie z nowoczesnymi zadaniami z zakresu uczenia maszynowego. Jednak zespół naukowców z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) przy MIT przypomina nam, że być może się mylimy. Odkryli oni nową metodę znaną jako wytyczne. Jest to krótki etap dostosowania, który może radykalnie zwiększyć zdolność uczenia się architektur sieci neuronowych, które wcześniej odrzucano.
Tradycyjnie uważaliśmy niektóre architektury sieci za z natury wadliwe lub ograniczone w radzeniu sobie ze złożonymi zadaniami. Być może jednak te sieci neuronowe są ofiarami niekorzystnego punktu wyjścia w przestrzeni parametrów, a nie braku potencjału. Naukowcy odkryli, że łącząc te sieci na krótki czas ze strukturalną siecią “przewodnią”, mogą skierować borykające się z trudnościami sieci na ścieżkę efektywnego uczenia się.
Technika ta, w przeciwieństwie do destylacji wiedzy - w której model ucznia naśladuje wyniki nauczyciela - opiera się na wewnętrznych reprezentacjach. W tym przypadku sieć docelowa absorbuje sposób, w jaki sieć prowadząca organizuje informacje w swoich warstwach, zamiast naśladować jej przewidywania. Nawet jeśli sieć przewodnika nie jest przeszkolona, proces ten ułatwia znaczący transfer wiedzy, zwiększając tym samym zdolność uczenia się.
Teorię tę przetestowano przy użyciu głębokich sieci w pełni połączonych (FCN). Przed rozpoczęciem właściwego uczenia naukowcy dokonali krótkotrwałego dostosowania sieci do sieci wzorcowej za pomocą losowego szumu. Wyniki były zaskakujące – sieci te, znane z nadmiernego dopasowania, stały się bardziej stabilne, uniknęły typowych pułapek FCN, wykazały niższe straty podczas uczenia i poprawiły swoją wydajność. “To imponujące, że udało nam się wykorzystać podobieństwo reprezentacyjne, aby te tradycyjnie ‘kiepskie’ sieci faktycznie działały” – mówi Vighnesh Subramaniam ’23, MEng ’24, doktorant na Wydziale Elektrotechniki i Informatyki MIT oraz główny autor badania.
Badanie pokazuje, że w przeciwieństwie do destylacji wiedzy, metoda przewodnictwa nie traci na skuteczności przy wykorzystaniu niewytrenowanej sieci nauczycielskiej. Wynika to z faktu, że opiera się ona na wewnętrznej strukturze sieci, która zawiera cenne tendencje architektoniczne. Tendencje te działają niczym kompas, kierując sieć ku lepszym ścieżkom uczenia się.
Jednak implikacje tych badań nie ograniczają się jedynie do poprawy wydajności. Sugerują one, że sukces sieci może zależeć w większym stopniu od jej punktu wyjścia w przestrzeni uczenia się niż od danych, na których została wytrenowana. Dzięki połączeniu sieci z przewodnikiem można oddzielić wpływ projektu architektury od doświadczenia zdobytego w trakcie uczenia się. Wprowadzenie takiego przewodnictwa otwiera nową perspektywę w ocenie wkładu struktur sieci w efektywne uczenie się. Daje to również naukowcom możliwość zrozumienia różnic między architekturami, pomagając udoskonalić teorie dotyczące optymalizacji sieci neuronowych oraz zidentyfikować, które elementy mają kluczowe znaczenie dla procesu uczenia się.
Najważniejsze jest jednak to, że żadna sieć nie jest nie do naprawienia. Nawet te, które kiedyś zostały uznane za nieefektywne, mogą zostać dostosowane do nowoczesnych standardów dzięki odpowiednim wskazówkom. Obecnie zespół CSAIL bada, które elementy architektoniczne w największym stopniu przyczyniają się do tych ulepszeń, zamierzając wpłynąć na przyszłe projekty sieci neuronowych.
“Ogólnie przyjmuje się, że różne architektury sieci neuronowych mają określone mocne i słabe strony” - zauważyła Leyla Isik, adiunkt nauk kognitywnych na Uniwersytecie Johnsa Hopkinsa, która nie była zaangażowana w badanie. “To ekscytujące badanie pokazuje, że jeden typ sieci może odziedziczyć zalety innej architektury, nie tracąc przy tym swoich pierwotnych możliwości”.”
Badania, będące wspólnym wysiłkiem Subramaniama i jego współpracowników z MIT CSAIL, były wspierane przez takie organizacje jak Center for Brains, Minds, and Machines, National Science Foundation, MIT-IBM Watson AI Lab oraz U.S. Department of the Air Force Artificial Intelligence Accelerator. Ich przełomowe odkrycia zostały niedawno zaprezentowane na konferencji i warsztatach poświęconych neuronowym systemom przetwarzania informacji (NeurIPS).
Przeczytaj oryginalny artykuł z MIT News tutaj: https://news.mit.edu/2025/guided-learning-lets-untrainable-neural-networks-realize-their-potential-1218
Ta strona używa plików cookie.