Uczenie robotów rozumienia własnego ciała - za pomocą kamery

Naukowcy z Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL), będący pionierami w dziedzinie manipulacji robotami, opracowali rewolucyjny sposób sterowania robotami, który czerpie inspirację z ludzkiego adaptacyjnego uczenia się. W przeciwieństwie do tradycyjnych systemów robotycznych uzbrojonych w szereg złożonych czujników i modeli ruchu starannie skonstruowanych ręcznie, ten nowy system o nazwie Neural Jacobian Fields (NJF) ma zdolność instruowania robotów, aby samodzielnie uczyły się własnych ruchów ciała i reakcji na polecenia wyłącznie poprzez obserwację.

W sercu laboratorium CSAIL, miękka robotyczna dłoń zwinnie chwyta niewielki obiekt z finezją. Co ciekawe, dłoń nie posiada czujników, a jej ruchy, obserwowane przez pojedynczą kamerę, są kierowane wyłącznie przez dane wizualne. Ta przełomowa technologia nie podąża za sztywnym podejściem do programowania, które było normą. Zamiast tego wkracza w sferę nauczania i uczenia się. Roboty stają się uczniami - obserwują, uczą się i dostosowują swoje ruchy tak jak ludzie.

"Ta praca wskazuje na przejście od programowania robotów do nauczania robotów" - mówi Sizhe Lester Li, doktorant MIT, który kierował badaniami. "Zamiast kodować każdy ruch, możemy pokazać robotowi zadanie i pozwolić mu dowiedzieć się, jak je wykonać".

Ta innowacja całkowicie odwraca tradycyjny model, który opiera się na sztywnej konstrukcji i technologii pełnej czujników w celu zapewnienia kontroli. NJF pozwala na bezprecedensową swobodę, umożliwiając robotom (niezależnie od tego, czy są miękkie, nieregularne, czy bez czujników) budowanie własnego wewnętrznego zrozumienia ruchu poprzez obserwację i adaptację. To radykalne podejście otwiera przed inżynierami nieskończone możliwości tworzenia maszyn inspirowanych biologią bez martwienia się o późniejszą kontrolę lub komplikacje związane z modelowaniem.

"To tak, jakbyś uczył się kontrolować swoje kończyny. Obserwujesz, poruszasz się i dostosowujesz" - wyjaśnia Li. "Na tej samej zasadzie działa nasz system".

Zespół przetestował NJF na różnych formach robotów - od pneumatycznej miękkiej dłoni i sztywnej dłoni Allegro po ramię wydrukowane w 3D i obrotową platformę bez czujników. W każdym przypadku system wykorzystywał wizualne i losowe dane ruchu, aby nauczyć się i zrozumieć geometrię robota oraz jego reakcję na polecenia. Po przeszkoleniu, robot potrzebuje tylko jednej kamery monokularowej do działania w czasie rzeczywistym, osiągając prędkość 12 klatek na sekundę, co jest znaczącym postępem w porównaniu do innych symulatorów.

W NJF wbudowana jest sieć neuronowa, która uczy dwóch krytycznych aspektów - kształtu 3D robota i jego reakcji na sygnały sterujące. System uczy się poprzez obserwację losowych działań wykonywanych przez robota, całkowicie pomijając potrzebę udziału człowieka lub wcześniejszej wiedzy.

"Sam wzrok może zapewnić wskazówki potrzebne do lokalizacji i kontroli" - mówi Daniela Rus, dyrektor CSAIL i współautorka badania. "Otwiera to drzwi dla robotów, które mogą funkcjonować w trudnych, nieustrukturyzowanych środowiskach - bez potrzeby kosztownej infrastruktury".

Obecne wyzwania obejmują konieczność indywidualnego szkolenia każdego robota przy użyciu wielu kamer oraz brak wykrywania dotyku. Jednak zespół, przy wsparciu Solomon Buchsbaum Research Fund, MIT Presidential Fellowship, National Science Foundation i Gwangju Institute of Science and Technology, jest zaangażowany w poprawę potencjału systemu poprzez sprostanie tym wyzwaniom.

"Podobnie jak ludzie rozwijają intuicyjne wyczucie ruchów swojego ciała" - mówi Li. "NJF zaszczepia robotom tego rodzaju ucieleśnione zrozumienie, kładąc podwaliny pod elastyczną, adaptacyjną kontrolę w prawdziwym świecie".

Bardziej szczegółowe informacje na temat tego badania można znaleźć na stronie MIT News: https://news.mit.edu/2025/vision-based-system-teaches-machines-understand-their-bodies-0724