Naukowcy z Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL), będący pionierami w dziedzinie manipulacji robotami, opracowali rewolucyjny sposób sterowania robotami, który czerpie inspirację z ludzkiego adaptacyjnego uczenia się. W przeciwieństwie do tradycyjnych systemów robotycznych uzbrojonych w szereg złożonych czujników i modeli ruchu starannie skonstruowanych ręcznie, ten nowy system o nazwie Neural Jacobian Fields (NJF) ma zdolność instruowania robotów, aby samodzielnie uczyły się własnych ruchów ciała i reakcji na polecenia wyłącznie poprzez obserwację.
W sercu laboratorium CSAIL, miękka robotyczna dłoń zwinnie chwyta niewielki obiekt z finezją. Co ciekawe, dłoń nie posiada czujników, a jej ruchy, obserwowane przez pojedynczą kamerę, są kierowane wyłącznie przez dane wizualne. Ta przełomowa technologia nie podąża za sztywnym podejściem do programowania, które było normą. Zamiast tego wkracza w sferę nauczania i uczenia się. Roboty stają się uczniami - obserwują, uczą się i dostosowują swoje ruchy tak jak ludzie.
“This work points to a shift from programming robots to teaching robots,” says Sizhe Lester Li, the MIT PhD student who led the research. “Instead of coding every movement, we can show a robot a task and let it figure out how to accomplish it.”
This innovation completely flips the traditional model which relies on rigid design and sensor-packed technology to ensure control. NJF allows for unprecedented freedom, enabling robots (regardless of whether they’re soft, irregular, or without sensors) build their own internal understanding of movement by simply watching and adapting. This radical approach opens up endless possibilities for engineers to create bio-inspired machines without worrying about later control or modelling complications.
“It’s like how you would learn to control your limbs. You observe, wiggle, and adapt,” explains Li. “That’s the same principle our system employs.”
The team put NJF to the test on various robotic forms—from a pneumatic soft hand and a rigid Allegro hand to a 3D-printed arm and a rotating platform sans sensors. In each case, the system used visual and random movement data to learn and understand the robot’s geometry and its response to commands. Once trained, the robot only needs a single monocular camera to operate in real time, achieving a speed of 12 frames per second, a significant advancement compared to other simulators.
Embedded in NJF is a neural network which teaches two critical aspects—the robot’s 3D shape and its response to control signals. The system learns by observing random actions performed by the robot, completely bypassing the need for human input or pre-existing knowledge.
“Vision alone can provide the cues needed for localization and control,” says Daniela Rus, CSAIL director and co-author of the study. “This opens the door to robots that can function in high-chaos, unstructured environments—without the need for costly infrastructure.”
Current challenges include needing to individually train each robot using multiple cameras, and a lack of tactile sensing. However, the team, with support from the Solomon Buchsbaum Research Fund, the MIT Presidential Fellowship, the National Science Foundation, and the Gwangju Institute of Science and Technology, is committed to improving the system’s potential by addressing these challenges.
“Similar to how humans develop an intuitive sense of their bodies’ movements,” says Li. “NJF instils robots with that kind of embodied understanding, laying the foundation for flexible, adaptive control in the real world.”
Bardziej szczegółowe informacje na temat tego badania można znaleźć na stronie MIT News: https://news.mit.edu/2025/vision-based-system-teaches-machines-understand-their-bodies-0724
This website uses cookies.