Agenci AI tworzą realistyczne wirtualne place zabaw do szkolenia robotów

Wyobraź sobie, że spacerujesz i natrafiasz na roboty, które zręcznie przeciskają się przez zdumiony tłum. To intrygujące, owszem, ale te cuda nowoczesnej technologii nie są jeszcze gotowe, by stać się naszymi wszechstronnymi pomocnikami kuchennymi czy fabrycznymi koniami roboczymi. Istotnym elementem układanki, który wciąż pozostaje do rozwiązania, jest efektywne uczenie się. Podobnie jak my, ludzie, najlepiej uczą się poprzez praktyczne doświadczenie. Jednak zanurzenie robotów w różnorodnych środowiskach edukacyjnych może być nie lada wyzwaniem – jest to żmudne i czasochłonne. Nie martwcie się jednak, rozwiązania są już na horyzoncie.

Nauka poprzez symulacje

Jednym z potencjalnych rozwiązań, które zyskuje na popularności, jest wykorzystanie symulacji jako środowisk szkoleniowych dla robotów. Profesor Russ Tedrake z MIT, który jest również badaczem w Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) przy MIT, podkreśla, że poczyniono postępy w zakresie silników fizycznych symulatorów robotycznych. Haczyk? Tworzenie autentycznych symulacji odzwierciedlających złożoność rzeczywistego świata nadal pozostaje trudnym zadaniem.

SceneSmith: obiecująca innowacja

W tym miejscu do akcji wkraczają agenci AI. Te półautonomiczne programy, wyspecjalizowane w wykonywaniu ściśle określonych zadań, mogą okazać się właśnie tym, czego potrzeba do tworzenia realistycznych przestrzeni wirtualnych służących do szkolenia robotów. Grupa naukowców z MIT CSAIL i Toyota Research Institute opracowała system nazwany “SceneSmith.” SceneSmith, składający się z trójki agentów opartych na sztucznej inteligencji, w mistrzowski sposób tworzy obiekty, ściany i całe sceny 3D przedstawiające takie miejsca jak restauracje i hotele. Dzięki temu roboty mogą doskonalić swoje umiejętności i strategie w tych środowiskach przed wprowadzeniem ich do rzeczywistego świata, co pozwala inżynierom zaoszczędzić znaczną ilość czasu.

SceneSmith wykorzystuje model wizyjno-językowy znany jako GPT-5.2, który zawiera obszerne zasoby tekstów i obrazów pochodzących z internetu. W tej konfiguracji występują trzy główne podmioty – “projektant”, który tworzy elementy sceny, “krytyk”, który dba o to, by elementy te odzwierciedlały rzeczywistość, oraz “koordynator” – główny podmiot – który sygnalizuje zakończenie zadania. Gdy agenci zakończą tę owocną współpracę, scena jest gotowa do integracji z oprogramowaniem do symulacji fizycznych.

Nicholas Pfaff, doktorant na wydziale EECS MIT i pracownik naukowy CSAIL, podzielił się spostrzeżeniami na temat zdolności systemu do tworzenia scen 3D na wzór ludzkiego projektanta. W rzeczywistości jeden z wiodących modeli wizualno-językowych został wykorzystany do stworzenia ponad 1 300 scen, co zaowocowało niezwykle kreatywnymi i różnorodnymi środowiskami, nawet bez konieczności podawania konkretnych poleceń.

Wysokie oceny za realizm i kreatywność

Platforma SceneSmith umożliwia użytkownikom tworzenie wirtualnych środowisk na podstawie szczegółowych poleceń. Na przykład użytkownicy mogą poprosić o garaż wyposażony w samochód, stół warsztatowy, stos opon w jednym rogu oraz drabinę opartą o ścianę. Dzięki takiemu poziomowi szczegółowości środowiska te stanowią bogate pole do nauki dla robotów, które mogą doskonalić w nich umiejętności, takie jak przenoszenie puszki napoju z półki na stół.

Aby ocenić, na ile realistyczne są generowane środowiska, naukowcy wprowadzili do przestrzeni SceneSmith wstępnie wytrenowane algorytmy działania robotów. Roboty wykazały się sprawnością, wykonując zadania takie jak przeniesienie jabłka z miski na deskę do krojenia, co stanowi wyraźną wskazówkę, że wirtualne sceny w znacznym stopniu odzwierciedlają rzeczywiste warunki.

Agenci AI SceneSmith współpracują ze sobą, aby stopniowo dopracowywać sceny – od stworzenia planu pomieszczenia po wypełnienie go meblami i przedmiotami. Model wizualno-językowy “projektant” rozpoczyna tworzenie układu, “krytyk” przygląda się mu, a na koniec “koordynator” finalizuje projekt. SceneSmith wyróżnia się również zdolnością do generowania środowisk pełnych obiektów i szczegółów w porównaniu z innymi metodami, co sprawia, że cieszy się popularnością wśród ponad 200 użytkowników dzięki żywej grafice i wierności podanym wskazówkom.

Jest jednak jeden mały haczyk. Tworzenie tych oszałamiająco realistycznych scen zajmuje sporo czasu – czasami nawet kilka godzin na jedną scenę. Jednak wraz z gwałtownym wzrostem mocy obliczeniowej wydajność SceneSmith powinna znacznie wzrosnąć. Być może program ten mógłby nawet zostać rozbudowany o znacznie bardziej złożone elementy, takie jak obiekty odkształcalne, o ile pojawią się odpowiednie biblioteki 3D, na co liczą inżynierowie z CSAIL.

Automatyzacja oparta na sztucznej inteligencji to dynamicznie rozwijająca się dziedzina, która ma wiele do zaoferowania w obszarze robotyki, czego doskonałym przykładem są osiągnięcia firmy SceneSmith. Aby zapoznać się ze szczegółami tych przełomowych badań, zapraszamy do przeczytania oryginalnego artykułu prasowego. tutaj. Jeśli Twoja firma chce wykorzystać potencjał sztucznej inteligencji, implementi.ai może mieć dla Ciebie idealne rozwiązania.