Chatboty, takie jak ChatGPT i Claude, wplotły się w tkankę naszego cyfrowego życia dzięki swojej niesamowitej wszechstronności, zdolnej do wykonywania zadań od debugowania kodu po tworzenie poezji. Swoją finezję zawdzięczają ogromnej ilości danych tekstowych zebranych z Internetu, na których są szkolone. Jednak szkolenie robotów działających w środowisku fizycznym wymaga znacznie więcej niż tylko danych tekstowych. Te roboty rozwijają się w kontekście wizualnym i fizycznym, umożliwiając im płynną interakcję z otoczeniem - niezależnie od tego, czy chodzi o umieszczenie filiżanki kawy na stole, czy układanie naczyń bez powodowania stukotu. Nauczenie się tych operacji to nie lada wyczyn - wymaga demonstracji przypominających poradniki dla każdego zadania. Problem? Gromadzenie tych rzeczywistych demonstracji jest nie tylko pracochłonne, ale może być również niespójne i kosztowne.
W tym miejscu wkraczają przełomowe prace Laboratorium Nauk Komputerowych i Sztucznej Inteligencji MIT (CSAIL) oraz Toyota Research Institute. Badacze ci opracowali zmieniającą paradygmat metodę nazwaną Sterowane generowanie scen: sposób na tworzenie wirtualnych środowisk 3D — na przykład kuchni czy restauracji — umożliwiających symulację szerokiego zakresu zadań wykonywanych przez roboty. Metoda ta opiera się na modelu dyfuzji, czyli poddziedzinie sztucznej inteligencji, która zaczyna od losowego szumu i stopniowo przekształca go w uporządkowany obraz. Model ten jest zgodny z prawami fizyki, dzięki czemu generuje wiarygodne sceny i obiekty. Na przykład gwarantuje, że widelec nie będzie w dziwny sposób unosił się w misce z zupą, co dodaje scenie realizmu.
Najważniejszą cechą tej metody jest wykorzystanie algorytmu Monte Carlo Tree Search (MCTS) — strategii inspirowanej systemami sztucznej inteligencji stosowanymi w grach, takimi jak AlphaGo. MCTS pozwala modelowi badać wiele potencjalnych sposobów konstruowania sceny, wybierając wersję najbardziej realistyczną lub wartościową w zależności od danego celu. Niezależnie od tego, czy chodzi o maksymalizację różnorodności produktów spożywczych przechowywanych w kuchni, czy o coś innego — MCTS jest gotowy do wykonania tego zadania. Nicholas Pfaff, doktorant na wydziale EECS MIT kierujący projektem, wyjaśnia ponadto, że po raz pierwszy zastosowano MCTS do generowania scen, gdzie jest ono traktowane jako sekwencyjny proces podejmowania decyzji, umożliwiający tworzenie złożonych scen wykraczających poza początkowy zbiór szkoleniowy.
Kolejną godną uwagi cechą jest podejście modelu do uczenia się. Wykorzystuje on uczenie się przez wzmocnienie, w ramach którego otrzymuje “nagrodę” za tworzenie scen odpowiadających konkretnym poleceniom. Z czasem model uczy się generować środowiska ściśle przypominające pożądane wyniki. Użytkownicy mogą kierować systemem za pomocą dostosowanych do potrzeb wskazówek wizualnych, takich jak “stwórz aranżację kuchni z czterema jabłkami i miską umieszczoną na stole”. Wyniki są naprawdę imponujące, ponieważ model ten przewyższa swoich konkurentów w wykonywaniu zadań o co najmniej 10%. Ale to nie wszystko — model może również modyfikować istniejące sceny na polecenie. Potrafi przestawiać obiekty lub dodawać nowe, zachowując przy tym spójność otoczenia. To tak, jakby mieć osobistego wirtualnego kierownika planu, który rozumie zarówno estetykę, jak i fizykę.
Prawdziwą siłą tego systemu jest jego zdolność do generowania nieocenionych danych szkoleniowych dla robotyków. Środowiska wirtualne stają się poligonem, na którym roboty uczą się wykonywać zadania, takie jak układanie sztućców czy rozkładanie potraw na talerzach. Realistyczne symulacje tworzą idealne środowisko do szkolenia robotów w zakresie zadań z życia codziennego. Kolejne wersje tego systemu mają na celu uwzględnienie elementów interaktywnych, takich jak szafki czy słoiki, które roboty mogą podnosić, co doda kolejną warstwę realizmu. Nicholas Pfaff zwraca również uwagę na fakt, że sceny wykorzystywane do wstępnego szkolenia mogą odbiegać od rzeczywistych. “Korzystając z naszych metod sterowania, możemy wyjść poza ten szeroki rozkład i pobierać próbki z ‘lepszego’ rozkładu”.”
Patrząc dalej, zespół aspiruje do włączenia rzeczywistych obrazów do danych treningowych, wykorzystując technikę znaną jako Skalowalny Real2Sim. Pozwoliłoby to systemowi na konstruowanie środowisk bliższych tym, które roboty napotkają w rzeczywistości. Eksperci branżowi są dość optymistycznie nastawieni do tego rozwoju. Jeremy Binagia, naukowiec ds. zastosowań w Amazon Robotics, stwierdził, że sterowane generowanie scen zapewnia fizyczną wykonalność i pełne tłumaczenie 3D, a tym samym tworzenie znacznie bardziej wciągających scen. Badania te zostały wsparte przez Amazon i Toyota Research Institute i udostępnione na konferencji poświęconej uczeniu się robotów. Więcej szczegółów można znaleźć w artykule artykuł oryginalny na MIT News.
Ta strona używa plików cookie.