Rewolucja w długoterminowym planowaniu zadań wizualnych dzięki sztucznej inteligencji na MIT

Naukowcy z MIT opracowali rewolucyjną technikę opartą na sztucznej inteligencji, która znacznie usprawnia długoterminowe planowanie zadań wizualnych, takich jak nawigacja robotów. Ta przełomowa metoda jest podobno dwukrotnie skuteczniejsza od niektórych istniejących technik — to ogromne osiągnięcie w świecie innowacji opartych na sztucznej inteligencji.

To osiągnięcie opiera się na modelu wizualno-językowym – systemie zaprojektowanym w celu rozumienia scenariuszy wizualnych i przyporządkowywania działań niezbędnych do osiągnięcia określonego celu. Co jednak wyróżnia to rozwiązanie? Jest to jego zdolność do generowania gotowych do użycia plików dla tradycyjnego oprogramowania do planowania, co w praktyce oznacza, że połowę pracy wykonuje za Ciebie automatycznie. Ponadto, dzięki wskaźnikowi skuteczności wynoszącemu około 70% — znacznie przewyższającemu wskaźnik 30% osiągany przez standardowe metody — metoda ta stanowi prawdziwy przełom.

Dostosowywanie się do nowych wyzwań i wspólne działania

Jak podkreśla Yilun Hao, główny autor artykułu i doktorant na MIT, cechą charakterystyczną tego systemu jest jego zdolność do rozwiązywania problemów, z którymi nigdy wcześniej nie miał do czynienia. Taka zdolność adaptacyjna ma kluczowe znaczenie w radzeniu sobie z rzeczywistymi sytuacjami, w których nieprzewidywalność jest na porządku dziennym.

Hao nie osiągnął tego wyczynu samodzielnie — połączył siły z Yongchao Chenem (Laboratorium Systemów Informacyjnych i Decyzyjnych MIT, czyli LIDS), Yangiem Zhangiem (Laboratorium Sztucznej Inteligencji MIT-IBM Watson) oraz Chuchu Fanem (profesorem nadzwyczajnym na wydziale AeroAstro i głównym badaczem w LIDS). Wyniki ich wspólnych wysiłków okazały się tak niezwykłe, że zostaną zaprezentowane podczas Międzynarodowej Konferencji poświęconej Reprezentacjom Uczenia się.

Rozwiązywanie zadań wizualnych i tworzenie niezawodnych rozwiązań

Zespół wykorzystał model wizualno-językowy (VLM) w celu wypełnienia luki między złożonym rozumowaniem, planowaniem a bodźcami wizualnymi; jest to posunięcie, które sprawdza możliwości sztucznej inteligencji w radzeniu sobie z rzeczywistymi wyzwaniami, takimi jak jazda autonomiczna czy montaż z wykorzystaniem robotów. Ponieważ jednak modele VLM często napotykają trudności w rozumieniu relacji przestrzennych między obiektami w scenie oraz w rozumowaniu wieloetapowym, naukowcy połączyli siły z twórcami formalnych systemów planowania, aby opracować metodę formalnego planowania kierowanego przez model VLM (VLMFP).

VLMFP składa się z dwóch wyspecjalizowanych modeli VLM, które przekształcają wizualne problemy planowania w pliki gotowe do przetworzenia przez tradycyjne oprogramowanie do planowania. System rozpoczyna pracę od niewielkiego modelu, SimVLM, którego zadaniem jest opisywanie scenariuszy wizualnych w języku naturalnym. Następnie większy model, GenVLM, wykorzystuje opisy SimVLM do wygenerowania plików początkowych w języku PDDL (Planning Domain Definition Language). Pliki te są następnie przekazywane do klasycznego solwera PDDL, w wyniku czego powstają plany krok po kroku.

Perspektywy na przyszłość

Algorytm VLMFP osiągnął imponujące wyniki, uzyskując skuteczność na poziomie około 601 TP3T w sześciu zadaniach planowania 2D oraz ponad 801 TP3T w dwóch zadaniach 3D, takich jak współpraca wielu robotów i montaż z wykorzystaniem robotów. Udało mu się również wygenerować poprawne plany dla ponad połowy scenariuszy, z którymi nie miał wcześniej do czynienia, wyraźnie przewyższając tradycyjne metody.

W przyszłości zespół ma nadzieję jeszcze bardziej udoskonalić możliwości modelu VLMFP, dzięki czemu będzie on w stanie radzić sobie z jeszcze bardziej złożonymi scenariuszami i ograniczyć potencjalne błędy popełniane przez modele VLM. Ostatecznie naukowcy są przekonani, że generatywne modele sztucznej inteligencji mogą przekształcić się w agenty zdolne do rozwiązywania jeszcze bardziej skomplikowanych problemów, co będzie oznaczało ogromny krok naprzód w dziedzinie rozwiązywania problemów z wykorzystaniem sztucznej inteligencji.

Praca ta została częściowo sfinansowana przez laboratorium MIT-IBM Watson AI Lab. Więcej informacji można znaleźć w oryginalnym artykule prasowym. tutaj.