Chatboty, takie jak ChatGPT i Claude, wplot\u0142y si\u0119 w tkank\u0119 naszego cyfrowego \u017cycia dzi\u0119ki swojej niesamowitej wszechstronno\u015bci, zdolnej do wykonywania zada\u0144 od debugowania kodu po tworzenie poezji. Swoj\u0105 finezj\u0119 zawdzi\u0119czaj\u0105 ogromnej ilo\u015bci danych tekstowych zebranych z Internetu, na kt\u00f3rych s\u0105 szkolone. Jednak szkolenie robot\u00f3w dzia\u0142aj\u0105cych w \u015brodowisku fizycznym wymaga znacznie wi\u0119cej ni\u017c tylko danych tekstowych. Te roboty rozwijaj\u0105 si\u0119 w kontek\u015bcie wizualnym i fizycznym, umo\u017cliwiaj\u0105c im p\u0142ynn\u0105 interakcj\u0119 z otoczeniem - niezale\u017cnie od tego, czy chodzi o umieszczenie fili\u017canki kawy na stole, czy uk\u0142adanie naczy\u0144 bez powodowania stukotu. Nauczenie si\u0119 tych operacji to nie lada wyczyn - wymaga demonstracji przypominaj\u0105cych poradniki dla ka\u017cdego zadania. Problem? Gromadzenie tych rzeczywistych demonstracji jest nie tylko pracoch\u0142onne, ale mo\u017ce by\u0107 r\u00f3wnie\u017c niesp\u00f3jne i kosztowne.<\/p>\n
W tym miejscu wkraczaj\u0105 prze\u0142omowe prace Laboratorium Nauk Komputerowych i Sztucznej Inteligencji MIT (CSAIL) oraz Toyota Research Institute. Badacze ci opracowali zmieniaj\u0105c\u0105 paradygmat metod\u0119 nazwan\u0105 Sterowane generowanie scen<\/a>W tym celu opracowano metod\u0119 tworzenia wirtualnych \u015brodowisk 3D - na przyk\u0142ad kuchni lub restauracji - zdolnych do symulowania wielu zada\u0144 wykonywanych przez roboty. Metoda ta opiera si\u0119 na modelu dyfuzyjnym, poddziedzinie sztucznej inteligencji, kt\u00f3ra zaczyna si\u0119 od losowego szumu i stopniowo przekszta\u0142ca go w ustrukturyzowany obraz. Model ten jest zgodny z prawami fizyki, tworz\u0105c wiarygodne sceny i obiekty. Na przyk\u0142ad zapewnia, \u017ce widelec nie b\u0119dzie unosi\u0142 si\u0119 w misce z zup\u0105, dodaj\u0105c odrobin\u0119 realizmu.<\/p>\n Cech\u0105 wyr\u00f3\u017cniaj\u0105c\u0105 t\u0119 metod\u0119 jest integracja Monte Carlo Tree Search (MCTS) - strategii inspirowanej systemami gier AI, takimi jak AlphaGo. MCTS zapewnia modelowi obiektyw do badania wielu potencjalnych sposob\u00f3w konstruowania sceny, wybieraj\u0105c najbardziej realistyczn\u0105 lub warto\u015bciow\u0105 wersj\u0119 w oparciu o cel. Niezale\u017cnie od tego, czy chodzi o maksymalizacj\u0119 r\u00f3\u017cnorodno\u015bci produkt\u00f3w spo\u017cywczych przechowywanych w kuchni, czy o co\u015b innego - MCTS sprosta temu zadaniu. Nicholas Pfaff, doktorant na MIT EECS, kt\u00f3ry stoi na czele projektu, wyja\u015bnia dalej, \u017ce po raz pierwszy MCTS zosta\u0142 zastosowany do generowania scen, gdzie jest on uj\u0119ty w ramy sekwencyjnego procesu decyzyjnego, umo\u017cliwiaj\u0105c tworzenie z\u0142o\u017conych scen poza pocz\u0105tkowym zestawem szkoleniowym.<\/p>\n Inn\u0105 godn\u0105 uwagi cech\u0105 jest podej\u015bcie do uczenia si\u0119 modelu. Wykorzystuje on uczenie ze wzmocnieniem, w kt\u00f3rym otrzymuje \"nagrod\u0119\" za wymy\u015blanie scen, kt\u00f3re odnosz\u0105 si\u0119 do okre\u015blonych przykaza\u0144. Z czasem model uczy si\u0119 tworzy\u0107 \u015brodowiska bardzo przypominaj\u0105ce po\u017c\u0105dane rezultaty. U\u017cytkownicy mog\u0105 kierowa\u0107 systemem za pomoc\u0105 specjalnie dostosowanych podpowiedzi wizualnych, takich jak \"stw\u00f3rz kuchni\u0119 z czterema jab\u0142kami i misk\u0105 umieszczon\u0105 na stole\". Wyniki s\u0105 imponuj\u0105ce, poniewa\u017c model ten przewy\u017csza swoich konkurent\u00f3w w zadaniach o co najmniej 10%. Ale to nie wszystko - model mo\u017ce r\u00f3wnie\u017c modyfikowa\u0107 istniej\u0105ce sceny na polecenie. Mo\u017ce tasowa\u0107 obiekty lub dodawa\u0107 nowe, zachowuj\u0105c przy tym integralno\u015b\u0107 \u015brodowiska. To tak, jakby mie\u0107 osobistego wirtualnego kierownika planu, kt\u00f3ry rozumie estetyk\u0119 i fizyk\u0119.<\/p>\n Prawdziwym atutem tego systemu jest mo\u017cliwo\u015b\u0107 generowania bezcennych danych szkoleniowych dla robotyk\u00f3w. Wirtualne \u015brodowiska staj\u0105 si\u0119 kursem szkoleniowym, w kt\u00f3rym roboty ucz\u0105 si\u0119 zada\u0144 takich jak uk\u0142adanie sztu\u0107c\u00f3w lub przydzielanie jedzenia na talerzach. Realistyczne symulacje tworz\u0105 idealn\u0105 piaskownic\u0119 do szkolenia robot\u00f3w do rzeczywistych zada\u0144. Przysz\u0142e iteracje tego systemu maj\u0105 na celu w\u0142\u0105czenie interaktywnych element\u00f3w, takich jak szafki lub s\u0142oiki, kt\u00f3re mog\u0105 by\u0107 odzyskiwane przez roboty, dodaj\u0105c kolejn\u0105 warstw\u0119 realizmu. Nicholas Pfaff komentuje r\u00f3wnie\u017c fakt, \u017ce sceny przedtreningowe mog\u0105 odbiega\u0107 od rzeczywistych. \"Korzystaj\u0105c z naszych metod sterowania, mo\u017cemy wyj\u015b\u0107 poza t\u0119 szerok\u0105 dystrybucj\u0119 i pr\u00f3bkowa\u0107 z \"lepszej\"\".<\/p>\n Patrz\u0105c dalej, zesp\u00f3\u0142 aspiruje do w\u0142\u0105czenia rzeczywistych obraz\u00f3w do danych treningowych, wykorzystuj\u0105c technik\u0119 znan\u0105 jako Skalowalny Real2Sim<\/a>. Pozwoli\u0142oby to systemowi na konstruowanie \u015brodowisk bli\u017cszych tym, kt\u00f3re roboty napotkaj\u0105 w rzeczywisto\u015bci. Eksperci bran\u017cowi s\u0105 do\u015b\u0107 optymistycznie nastawieni do tego rozwoju. Jeremy Binagia, naukowiec ds. zastosowa\u0144 w Amazon Robotics, stwierdzi\u0142, \u017ce sterowane generowanie scen zapewnia fizyczn\u0105 wykonalno\u015b\u0107 i pe\u0142ne t\u0142umaczenie 3D, a tym samym tworzenie znacznie bardziej wci\u0105gaj\u0105cych scen. Badania te zosta\u0142y wsparte przez Amazon i Toyota Research Institute i udost\u0119pnione na konferencji po\u015bwi\u0119conej uczeniu si\u0119 robot\u00f3w. Wi\u0119cej szczeg\u00f3\u0142\u00f3w mo\u017cna znale\u017a\u0107 w artykule artyku\u0142 oryginalny<\/a> na MIT News. <\/p>","protected":false},"excerpt":{"rendered":" Chatbots, like ChatGPT and Claude, have woven themselves into the fabric of our digital lives due to their incredible versatility, capable of tasks ranging from code debugging to crafting poetry. Their finesse is owed to the vast amounts of text data gathered from the internet on which they are trained. However, training robots that operate in physical environments requires a lot more than just text data. These robotic entities thrive on visual and physical contexts, enabling them to interact seamlessly with their environments\u2014whether it be placing a coffee cup on the table or stacking dishes without causing a clatter. Learning […]<\/p>\n","protected":false},"author":4,"featured_media":7273,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2],"tags":[],"class_list":["post-7272","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-images","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7272","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=7272"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/7272\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/7273"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=7272"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=7272"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=7272"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}