Chatbots wie ChatGPT und Claude haben sich aufgrund ihrer unglaublichen Vielseitigkeit – sie sind in der Lage, Aufgaben vom Debuggen von Code bis zum Verfassen von Gedichten zu bewältigen – fest in unser digitales Leben integriert. Ihre Raffinesse verdanken sie den riesigen Mengen an Textdaten, die aus dem Internet gesammelt und für ihr Training verwendet wurden. Das Training von Robotern, die in physischen Umgebungen agieren, erfordert jedoch weit mehr als nur Textdaten. Diese Roboter leben von visuellen und physischen Kontexten, die es ihnen ermöglichen, nahtlos mit ihrer Umgebung zu interagieren – sei es, eine Kaffeetasse auf den Tisch zu stellen oder Geschirr zu stapeln, ohne dabei Lärm zu verursachen. Das Erlernen dieser Vorgänge ist keine Kleinigkeit – es erfordert Demonstrationen, die Anleitungen für jede einzelne Aufgabe ähneln. Der Haken daran? Das Sammeln dieser Demonstrationen aus der realen Welt ist nicht nur mühsam, sondern kann auch uneinheitlich und kostspielig sein.
An dieser Stelle kommt die bahnbrechende Arbeit des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT und des Toyota Research Institute ins Spiel. Diese Forscher entwickelten eine paradigmenverändernde Methode mit dem Namen steuerbare Szenengenerierung: a way to create virtual 3D environments—say, kitchens or restaurants—capable of simulating a multitude of robotic tasks. This method is built on a diffusion model, a subdomain of AI that starts with random noise and contours it gradually into a structured image. The model adheres to the laws of physics, producing believable scenes and objects. For instance, it ensures that a fork won’t eerily float through a soup bowl, adding a touch of realism.
The standout feature in this method is the integration of the Monte Carlo Tree Search (MCTS)—a strategy inspired by AI gaming systems like AlphaGo. MCTS provides a lens for the model to explore multiple potential ways of constructing a scene, opting for the most realistic or valuable version based on the goal at hand. Whether it’s maximizing the diversity of edibles stashed in a kitchen or something else—MCTS is up for the task. Nicholas Pfaff, a PhD student at MIT EECS spearheading the project, further explains by stating that this is the first time MCTS has been applied to scene generation where it is framed as a sequential decision-making process, allowing for the creation of complex scenes beyond the initial training set.
Another notable feature is the model’s learning approach. It employs reinforcement learning where it gets a “reward” for concocting scenes that address specific commandments. With time, the model learns to fabricate environments closely resembling the desired outcomes. Users can guide the system using bespoke visual prompts, like “create a kitchen setup with four apples and a bowl placed on the table.” The results are nothing short of impressive as this model outperforms its competitors in tasks by at least 10% margin. But that’s not all—the model can also modify existing scenes upon command. It can shuffle objects around or toss in new ones, all while maintaining the integrity of the environment. It’s like having your personal virtual set manager who comes with an understanding of aesthetics and physics.
The true mettle of this system is in its power to generate invaluable training data for roboticists. The virtual environments become a training course where robots learn tasks such as arranging cutlery or allocating food on plates. The lifelike simulations create an ideal sandbox for training robots for real-world tasks. Future iterations of this system aim to include interactive elements like cabinets or jars that can be recovered by robots, adding another layer of realism. Nicholas Pfaff also comments on the fact that pre-training scenes might deviate from actual ones. “Using our steering methods, we can move beyond that broad distribution and sample from a ‘better’ one.”
Auf längere Sicht strebt das Team an, Bilder aus der realen Welt in die Trainingsdaten zu integrieren, und zwar mithilfe einer Technik, die als Skalierbares Real2Sim. Dadurch könnte das System Umgebungen erstellen, die denen, denen Roboter in der Realität begegnen, näher kommen. Die Branchenexperten sehen dieser Entwicklung recht optimistisch entgegen. Jeremy Binagia, angewandter Wissenschaftler bei Amazon Robotics, erklärte, dass die steuerbare Szenengenerierung physikalische Machbarkeit und vollständige 3D-Übersetzung gewährleistet und somit wesentlich fesselndere Szenen hervorbringt. Diese Forschung wurde von Amazon und dem Toyota Research Institute unterstützt und auf der „Conference on Robot Learning“ vorgestellt. Weitere Details finden Sie im Originalartikel auf MIT News.
Diese Website verwendet Cookies.