Denken Sie mal kurz darüber nach: Ihr entzückender Französischer Bulldog, Bowser, ist im örtlichen Hundepark. Inmitten des wirbelnden Gewirrs aus herumtollenden Hunden kannst du Bowser mühelos ausmachen. Aber was wäre, wenn du dir wünschst, dass eine KI dasselbe tun könnte, während du im Büro festsitzt? An diesem Punkt wird die Sache kompliziert.
Unsere aktuellen Bild-Sprache-Modelle (VLMs), wie das beliebte GPT-5, sind hervorragend darin, allgemeine Objekte zu identifizieren. So ist es beispielsweise ein Kinderspiel, einen ‘Hund’ oder einen ‘Baum’ zu erkennen. Die Herausforderung entsteht jedoch, wenn diese Modelle ein bestimmtes, individuelles Objekt identifizieren sollen. Wenn man von einer KI erwartet, dass sie Bowser, den Frenchie, in einer Gruppe von Französischen Bulldoggen erkennt, würde sie wahrscheinlich ins Straucheln geraten. Dies ist ein Hindernis für alle, die KI für Aufgaben wie die Überwachung von Haustieren, die Objektverfolgung oder assistive Technologien einsetzen möchten.
Um diese Lücke zu schließen, haben Forscher des MIT und des MIT-IBM Watson AI Lab eine neue Trainingsmethode entwickelt, die es KI-Modellen ermöglicht, personalisierte Objekte in unterschiedlichen Szenen effektiver zu erkennen. Sie arbeiteten daran, VLMs mithilfe speziell zusammengestellter Video-Tracking-Daten neu zu trainieren, die dasselbe Objekt über eine Reihe von Einzelbildern hinweg verfolgen. Diese Methode zwingt das Modell im Wesentlichen dazu, sich eher auf kontextuelle Hinweise als auf gespeicherte Informationen zu stützen. Dem KI-Modell werden eine Handvoll Beispielbilder eines bestimmten Objekts vorgelegt, zum Beispiel eines Haustiers oder eines Rucksacks. Das überarbeitete System ist anschließend bei der Identifizierung dieses Objekts in neuen Bildern deutlich leistungsfähiger, behält dabei aber die allgemeinen Fähigkeiten des Modells bei.
Dieser Fortschritt könnte sich in verschiedenen Bereichen als bahnbrechend erweisen. Von KI-Systemen, die bestimmte Tiere für Umweltstudien aufspüren, bis hin zu Hilfstechnologien, die sehbehinderten Nutzern helfen, persönliche Gegenstände in ihren Häusern zu finden - die Möglichkeiten sind vielfältig. Diese Technik könnte auch die Robotik und Augmented-Reality-Tools verstärken, die eine schnelle und genaue Identifizierung bestimmter Objekte in einer sich entwickelnden Umgebung erfordern.
Das Projekt wird von Jehanzeb Mirza geleitet, einem MIT-Postdoktoranden und Hauptautor der Forschungsarbeit. Neben Mirza hat auch ein Team von Forschern des MIT, des Weizmann Institute of Science und von IBM eine entscheidende Rolle bei dem Projekt gespielt. Ihre Ergebnisse werden auf der kommenden International Conference on Computer Vision vorgestellt.
Laut Mirza besteht das ultimative Ziel darin, dass diese Modelle “aus dem Kontext lernen, genau wie Menschen”. Wenn ein KI-Modell dies erreichen könnte, müsste es nicht für jede neue Aufgabe neu trainiert werden, sondern könnte anhand einiger weniger Beispiele aus dem Kontext ableiten, wie die Aufgabe zu bewältigen ist. Dies wäre seiner Meinung nach eine unvergleichliche Fähigkeit. Allerdings ist diese Vision nicht ohne Herausforderungen. Die Forschungsgemeinschaft hat noch keine endgültige Antwort auf die Frage gefunden, warum VLMs dort Schwierigkeiten haben, wo Menschen keine haben. Das Problem könnte in der Integration der visuellen und sprachlichen Komponenten liegen, bei der möglicherweise einige visuelle Informationen verloren gehen, doch die Schlussfolgerung ist noch nicht eindeutig.
Die Arbeit des Teams hat zu beeindruckenden Fortschritten geführt. Mit ihrem neu zusammengestellten Datensatz konnten sie bei der personalisierten Objektlokalisierung eine durchschnittliche Verbesserung von 12% feststellen. Als anstelle der tatsächlichen Objektnamen Pseudonyme verwendet wurden, stieg die Leistung zudem um bis zu 21% sprunghaft an. Zudem gilt: Je größer das Modell, desto deutlicher die Leistungssteigerungen. In der weiteren Arbeit plant das Team, sich eingehender mit den Lerninkonsistenzen von VLMs und LLMs zu befassen und neue Strategien zu untersuchen, um die Leistung von VLMs zu verbessern, ohne dass ein ständiges Neu-Training der Modelle erforderlich ist.
Mirza und sein Team haben das enorme Potenzial für eine schnelle, instanzspezifische Einbindung in praktische Arbeitsabläufe erkannt und sind überzeugt, dass ihr datenzentrierter Ansatz die weit verbreitete Integration von Modellen für die Grundlage der Bildsprache unterstützen kann. Gemeinsam mit Mirza haben Wei Lin, Eli Schwartz, Hilde Kuehne, Raja Giryes, Rogerio Feris, Leonid Karlinsky, Assaf Arbelle und Shimon Ullman an dieser bahnbrechenden Arbeit gearbeitet, die vom MIT-IBM Watson AI Lab finanziert wurde.
Weitere Einzelheiten finden Sie in dem Originalartikel hier.
Diese Website verwendet Cookies.