Zastanów się przez chwilę: twój uroczy buldog francuski, Bowser, jest w lokalnym parku dla psów. Wśród rozbrykanej gromadki psów Twoje oczy bez trudu rozpoznają Bowsera. A co, gdybyś chciał, aby sztuczna inteligencja zrobiła to samo, podczas gdy Ty siedzisz w biurze? W tym momencie sprawa się komplikuje.
Nasze obecne modele wizualno-językowe (VLM), takie jak popularny GPT-5, doskonale radzą sobie z rozpoznawaniem ogólnych obiektów. Na przykład zidentyfikowanie ‘psa’ czy ‘drzewa’ to dla nich bułka z masłem. Wyzwanie pojawia się jednak, gdy modele te mają za zadanie wskazać konkretny, spersonalizowany obiekt. Jeśli oczekujesz, że sztuczna inteligencja rozpozna Bowsera, buldoga francuskiego rasy Frenchie, wśród grupy innych buldogów francuskich, prawdopodobnie nie da sobie z tym rady. Stanowi to przeszkodę dla każdego, kto zamierza wykorzystać sztuczną inteligencję do zadań takich jak monitorowanie zwierząt domowych, śledzenie obiektów lub technologie wspomagające.
Aby wypełnić tę lukę, naukowcy z MIT oraz laboratorium MIT-IBM Watson AI Lab opracowali nową metodę szkolenia, która pozwala modelom sztucznej inteligencji skuteczniej rozpoznawać spersonalizowane obiekty w różnorodnych scenach. Pracowali nad ponownym szkoleniem modeli VLM przy użyciu specjalnie dobranych danych śledzenia wideo, które śledzą ten sam obiekt w serii klatek. Metoda ta zasadniczo zmusza model do opierania się na wskazówkach kontekstowych zamiast na zapamiętanych informacjach. Model sztucznej inteligencji otrzymuje kilka przykładowych obrazów konkretnego obiektu, na przykład zwierzęcia domowego lub plecaka. Zmodernizowany system znacznie lepiej radzi sobie następnie z identyfikacją tego obiektu na nowych obrazach, zachowując jednocześnie szersze możliwości modelu.
Postęp ten może być przełomem w różnych dziedzinach. Od systemów sztucznej inteligencji śledzących określone zwierzęta do badań środowiskowych po technologie wspomagające niedowidzących użytkowników w lokalizowaniu rzeczy osobistych w ich domach, możliwości są liczne. Technika ta może również wzmocnić robotykę i narzędzia rzeczywistości rozszerzonej wymagające szybkiej i dokładnej identyfikacji określonych obiektów w zmieniającym się otoczeniu.
Projektem kieruje Jehanzeb Mirza, postdoc z MIT i starszy autor artykułu badawczego. Oprócz Mirzy, kluczową rolę w projekcie odegrał również zespół naukowców z MIT, Weizmann Institute of Science i IBM. Ich odkrycia zostaną zaprezentowane na nadchodzącej Międzynarodowej Konferencji Wizji Komputerowej.
Według Mirzy ostatecznym celem jest, aby modele te “uczyły się na podstawie kontekstu, tak jak robią to ludzie”. Jeśli model sztucznej inteligencji zdoła to osiągnąć, zamiast przećwiczać go od nowa dla każdego nowego zadania, wystarczy podać mu kilka przykładów, a on sam wywnioskuje, jak wykonać zadanie na podstawie tego kontekstu. Jego zdaniem byłaby to niezrównana zdolność. Jednak ta wizja wiąże się z pewnymi wyzwaniami. Środowisko naukowe nie znalazło jeszcze ostatecznej odpowiedzi na pytanie, dlaczego modele VLM mają trudności tam, gdzie ludzie ich nie mają. Problem może leżeć w integracji elementów wizualnych i językowych, gdzie niektóre informacje wizualne mogą zostać utracone, ale wniosek nie jest jeszcze jednoznaczny.
Praca zespołu zaowocowała imponującymi postępami. Dzięki nowo przygotowanemu zbiorowi danych zaobserwowano średnią poprawę wynoszącą 12% w zakresie spersonalizowanej lokalizacji obiektów. Co więcej, gdy zamiast rzeczywistych nazw obiektów zastosowano pseudonimy, wydajność wzrosła aż o 21%. Co więcej, im większy model, tym większe korzyści. W dalszej części badań zespół planuje dokładniej zbadać niespójności w uczeniu się modeli VLM i LLM oraz przeanalizować nowe strategie zwiększania wydajności modeli VLM bez konieczności ciągłego ponownego szkolenia modeli.
Zdając sobie sprawę z ogromnego potencjału szybkiego, specyficznego dla instancji ugruntowania w praktycznych przepływach pracy, Mirza i jego zespół wierzą, że ich podejście skoncentrowane na danych może pomóc w powszechnej integracji modeli opartych na języku wizyjnym. Do Mirzy w tej przełomowej pracy dołączyli Wei Lin, Eli Schwartz, Hilde Kuehne, Raja Giryes, Rogerio Feris, Leonid Karlinsky, Assaf Arbelle i Shimon Ullman, a finansowanie pochodziło z MIT-IBM Watson AI Lab.
Więcej szczegółów można znaleźć w oryginalnym artykule tutaj.
Ta strona używa plików cookie.