Zastan\u00f3w si\u0119 przez chwil\u0119: Tw\u00f3j uroczy buldog francuski, Bowser, jest w lokalnym parku dla ps\u00f3w. Po\u015br\u00f3d pl\u0105taniny psich zabaw, twoje oczy z \u0142atwo\u015bci\u0105 rozr\u00f3\u017cniaj\u0105 Bowsera. Ale co, je\u015bli chcia\u0142by\u015b, aby sztuczna inteligencja robi\u0142a to samo, gdy jeste\u015b uwi\u0119ziony w biurze? W tym momencie sprawy staj\u0105 si\u0119 skomplikowane.<\/p>\n
Nasze obecne modele wizyjno-j\u0119zykowe (VLM), takie jak popularny GPT-5, s\u0105 doskona\u0142e w wyodr\u0119bnianiu og\u00f3lnych obiekt\u00f3w. Na przyk\u0142ad zidentyfikowanie \"psa\" lub \"drzewa\" to pestka. Wyzwanie pojawia si\u0119 jednak, gdy modele te maj\u0105 za zadanie wskaza\u0107 konkretny, spersonalizowany obiekt. Je\u015bli oczekujesz, \u017ce sztuczna inteligencja rozpozna Bowsera Frenchie w szeregu buldog\u00f3w francuskich, prawdopodobnie si\u0119 pogubi. Stanowi to przeszkod\u0119 dla ka\u017cdego, kto zamierza wykorzysta\u0107 sztuczn\u0105 inteligencj\u0119 do zada\u0144 takich jak monitorowanie zwierz\u0105t domowych, \u015bledzenie obiekt\u00f3w lub technologia wspomagaj\u0105ca.<\/p>\n
Aby wype\u0142ni\u0107 t\u0119 luk\u0119, naukowcy z MIT i MIT-IBM Watson AI Lab opracowali now\u0105 metod\u0119 szkolenia, kt\u00f3ra umo\u017cliwia modelom sztucznej inteligencji skuteczniejsze rozpoznawanie spersonalizowanych obiekt\u00f3w w r\u00f3\u017cnych scenach. Pracowali nad ponownym trenowaniem VLM przy u\u017cyciu specjalnie wyselekcjonowanych danych \u015bledzenia wideo, kt\u00f3re \u015bledz\u0105 ten sam obiekt w serii klatek. Metoda ta zasadniczo zmusza model do polegania na wskaz\u00f3wkach kontekstowych, a nie na zapami\u0119tanych informacjach. Model AI jest zasilany gar\u015bci\u0105 przyk\u0142adowych obraz\u00f3w konkretnego obiektu, na przyk\u0142ad zwierz\u0119cia domowego lub plecaka. Zmodernizowany system staje si\u0119 znacznie lepszy w identyfikowaniu tego obiektu na nowych obrazach, zachowuj\u0105c jednocze\u015bnie szersze mo\u017cliwo\u015bci modelu.<\/p>\n
Post\u0119p ten mo\u017ce by\u0107 prze\u0142omem w r\u00f3\u017cnych dziedzinach. Od system\u00f3w sztucznej inteligencji \u015bledz\u0105cych okre\u015blone zwierz\u0119ta do bada\u0144 \u015brodowiskowych po technologie wspomagaj\u0105ce niedowidz\u0105cych u\u017cytkownik\u00f3w w lokalizowaniu rzeczy osobistych w ich domach, mo\u017cliwo\u015bci s\u0105 liczne. Technika ta mo\u017ce r\u00f3wnie\u017c wzmocni\u0107 robotyk\u0119 i narz\u0119dzia rzeczywisto\u015bci rozszerzonej wymagaj\u0105ce szybkiej i dok\u0142adnej identyfikacji okre\u015blonych obiekt\u00f3w w zmieniaj\u0105cym si\u0119 otoczeniu.<\/p>\n
Projektem kieruje Jehanzeb Mirza, postdoc z MIT i starszy autor artyku\u0142u badawczego. Opr\u00f3cz Mirzy, kluczow\u0105 rol\u0119 w projekcie odegra\u0142 r\u00f3wnie\u017c zesp\u00f3\u0142 naukowc\u00f3w z MIT, Weizmann Institute of Science i IBM. Ich odkrycia zostan\u0105 zaprezentowane na nadchodz\u0105cej Mi\u0119dzynarodowej Konferencji Wizji Komputerowej.<\/p>\n
Wed\u0142ug Mirzy, ostatecznym celem tych modeli jest \"uczenie si\u0119 z kontekstu, tak jak robi\u0105 to ludzie\". Je\u015bli model sztucznej inteligencji mo\u017ce to osi\u0105gn\u0105\u0107, to zamiast przekwalifikowywa\u0107 go do ka\u017cdego nowego zadania, model m\u00f3g\u0142by zosta\u0107 zasilony kilkoma przyk\u0142adami i wywnioskowa\u0142by, jak wykona\u0107 zadanie z tego kontekstu. Jego zdaniem by\u0142aby to bezkonkurencyjna umiej\u0119tno\u015b\u0107. Wizja ta nie jest jednak pozbawiona w\u0142asnego zestawu wyzwa\u0144. Spo\u0142eczno\u015b\u0107 badawcza nie znalaz\u0142a jeszcze ostatecznej odpowiedzi na pytanie, dlaczego VLM zmagaj\u0105 si\u0119 z problemami, z kt\u00f3rymi nie radz\u0105 sobie ludzie. Problem mo\u017ce le\u017ce\u0107 w integracji komponent\u00f3w wizualnych i j\u0119zykowych, gdzie niekt\u00f3re informacje wizualne mog\u0105 zosta\u0107 utracone, ale wniosek nie jest jeszcze jednoznaczny.<\/p>\n
Praca zespo\u0142u zaowocowa\u0142a imponuj\u0105cymi post\u0119pami. Dzi\u0119ki nowo wyselekcjonowanemu zbiorowi danych zaobserwowano \u015bredni\u0105 popraw\u0119 o 12% w spersonalizowanej lokalizacji obiekt\u00f3w. Co wi\u0119cej, gdy zamiast rzeczywistych nazw obiekt\u00f3w u\u017cyto pseudonim\u00f3w, wydajno\u015b\u0107 wzros\u0142a nawet o 21%. Dodatkowo, im wi\u0119kszy model, tym wi\u0119ksze korzy\u015bci. W miar\u0119 post\u0119p\u00f3w zesp\u00f3\u0142 planuje zag\u0142\u0119bi\u0107 si\u0119 w niesp\u00f3jno\u015bci uczenia si\u0119 VLM i LLM oraz zbada\u0107 nowe strategie w celu zwi\u0119kszenia wydajno\u015bci VLM bez konieczno\u015bci ci\u0105g\u0142ego ponownego szkolenia modeli.<\/p>\n
Zdaj\u0105c sobie spraw\u0119 z ogromnego potencja\u0142u szybkiego, specyficznego dla instancji ugruntowania w praktycznych przep\u0142ywach pracy, Mirza i jego zesp\u00f3\u0142 wierz\u0105, \u017ce ich podej\u015bcie skoncentrowane na danych mo\u017ce pom\u00f3c w powszechnej integracji modeli opartych na j\u0119zyku wizyjnym. Do Mirzy w tej prze\u0142omowej pracy do\u0142\u0105czyli Wei Lin, Eli Schwartz, Hilde Kuehne, Raja Giryes, Rogerio Feris, Leonid Karlinsky, Assaf Arbelle i Shimon Ullman, a finansowanie pochodzi\u0142o z MIT-IBM Watson AI Lab.<\/p>\n