W świecie idei i komunikacji słowa czasami nie wystarczają. Szybki szkic, na przykład rysunek schematu obwodu, może skutecznie przekazać złożone koncepcje. A co, gdyby w tym procesie twórczym można było wykorzystać sztuczną inteligencję? Cóż, dzięki błyskotliwym umysłom naukowców z Laboratorium informatyki i sztucznej inteligencji MIT (CSAIL) oraz Uniwersytet Stanforda. Opracowali oni system sztucznej inteligencji, który szkicuje w sposób bardziej zbliżony do ludzkiego, pod nazwą SketchAgent.
To nowe, innowacyjne narzędzie wykorzystuje multimodalne modele językowe – systemy wytrenowane zarówno na tekście, jak i na obrazach. Potrafi przetwarzać polecenia sformułowane w języku naturalnym i przekształcać je w proste szkice w stylu rysunków odręcznych w ciągu zaledwie kilku sekund. W przeciwieństwie do wielu narzędzi sztuki opartych na sztucznej inteligencji, które kładą nacisk na fotorealistyczne obrazy lub stylizowane rysunki animowane, SketchAgent skupia się na samym procesie szkicowania, naśladując sposób, w jaki ludzie rysują, wykonując po jednym pociągnięciu na raz. Takie podejście pozwala na tworzenie bardziej organicznych, iteracyjnych wizualizacji. Dzięki temu SketchAgent może narysować wszystko – od prostego domu po skomplikowany rysunek tworzony wspólnie z ludźmi – przyjmując instrukcje tekstowe i szkicując każdy element z osobna.
Tworząc SketchAgent, naukowcy zdecydowali się na wyjątkowe podejście. Zamiast uczyć sztuczną inteligencję na ogromnych bazach danych zawierających ludzkie szkice, nauczyli ją za pomocą tak zwanego ‘języka szkicowania’. Ta pomysłowa metoda rozkłada rysunki na sekwencje pociągnięć nanoszonych na siatkę, przy czym każde pociągnięcie jest ponumerowane i opatrzone etykietą. Ten język szkicowania pozwala systemowi sztucznej inteligencji wywnioskować, jak naszkicować nowe koncepcje, z którymi wcześniej się nie spotkał.
W skład zespołu prowadzącego tę nową rewolucję AI wchodzą Yael Vinker, Tamar Rott Shaham, Alex Zhao, Antonio Torralba z MIT oraz Kristine Zheng i Judith Ellen Fan ze Stanford. Świat dowie się o ich pionierskiej pracy podczas konferencji 2025 Conference on Computer Vision and Pattern Recognition (CVPR).
Cechą wyróżniającą SketchAgent jest jego zdolność do rysowania każdego pociągnięcia sekwencyjnie, podobnie jak zrobiłby to człowiek. Zdolność ta sprawia, że szkice są naturalne i przypominają ludzkie. Podczas gdy inne modele AI mogą generować wizualnie angażujące obrazy z tekstu, często brakuje im kreatywności krok po kroku związanej ze szkicowaniem. Co więcej, sztuczna inteligencja ma potencjał do rysowania szerokiej gamy pomysłów, od motyli i helis DNA po kultowy budynek opery w Sydney, dzięki możliwości wykorzystania szerokiej wiedzy wstępnie wytrenowanych modeli językowych, choć modele te nie wiedzą naturalnie, jak rysować.
Kolejną przełomową cechą SketchAgent jest możliwość współpracy z ludźmi. Podczas testów okazało się, że wkład sztucznej inteligencji miał kluczowe znaczenie dla ostatecznych szkiców. Na przykład, jeśli maszt narysowany przez AI został usunięty ze szkicu żaglówki, rysunek stał się niemożliwy do zidentyfikowania. Naukowcy eksperymentowali również z różnymi modelami językowymi, aby dowiedzieć się, który z nich tworzył rysunki najbardziej przypominające ludzkie. Claude 3.5 Sonnet wyłonił się jako najlepszy, przyćmiewając GPT-4o i Claude 3 Opus w tworzeniu rozpoznawalnych szkiców wektorowych.
Trzeba przyznać, że pomimo ogromnego potencjału SketchAgent wciąż ma kilka niedociągnięć do usunięcia. Obecnie świetnie radzi sobie z rysowaniem prostych ludzików i bazgrołów, ale napotyka trudności przy tworzeniu złożonych obrazów, takich jak logo, tekst czy szczegółowe postacie, na przykład jednorożce i krowy. Ponadto czasami błędnie interpretuje intencje użytkownika, na przykład tworząc szkic dwugłowego królika, co prawdopodobnie wynika z tego, że proces krok po kroku realizowany przez sztuczną inteligencję nie jest zsynchronizowany z działaniami jej ludzkiego współpracownika. Aby rozwiązać te początkowe problemy, zespół badawczy planuje wyszkolić SketchAgent przy użyciu danych syntetycznych pochodzących z modeli dyfuzyjnych oraz udoskonalić interfejs użytkownika, aby był bardziej intuicyjny i responsywny podczas wspólnych sesji rysowania.
Niemniej jednak SketchAgent zapowiada nową erę w komunikacji między ludźmi a sztuczną inteligencją. Ułatwiając komunikację wizualną za pomocą szkiców, otwiera nieocenione możliwości dla nauczycieli, badaczy i wszystkich, którzy pragną wyrazić swoje pomysły w formie wizualnej. Główna autorka, Yael Vinker, wspomniała: “Wiele osób nie zdaje sobie sprawy, jak często rysują w codziennym życiu – czy to podczas burzy mózgów, czy też wyjaśniając coś wizualnie. SketchAgent ma na celu odtworzenie tego procesu, pomagając sztucznej inteligencji stać się bardziej skutecznym narzędziem ekspresji wizualnej”. Rzeczywiście, wraz z postępem w dziedzinie sztucznej inteligencji innowacyjne narzędzia, takie jak SketchAgent, mogą zmienić sposób, w jaki wchodzimy w interakcję z maszynami – wykraczając poza słowa w kierunku wspólnej, wizualnej kreatywności.
Źródło: MIT News
Ta strona używa plików cookie.