Jak dobrzy są agenci AI w prawdziwych badaniach? Wewnątrz raportu Deep Research Bench

Asystenci badawczy wykorzystujący sztuczną inteligencję: Wznosimy się na nowe wyżyny

Wyobraź sobie asystenta, który może zarządzać złożonymi zadaniami badawczymi, interpretować sprzeczne informacje, pozyskiwać dane z całej sieci i syntetyzować je w użyteczne spostrzeżenia. W to właśnie ewoluują duże modele językowe (LLM). Deweloperzy nie ograniczają się już do odpowiadania na proste zapytania dotyczące faktów, ale reklamują je jako narzędzia zdolne do przeprowadzania “dogłębnych badań”. W świecie sztucznej inteligencji ta zdolność wydaje się mieć wiele nazw. OpenAI określa ją jako “Deep Research”, Anthropic preferuje “Extended Thinking”, dla Google Gemini jest to “Search + Pro”, a Perplexity używa zwrotów takich jak “Pro Search” i “Deep Research”.”

A FutureSearch badanie o nazwie Deep Research Bench (DRB) poddał te systemy dokładnej analizie, zapewniając najbardziej wszechstronny jak dotąd wgląd.

Ocena zdolności badawczych sztucznej inteligencji: Deep Research Bench i jego wyniki

Deep Research Bench (DRB) opracowany przez FutureSearch jest narzędziem ewaluacyjnym zaprojektowanym w celu oceny, jak dobrze agenci sztucznej inteligencji radzą sobie ze złożonymi, internetowymi zadaniami badawczymi. Pomyśl o nim jako o symulowanej arenie dla dokuczliwych problemów napotykanych przez badaczy, analityków i decydentów w prawdziwym świecie. Test porównawczy obejmuje szereg rzeczywistych zadań, takich jak “Znajdź liczbę” lub zadania wymagające “Zatwierdź twierdzenie” lub “Skompiluj zbiór danych”.”

Aby porównania były uczciwe i spójne, każdemu zadaniu towarzyszą zweryfikowane przez człowieka odpowiedzi, a także wykorzystywane jest RetroSearch, statyczne archiwum stron internetowych. Ta taktyka eliminuje nieprzewidywalny charakter danych internetowych na żywo, zapewniając równe podstawy dla różnych agentów AI.

Sercem DRB jest architektura ReAct (Reason + Act). Replikuje ona sposób działania ludzkiego badacza - rozważanie problemu, podejmowanie działań takich jak przeszukiwanie sieci, analizowanie wyników, a następnie iterowanie. Mimo że nowsze rozwiązania LLM zintegrowały tę pętlę w płynniejszy proces, konfiguracja ReAct nadal oferuje wartościową strukturę dla rozumowania AI. W przypadku zadań takich jak “Gather Evidence”, RetroSearch, używany w DRB, obejmuje do 189 000 stron internetowych, wszystkie zamrożone w czasie, aby zapewnić powtarzalność, dzięki narzędziom takim jak Serper, Dramaturgoraz ScraperAPI.

Jeśli chodzi o wydajność, o3 OpenAI przewodził stawce z wynikiem 0,51 na 1,0. Wynik ten może wydawać się niski, ale biorąc pod uwagę złożoność benchmarku, jest to znaczące osiągnięcie. Naukowcy szacują, że nawet idealny agent prawdopodobnie osiągnąłby wynik około 0,8 z powodu niejasności w definicjach zadań i punktacji.

Tuż za nimi znalazły się Claude 3.7 Sonnet firmy Anthropic i Gemini 2.5 Pro firmy Google; Claud wykazał się biegłością w myśleniu strukturalnym i elastycznym, podczas gdy Gemini przodował w zadaniach planowania krok po kroku. Co ciekawe, DeepSeek-R1 wykazał wydajność prawie odpowiadającą indeksom GPT-4 Turbo, wskazując na zmniejszającą się lukę między modelami otwartymi i zamkniętymi.

Dotychczas niepokonane przeszkody: Gdzie sztuczna inteligencja wciąż pozostaje w tyle

Pomimo ogromnego postępu, modele sztucznej inteligencji borykają się z pewnymi aspektami. Istotną kwestią jest degradacja pamięci; gdy zadania stają się dłuższe, modele mają tendencję do pomijania kluczowych szczegółów, tracenia z oczu celów i udzielania chaotycznych lub nieistotnych odpowiedzi. Inne powszechne słabości obejmują powtarzające się użycie narzędzi, nieproduktywne zapytania i wyciąganie przedwczesnych wniosków.

Nawet najbardziej wydajne modele cierpią z powodu pewnych podatności. Na przykład GPT-4 Turbo często porzuca wcześniejsze kroki z pamięci, a DeepSeek-R1 ma tendencję do generowania fałszywych, ale wiarygodnie brzmiących wniosków. Wspólną wadą wszystkich modeli jest ich częsta niezdolność do potwierdzania ustaleń lub porównywania źródeł, co ma kluczowe znaczenie w poważnych zadaniach badawczych.

W raporcie przyjrzano się również agentom “beznarzędziowym” - modelom językowym, które polegają jedynie na swoich wewnętrznych danych szkoleniowych, pozbawionych jakichkolwiek narzędzi zewnętrznych, takich jak narzędzia wyszukiwania. Co zaskakujące, w niektórych zadaniach agenci ci radzili sobie prawie tak dobrze, jak agenci korzystający z narzędzi. Odkrycie to sugeruje, że niektóre LLM mają solidne wewnętrzne priorytety i mogą skutecznie oceniać wiarygodność typowych twierdzeń. Jednak ich ograniczenia stają się oczywiste w przypadku trudniejszych zadań, w których niezbędne są aktualne, wyczerpujące informacje.

Kompleksowy raport Deep Research Bench podkreśla jedną rzecz: podczas gdy dzisiejsi agenci AI zyskują na popularności, wciąż doganiają wykwalifikowanych ludzkich badaczy, zwłaszcza w zadaniach wymagających strategicznego planowania, elastycznego myślenia i subtelnego rozumowania.

Luki te stają się szczególnie zauważalne podczas dłuższych lub bardziej złożonych sesji badawczych, podczas których agenci często tracą spójność lub zbaczają z toru. Jednak piękno DRB polega na jego zdolności do oceny nie tylko podstawowej wiedzy, ale także głębszej interakcji pamięci, rozumowania i korzystania z narzędzi. Ponieważ LLM nadal integrują się z profesjonalnymi przepływami pracy, narzędzia takie jak DRB od FutureSearch będą miały kluczowe znaczenie dla pomiaru wydajności sztucznej inteligencji w świecie rzeczywistym.

Dla tych, którzy są zafascynowani postępem w badaniach nad sztuczną inteligencją, pełne Raport Deep Research Bench to lektura obowiązkowa.