Wyobra\u017a sobie asystenta, kt\u00f3ry mo\u017ce zarz\u0105dza\u0107 z\u0142o\u017conymi zadaniami badawczymi, interpretowa\u0107 sprzeczne informacje, pozyskiwa\u0107 dane z ca\u0142ej sieci i syntetyzowa\u0107 je w u\u017cyteczne spostrze\u017cenia. W to w\u0142a\u015bnie ewoluuj\u0105 du\u017ce modele j\u0119zykowe (LLM). Deweloperzy nie ograniczaj\u0105 si\u0119 ju\u017c do odpowiadania na proste zapytania dotycz\u0105ce fakt\u00f3w, ale reklamuj\u0105 je jako narz\u0119dzia zdolne do przeprowadzania \u201cdog\u0142\u0119bnych bada\u0144\u201d. W \u015bwiecie sztucznej inteligencji ta zdolno\u015b\u0107 wydaje si\u0119 mie\u0107 wiele nazw. OpenAI okre\u015bla j\u0105 jako \u201cDeep Research\u201d, Anthropic preferuje \u201cExtended Thinking\u201d, dla Google Gemini jest to \u201cSearch + Pro\u201d, a Perplexity u\u017cywa zwrot\u00f3w takich jak \u201cPro Search\u201d i \u201cDeep Research\u201d.\u201d<\/p>\n
A FutureSearch<\/a> badanie o nazwie Deep Research Bench (DRB)<\/a> podda\u0142 te systemy dok\u0142adnej analizie, zapewniaj\u0105c najbardziej wszechstronny jak dot\u0105d wgl\u0105d.<\/p>\n Deep Research Bench (DRB) opracowany przez FutureSearch jest narz\u0119dziem ewaluacyjnym zaprojektowanym w celu oceny, jak dobrze agenci sztucznej inteligencji radz\u0105 sobie ze z\u0142o\u017conymi, internetowymi zadaniami badawczymi. Pomy\u015bl o nim jako o symulowanej arenie dla dokuczliwych problem\u00f3w napotykanych przez badaczy, analityk\u00f3w i decydent\u00f3w w prawdziwym \u015bwiecie. Test por\u00f3wnawczy obejmuje szereg rzeczywistych zada\u0144, takich jak \u201cZnajd\u017a liczb\u0119\u201d lub zadania wymagaj\u0105ce \u201cZatwierd\u017a twierdzenie\u201d lub \u201cSkompiluj zbi\u00f3r danych\u201d.\u201d<\/p>\n Aby por\u00f3wnania by\u0142y uczciwe i sp\u00f3jne, ka\u017cdemu zadaniu towarzysz\u0105 zweryfikowane przez cz\u0142owieka odpowiedzi, a tak\u017ce wykorzystywane jest RetroSearch, statyczne archiwum stron internetowych. Ta taktyka eliminuje nieprzewidywalny charakter danych internetowych na \u017cywo, zapewniaj\u0105c r\u00f3wne podstawy dla r\u00f3\u017cnych agent\u00f3w AI.<\/p>\n Sercem DRB jest architektura ReAct (Reason + Act). Replikuje ona spos\u00f3b dzia\u0142ania ludzkiego badacza - rozwa\u017canie problemu, podejmowanie dzia\u0142a\u0144 takich jak przeszukiwanie sieci, analizowanie wynik\u00f3w, a nast\u0119pnie iterowanie. Mimo \u017ce nowsze rozwi\u0105zania LLM zintegrowa\u0142y t\u0119 p\u0119tl\u0119 w p\u0142ynniejszy proces, konfiguracja ReAct nadal oferuje warto\u015bciow\u0105 struktur\u0119 dla rozumowania AI. W przypadku zada\u0144 takich jak \u201cGather Evidence\u201d, RetroSearch, u\u017cywany w DRB, obejmuje do 189 000 stron internetowych, wszystkie zamro\u017cone w czasie, aby zapewni\u0107 powtarzalno\u015b\u0107, dzi\u0119ki narz\u0119dziom takim jak Serper<\/a>, Dramaturg<\/a>oraz ScraperAPI<\/a>.<\/p>\n Je\u015bli chodzi o wydajno\u015b\u0107, o3 OpenAI przewodzi\u0142 stawce z wynikiem 0,51 na 1,0. Wynik ten mo\u017ce wydawa\u0107 si\u0119 niski, ale bior\u0105c pod uwag\u0119 z\u0142o\u017cono\u015b\u0107 benchmarku, jest to znacz\u0105ce osi\u0105gni\u0119cie. Naukowcy szacuj\u0105, \u017ce nawet idealny agent prawdopodobnie osi\u0105gn\u0105\u0142by wynik oko\u0142o 0,8 z powodu niejasno\u015bci w definicjach zada\u0144 i punktacji.<\/p>\n Tu\u017c za nimi znalaz\u0142y si\u0119 Claude 3.7 Sonnet firmy Anthropic i Gemini 2.5 Pro firmy Google; Claud wykaza\u0142 si\u0119 bieg\u0142o\u015bci\u0105 w my\u015bleniu strukturalnym i elastycznym, podczas gdy Gemini przodowa\u0142 w zadaniach planowania krok po kroku. Co ciekawe, DeepSeek-R1 wykaza\u0142 wydajno\u015b\u0107 prawie odpowiadaj\u0105c\u0105 indeksom GPT-4 Turbo, wskazuj\u0105c na zmniejszaj\u0105c\u0105 si\u0119 luk\u0119 mi\u0119dzy modelami otwartymi i zamkni\u0119tymi.<\/p>\n Pomimo ogromnego post\u0119pu, modele sztucznej inteligencji borykaj\u0105 si\u0119 z pewnymi aspektami. Istotn\u0105 kwesti\u0105 jest degradacja pami\u0119ci; gdy zadania staj\u0105 si\u0119 d\u0142u\u017csze, modele maj\u0105 tendencj\u0119 do pomijania kluczowych szczeg\u00f3\u0142\u00f3w, tracenia z oczu cel\u00f3w i udzielania chaotycznych lub nieistotnych odpowiedzi. Inne powszechne s\u0142abo\u015bci obejmuj\u0105 powtarzaj\u0105ce si\u0119 u\u017cycie narz\u0119dzi, nieproduktywne zapytania i wyci\u0105ganie przedwczesnych wniosk\u00f3w.<\/p>\n Nawet najbardziej wydajne modele cierpi\u0105 z powodu pewnych podatno\u015bci. Na przyk\u0142ad GPT-4 Turbo cz\u0119sto porzuca wcze\u015bniejsze kroki z pami\u0119ci, a DeepSeek-R1 ma tendencj\u0119 do generowania fa\u0142szywych, ale wiarygodnie brzmi\u0105cych wniosk\u00f3w. Wsp\u00f3ln\u0105 wad\u0105 wszystkich modeli jest ich cz\u0119sta niezdolno\u015b\u0107 do potwierdzania ustale\u0144 lub por\u00f3wnywania \u017ar\u00f3de\u0142, co ma kluczowe znaczenie w powa\u017cnych zadaniach badawczych.<\/p>\n W raporcie przyjrzano si\u0119 r\u00f3wnie\u017c agentom \u201cbeznarz\u0119dziowym\u201d - modelom j\u0119zykowym, kt\u00f3re polegaj\u0105 jedynie na swoich wewn\u0119trznych danych szkoleniowych, pozbawionych jakichkolwiek narz\u0119dzi zewn\u0119trznych, takich jak narz\u0119dzia wyszukiwania. Co zaskakuj\u0105ce, w niekt\u00f3rych zadaniach agenci ci radzili sobie prawie tak dobrze, jak agenci korzystaj\u0105cy z narz\u0119dzi. Odkrycie to sugeruje, \u017ce niekt\u00f3re LLM maj\u0105 solidne wewn\u0119trzne priorytety i mog\u0105 skutecznie ocenia\u0107 wiarygodno\u015b\u0107 typowych twierdze\u0144. Jednak ich ograniczenia staj\u0105 si\u0119 oczywiste w przypadku trudniejszych zada\u0144, w kt\u00f3rych niezb\u0119dne s\u0105 aktualne, wyczerpuj\u0105ce informacje.<\/p>\n Kompleksowy raport Deep Research Bench podkre\u015bla jedn\u0105 rzecz: podczas gdy dzisiejsi agenci AI zyskuj\u0105 na popularno\u015bci, wci\u0105\u017c doganiaj\u0105 wykwalifikowanych ludzkich badaczy, zw\u0142aszcza w zadaniach wymagaj\u0105cych strategicznego planowania, elastycznego my\u015blenia i subtelnego rozumowania.<\/p>\n Luki te staj\u0105 si\u0119 szczeg\u00f3lnie zauwa\u017calne podczas d\u0142u\u017cszych lub bardziej z\u0142o\u017conych sesji badawczych, podczas kt\u00f3rych agenci cz\u0119sto trac\u0105 sp\u00f3jno\u015b\u0107 lub zbaczaj\u0105 z toru. Jednak pi\u0119kno DRB polega na jego zdolno\u015bci do oceny nie tylko podstawowej wiedzy, ale tak\u017ce g\u0142\u0119bszej interakcji pami\u0119ci, rozumowania i korzystania z narz\u0119dzi. Poniewa\u017c LLM nadal integruj\u0105 si\u0119 z profesjonalnymi przep\u0142ywami pracy, narz\u0119dzia takie jak DRB od FutureSearch<\/a> b\u0119d\u0105 mia\u0142y kluczowe znaczenie dla pomiaru wydajno\u015bci sztucznej inteligencji w \u015bwiecie rzeczywistym.<\/p>\nOcena zdolno\u015bci badawczych sztucznej inteligencji: Deep Research Bench i jego wyniki<\/h3>\n
Dotychczas niepokonane przeszkody: Gdzie sztuczna inteligencja wci\u0105\u017c pozostaje w tyle<\/h3>\n