Stellen Sie sich einen Assistenten vor, der in der Lage ist, komplexe Forschungsaufgaben zu bew\u00e4ltigen, widerspr\u00fcchliche Informationen zu interpretieren, Daten aus dem gesamten Internet zu beschaffen und sie zu verwertbaren Erkenntnissen zusammenzufassen. Genau das ist es, wozu sich gro\u00dfe Sprachmodelle (LLMs) entwickelt haben. Sie sind nicht mehr nur auf die Beantwortung einfacher sachbezogener Anfragen beschr\u00e4nkt, sondern werden von den Entwicklern als Tools vermarktet, die \u201ctiefgehende Recherchen\u201d durchf\u00fchren k\u00f6nnen. Und in der Welt der k\u00fcnstlichen Intelligenz scheint diese F\u00e4higkeit viele Namen zu haben. OpenAI bezeichnet sie als \u201cDeep Research\u201d, Anthropic bevorzugt \u201cExtended Thinking\u201d, f\u00fcr Googles Gemini hei\u00dft sie \u201cSearch + Pro\u201d, und Perplexity verwendet Begriffe wie \u201cPro Search\u201d und \u201cDeep Research\u201d.\u201d<\/p>\n
A ZukunftsSuche<\/a> Studie namens Deep Research Bench (DRB)<\/a> hat diese Systeme einer gr\u00fcndlichen Pr\u00fcfung unterzogen und dabei die bisher umfassendsten Erkenntnisse gewonnen.<\/p>\n Die von FutureSearch entwickelte Deep Research Bench (DRB) ist ein Evaluierungswerkzeug, mit dem beurteilt werden kann, wie gut KI-Agenten komplexe, webbasierte Rechercheaufgaben bew\u00e4ltigen k\u00f6nnen. Man kann es sich als eine simulierte Arena f\u00fcr die schwierigen Probleme vorstellen, mit denen Forscher, Analysten und Entscheidungstr\u00e4ger in der realen Welt konfrontiert sind. Der Benchmark umfasst eine Reihe von realen Aufgaben, wie z. B. \u201cFinde eine Zahl\u201d-Probleme oder Aufgaben, die die \u201cValidierung einer Behauptung\u201d oder die \u201cZusammenstellung eines Datensatzes\u201d erfordern.\u201d<\/p>\n Um faire und konsistente Vergleiche zu erm\u00f6glichen, wird jede Aufgabe mit von Menschen gepr\u00fcften Antworten versehen und RetroSearch, ein statisches Archiv von Webseiten, verwendet. Durch diese Taktik wird die Unvorhersehbarkeit von Live-Webdaten eliminiert und eine gleichm\u00e4\u00dfige Grundlage f\u00fcr verschiedene KI-Agenten geschaffen.<\/p>\n Das Herzst\u00fcck von DRB ist die ReAct-Architektur (Reason + Act). Sie ahmt nach, wie ein menschlicher Forscher vorgeht: Er denkt \u00fcber ein Problem nach, ergreift Ma\u00dfnahmen wie eine Websuche, pr\u00fcft die Ergebnisse und iteriert dann. Obwohl neuere LLMs diese Schleife in einen reibungsloseren Prozess integriert haben, bietet der ReAct-Aufbau immer noch eine wertvolle Struktur f\u00fcr KI-Schlussfolgerungen. F\u00fcr Aufgaben wie \u201cGather Evidence\u201d umfasst die in DRB verwendete RetroSearch bis zu 189.000 Webseiten, die alle in der Zeit eingefroren sind, um die Wiederholbarkeit zu gew\u00e4hrleisten, dank Tools wie Serper<\/a>, Dramatiker<\/a>und ScraperAPI<\/a>.<\/p>\n Bei der Leistung lag OpenAIs o3 mit einer Bewertung von 0,51 von 1,0 vorn. Das mag niedrig erscheinen, ist aber angesichts der Komplexit\u00e4t des Benchmarks eine beachtliche Leistung. Die Forscher sch\u00e4tzen, dass selbst ein perfekter Agent aufgrund der inh\u00e4renten Ungenauigkeiten bei den Aufgabendefinitionen und der Bewertung wahrscheinlich bei 0,8 landen w\u00fcrde.<\/p>\n Knapp dahinter lagen Anthropics Claude 3.7 Sonnet und Googles Gemini 2.5 Pro; Claud bewies Geschicklichkeit beim strukturierten und flexiblen Denken, w\u00e4hrend Gemini bei schrittweisen Planungsaufgaben brillierte. Interessanterweise entsprach die Leistung von DeepSeek-R1 fast den GPT-4-Turbo-Indizes, was darauf hindeutet, dass sich die L\u00fccke zwischen Open- und Closed-Source-Modellen schlie\u00dft.<\/p>\n Trotz enormer Fortschritte haben die KI-Modelle mit bestimmten Aspekten zu k\u00e4mpfen. Mit zunehmender Dauer der Aufgaben neigen die Modelle dazu, wichtige Details zu \u00fcbersehen, Ziele aus den Augen zu verlieren und unzusammenh\u00e4ngende oder irrelevante Antworten zu geben. Andere h\u00e4ufige Schw\u00e4chen sind die wiederholte Verwendung von Werkzeugen, unproduktive Suchanfragen und voreilige Schlussfolgerungen.<\/p>\n Selbst die leistungsst\u00e4rksten Modelle leiden unter bestimmten Anf\u00e4lligkeiten. So l\u00e4sst GPT-4 Turbo h\u00e4ufig fr\u00fchere Schritte aus dem Speicher fallen, und DeepSeek-R1 neigt dazu, falsche, aber plausibel klingende Erkenntnisse zu generieren. Ein gemeinsamer Fehler aller Modelle ist, dass sie h\u00e4ufig nicht in der Lage sind, Ergebnisse zu best\u00e4tigen oder Querverweise zu erstellen, was bei seri\u00f6sen Forschungsaufgaben entscheidend ist.<\/p>\n In dem Bericht wurden auch \u201cwerkzeuglose\u201d Agenten untersucht, d. h. Sprachmodelle, die sich nur auf ihre internen Trainingsdaten st\u00fctzen und keine externen Hilfsmittel wie Suchwerkzeuge verwenden. \u00dcberraschenderweise schnitten diese Agenten bei einigen Aufgaben fast genauso gut ab wie toolgest\u00fctzte Agenten. Dieses Ergebnis deutet darauf hin, dass einige LLMs \u00fcber robuste interne Priorit\u00e4ten verf\u00fcgen und die Plausibilit\u00e4t allgemeiner Aussagen effizient beurteilen k\u00f6nnen. Ihre Grenzen werden jedoch bei anspruchsvolleren Aufgaben deutlich, bei denen aktuelle und umfassende Informationen unerl\u00e4sslich sind.<\/p>\n Der umfassende Deep Research Bench-Bericht unterstreicht eines: Obwohl die heutigen KI-Agenten auf dem Vormarsch sind, holen sie immer noch gegen\u00fcber qualifizierten menschlichen Forschern auf, insbesondere bei Aufgaben, die strategische Planung, flexibles Denken und subtiles Schlussfolgern erfordern.<\/p>\n Diese L\u00fccken machen sich besonders bei l\u00e4ngeren oder komplexeren Recherchesitzungen bemerkbar, bei denen die Agenten oft den Zusammenhang verlieren oder vom Weg abkommen. Die Sch\u00f6nheit des DRB liegt jedoch in seiner F\u00e4higkeit, nicht nur rudiment\u00e4res Wissen zu bewerten, sondern auch das tiefere Zusammenspiel von Ged\u00e4chtnis, Argumentation und Werkzeugnutzung. Da LLMs weiterhin in professionelle Arbeitsabl\u00e4ufe integriert werden, sind Werkzeuge wie der DRB von ZukunftsSuche<\/a> wird f\u00fcr die Messung der KI-Leistung in der Praxis entscheidend sein.<\/p>\nBewertung der KI-Forschungsf\u00e4higkeiten: Deep Research Bench und seine Ergebnisse<\/h3>\n
Die bisher un\u00fcberwundenen H\u00fcrden: Wo KI noch hinterherhinkt<\/h3>\n