Stellen Sie sich einen Assistenten vor, der komplexe Rechercheaufgaben bewältigen, widersprüchliche Informationen auswerten, Daten aus dem gesamten Internet beschaffen und diese zu umsetzbaren Erkenntnissen zusammenfassen kann. Genau zu diesem Zweck haben sich große Sprachmodelle (LLMs) weiterentwickelt. Sie beschränken sich nicht mehr darauf, einfache Sachfragen zu beantworten, sondern werden von den Entwicklern als Werkzeuge vermarktet, die sich für “tiefgehende Recherchen” eignen. Und in der Welt der KI scheint diese Fähigkeit viele Namen zu haben. OpenAI bezeichnet sie als “Deep Research”, Anthropic bevorzugt “Extended Thinking”, bei Googles Gemini heißt es “Search + Pro”, und Perplexity verwendet Begriffe wie “Pro Search” und “Deep Research”.”
A ZukunftsSuche Studie namens Deep Research Bench (DRB) hat diese Systeme einer gründlichen Prüfung unterzogen und dabei die bisher umfassendsten Erkenntnisse gewonnen.
Der von FutureSearch entwickelte “Deep Research Bench” (DRB) ist ein Bewertungsinstrument, mit dem sich beurteilen lässt, wie gut KI-Agenten komplexe, webbasierte Rechercheaufgaben bewältigen können. Man kann es sich als simulierte Arena für die kniffligen Probleme vorstellen, mit denen Forscher, Analysten und Entscheidungsträger in der realen Welt konfrontiert sind. Der Benchmark umfasst eine Reihe praxisnaher Aufgaben, wie beispielsweise “Find Number”-Probleme oder Aufgaben, bei denen eine “Validate Claim” oder „Compile Dataset“ erforderlich ist.”
Um faire und konsistente Vergleiche zu ermöglichen, wird jede Aufgabe mit von Menschen geprüften Antworten versehen und RetroSearch, ein statisches Archiv von Webseiten, verwendet. Durch diese Taktik wird die Unvorhersehbarkeit von Live-Webdaten eliminiert und eine gleichmäßige Grundlage für verschiedene KI-Agenten geschaffen.
Das Herzstück von DRB ist die ReAct-Architektur (Reason + Act). Sie ahmt nach, wie ein menschlicher Forscher vorgeht: Er denkt über ein Problem nach, ergreift Maßnahmen wie eine Websuche, prüft die Ergebnisse und iteriert dann. Obwohl neuere LLMs diese Schleife in einen reibungsloseren Prozess integriert haben, bietet der ReAct-Aufbau immer noch eine wertvolle Struktur für KI-Schlussfolgerungen. Für Aufgaben wie “Gather Evidence” umfasst die in DRB verwendete RetroSearch bis zu 189.000 Webseiten, die alle in der Zeit eingefroren sind, um die Wiederholbarkeit zu gewährleisten, dank Tools wie Serper, Dramatikerund ScraperAPI.
Was die Leistung angeht, lag „o3“ von OpenAI mit einer Punktzahl von 0,51 von 1,0 an der Spitze. Das mag gering erscheinen, ist aber angesichts der Komplexität des Benchmarks eine beachtliche Leistung. Die Forscher schätzen, dass selbst ein perfekter Agent aufgrund der inhärenten Unschärfe bei den Aufgabenbeschreibungen und der Bewertung wahrscheinlich nicht über 0,8 hinauskommen würde.
Knapp dahinter lagen Anthropics Claude 3.7 Sonnet und Googles Gemini 2.5 Pro; Claud bewies Geschicklichkeit beim strukturierten und flexiblen Denken, während Gemini bei schrittweisen Planungsaufgaben brillierte. Interessanterweise entsprach die Leistung von DeepSeek-R1 fast den GPT-4-Turbo-Indizes, was darauf hindeutet, dass sich die Lücke zwischen Open- und Closed-Source-Modellen schließt.
Trotz enormer Fortschritte haben die KI-Modelle mit bestimmten Aspekten zu kämpfen. Mit zunehmender Dauer der Aufgaben neigen die Modelle dazu, wichtige Details zu übersehen, Ziele aus den Augen zu verlieren und unzusammenhängende oder irrelevante Antworten zu geben. Andere häufige Schwächen sind die wiederholte Verwendung von Werkzeugen, unproduktive Suchanfragen und voreilige Schlussfolgerungen.
Selbst die leistungsstärksten Modelle leiden unter bestimmten Anfälligkeiten. So lässt GPT-4 Turbo häufig frühere Schritte aus dem Speicher fallen, und DeepSeek-R1 neigt dazu, falsche, aber plausibel klingende Erkenntnisse zu generieren. Ein gemeinsamer Fehler aller Modelle ist, dass sie häufig nicht in der Lage sind, Ergebnisse zu bestätigen oder Querverweise zu erstellen, was bei seriösen Forschungsaufgaben entscheidend ist.
In dem Bericht wurden auch “werkzeuglose” Agenten untersucht, d. h. Sprachmodelle, die sich nur auf ihre internen Trainingsdaten stützen und keine externen Hilfsmittel wie Suchwerkzeuge verwenden. Überraschenderweise schnitten diese Agenten bei einigen Aufgaben fast genauso gut ab wie toolgestützte Agenten. Dieses Ergebnis deutet darauf hin, dass einige LLMs über robuste interne Prioritäten verfügen und die Plausibilität allgemeiner Aussagen effizient beurteilen können. Ihre Grenzen werden jedoch bei anspruchsvolleren Aufgaben deutlich, bei denen aktuelle und umfassende Informationen unerlässlich sind.
Der umfassende Deep Research Bench-Bericht unterstreicht eines: Obwohl die heutigen KI-Agenten auf dem Vormarsch sind, holen sie immer noch gegenüber qualifizierten menschlichen Forschern auf, insbesondere bei Aufgaben, die strategische Planung, flexibles Denken und subtiles Schlussfolgern erfordern.
Diese Lücken machen sich besonders bei längeren oder komplexeren Recherchesitzungen bemerkbar, bei denen die Agenten oft den Zusammenhang verlieren oder vom Weg abkommen. Die Schönheit des DRB liegt jedoch in seiner Fähigkeit, nicht nur rudimentäres Wissen zu bewerten, sondern auch das tiefere Zusammenspiel von Gedächtnis, Argumentation und Werkzeugnutzung. Da LLMs weiterhin in professionelle Arbeitsabläufe integriert werden, sind Werkzeuge wie der DRB von ZukunftsSuche wird für die Messung der KI-Leistung in der Praxis entscheidend sein.
Für diejenigen, die von den Fortschritten in der KI-Forschung fasziniert sind, ist die vollständige Deep Research Bench Report ist eine absolute Pflichtlektüre.
Diese Website verwendet Cookies.