Warum große Sprachmodelle Anweisungen überspringen und wie das Problem gelöst werden kann

Große Sprachmodelle (Large Language Models, LLMs) haben in den letzten Jahren das Rampenlicht der KI erobert. Sie sind allgegenwärtig und helfen Menschen beim Schreiben, Programmieren, Forschen und sogar bei der Durchführung von Support-Chats. Doch trotz all ihres Talents sind selbst die fortschrittlichsten Modelle wie GPT-4 und Claude-3 nicht fehlerfrei. Wenn Sie jemals eine große, komplizierte Eingabeaufforderung eingegeben haben und das Gefühl hatten, dass sich ein Teil Ihrer Anfrage in Luft auflöst, sind Sie nicht allein. Manchmal stolpern diese KI-Assistenten, wenn sie mehrstufige oder komplexe Anweisungen befolgen, und lassen Sie mit Antworten zurück, die unvollständig sind oder ein wenig daneben liegen.

Warum überspringen diese Modelle Teile Ihrer Anweisungen?

Im Kern verarbeiten LLMs alles, was Sie schreiben, indem sie es in winzige Teile, so genannte Token, zerlegen und dann ein Token nach dem anderen beantworten. Aufgrund dieser sequentiellen Logik wird das, was Sie an den Anfang Ihrer Eingabeaufforderung stellen, oft mehr beachtet als das, was danach kommt. Wenn Sie immer mehr Anweisungen geben, kann es passieren, dass die Details am Ende durcheinander geraten, missverstanden oder ganz übersprungen werden.

Es gibt auch noch andere Faktoren. Der Aufmerksamkeitsmechanismus - im Wesentlichen die Art und Weise, wie das Modell entscheidet, worauf es sich konzentrieren soll - funktioniert hervorragend bei kurzen und klaren Anweisungen. Aber je länger und verworrener die Anweisungen werden, desto mehr schwindet die Aufmerksamkeit. Diese “Informationsverwässerung” bedeutet, dass es dem Modell schwerer fällt, jede Ihrer Anfragen zu verfolgen. Außerdem werden diese KIs in der Regel auf einfache, einstufige Fragen trainiert, so dass sie ein Händchen für diese entwickeln und mit Aufgaben, die vielschichtiger oder detaillierter sind, Schwierigkeiten haben können.

Und dann ist da noch die nackte Realität der Token-Grenzen. Jedes Modell hat eine Obergrenze - geben Sie ihm eine Aufforderung, die zu lang ist, und alles, was über diese Grenze hinausgeht, wird einfach nicht berücksichtigt. Das Modell kann nicht “sehen”, was außerhalb seiner Reichweite liegt, also könnten diese Anweisungen genauso gut nicht existieren.

Wie Sie bessere und vollständigere Antworten erhalten

Hier die gute Nachricht: LLMs haben zwar diese Unzulänglichkeiten, aber es gibt praktische Abhilfen. Beginnen Sie damit, große, komplexe Aufforderungen in kleinere, klarere Schritte aufzuteilen. Die Verwendung von Aufzählungspunkten oder Nummerierungen hilft dem Modell, jeden Punkt einzeln zu behandeln, anstatt die Anfragen in Absätzen zu vergraben.

Seien Sie direkt und eindeutig. Wenn Sie möchten, dass die KI jeden Schritt ausführt, sagen Sie es - lassen Sie keinen Raum für Unklarheiten. Und wenn das Modell eine sehr präzise Antwort geben muss, ist es manchmal am besten, die Aufgabe auf mehrere Aufforderungen aufzuteilen und einen Teil nach dem anderen zu bearbeiten.

Wenn Sie die Dinge effizient angehen wollen, gibt es fortgeschrittene Ansätze wie “Chain-of-Thought”-Eingabeaufforderungen, die das Modell ermutigen, Probleme Schritt für Schritt zu durchdenken. Sie können auch Anfragen stapeln, konsistente Bezeichnungen verwenden und die Formatierung kristallklar halten, damit die KI jede Anweisung ohne Verwirrung verarbeiten kann.

Verschiedene Modelle haben ihre eigenen Macken - was bei dem einen funktioniert, kann bei einem anderen scheitern. Versuchen Sie, Ihre Prompts an mehreren Modellen auszuprobieren, Dinge wie Format und Länge zu ändern oder sogar das Modell fein abzustimmen (wenn Sie technisch versiert sind). In manchen Fällen kann die Einbindung externer Tools oder Dienste in Ihren Workflow Ihren Ergebnissen die gewünschte zusätzliche Genauigkeit verleihen.

Ja, das Überspringen von Anweisungen ist eine Eigenart von LLMs, die frustrierend sein kann. Aber wenn man weiß, wie diese Systeme funktionieren, und bereit ist, ein wenig zu experimentieren, kann man sie fast immer dazu bringen, bessere und vollständigere Ergebnisse zu liefern, ganz gleich, ob man einen Blogbeitrag verfasst, Daten auswertet oder seine nächste App entwickelt.

Wenn Sie tiefer eintauchen wollen, warum sich LLMs so verhalten und was Sie sonst noch tun können, lesen Sie den Originalartikel hier.