In der Welt der künstlichen Intelligenz haben sich große Sprachmodelle (LLMs) wie ChatGPT und Claude aus einfachen Antwort-Generatoren entwickelt. Ihre Kapazitäten haben sich erweitert und umfassen nun auch die Darstellung komplexer Ideen - Töne, Persönlichkeiten, Vorurteile und sogar Stimmungen. Dennoch bleibt die Frage: Wie stellen diese fortgeschrittenen Modelle solch abstrakte Konzepte dar? Dieses Geheimnis muss noch vollständig gelüftet werden.
Um den Weg für neue Erkenntnisse zu ebnen, hat ein Pionierteam des MIT und der University of California San Diego einen innovativen Ansatz entwickelt. Ihr Tool prüft, ob in einem LLM versteckte Vorurteile, Persönlichkeitsmerkmale oder Stimmungen vorhanden sind und ob diese Modelle verborgene Facetten abstrakter Konzepte besitzen. Das Tool birgt das Potenzial, Verbindungen innerhalb eines Modells zu entschlüsseln, die bestimmte Konzepte kodieren. Noch faszinierender ist, dass es diese Verbindungen manipulieren kann – ein Vorgang, der als “Steering” bezeichnet wird –, wodurch das jeweilige Konzept in der Antwort des Modells verstärkt oder abgeschwächt werden kann.
Die Forscher stellten ihre Methode auf die Probe, indem sie über 500 allgemeine Konzepte in einigen der derzeit größten LLMs erfolgreich identifizierten und steuerten. Diese Darstellungen konnten dann in beliebigen generierten Antworten beliebig verstärkt oder abgeschwächt werden. Stellen Sie sich vor, Sie könnten die Persönlichkeit eines Modells als “Social-Media-Influencer” oder sogar als “Verschwörungstheoretiker” isolieren und diese Facetten dann in jeder beliebigen KI-Interaktion anpassen!
Zur Veranschaulichung der realen Anwendung war das Team in der Lage, eine Darstellung des Konzepts “Verschwörungstheoretiker” innerhalb eines großen Bildsprachmodells zu identifizieren. Durch die Verbesserung dieser Darstellung reagierte das Modell mit dem Ton und der Perspektive eines Verschwörungstheoretikers in Bezug auf den Ursprung des berühmten “Blue Marble”-Bildes der Erde, das von Apollo 17 aufgenommen wurde.
Diese Methode und ihr Missbrauchspotenzial sind dem wissenschaftlichen Team nicht entgangen. Sie warnen vor einer falschen Anwendung ihrer Arbeit, erkennen aber auch deren Vorteile an. Indem sie verborgene Konzepte und potenzielle Schwachstellen aufdecken, können sie die Sicherheit und Leistung der Modelle verbessern.
Der Assistenzprofessor für Mathematik am MIT, Adityanarayanan “Adit” Radhakrishnan, erklärt, dass diese Modelle zwar von Natur aus diese Konzepte enthalten, diese jedoch nicht immer aktiv zum Vorschein kommen. “[Unsere] Methode bietet Möglichkeiten, diese verschiedenen Konzepte zu extrahieren und sie auf eine Weise zu aktivieren, auf die man durch einfache Eingabeaufforderungen keine Antworten erhält”, erklärt er.
Da KI-Assistenten wie ChatGPT von OpenAI, Gemini von Google und Claude von Anthropic auf dem Vormarsch sind, versuchen Wissenschaftler zu verstehen, wie diese Modelle abstrakte Konzepte interpretieren. Radhakrishnan vergleicht die bisherigen Methoden zur Aufdeckung solcher Konzepte mit dem Fischen mit einem großen Netz, bei dem oft zu viele ungezielte Typen gefangen werden.
Im Vergleich dazu ist ihr Ansatz wesentlich präziser und konzentriert sich auf Typen oder “Arten”, die im Bereich der KI von Interesse sind. Diese zielgerichtete Methode identifiziert und “lenkt” jedes relevante Konzept innerhalb eines LLM auf der Grundlage spezifischer Abfragen.
Sie entwickelten ihre Methode weiter, indem sie rekursive Feature-Maschinen (RFMs) darauf trainierten, numerische Muster in einem LLM zu erkennen, das bestimmte Konzepte repräsentiert. Diese Methodik erwies sich als vielseitig und in der Lage, jedes beliebige Konzept innerhalb eines LLM zu suchen und zu manipulieren. Sie konnten ein LLM so anpassen, dass es in einem bestimmten Tonfall oder aus einer bestimmten Perspektive antwortete, oder sogar das Konzept der “Anti-Ablehnung” verstärken, sodass das Modell auch Anfragen beantwortete, die es normalerweise abgelehnt hätte!
Radhakrishnan geht davon aus, dass sich mit diesem Ansatz Schwachstellen in LLMs schnell identifizieren und minimieren lassen. Über die Möglichkeit hinaus, KI-Antworten individuell anzupassen, hat das Team den zugrunde liegenden Code öffentlich zugänglich gemacht. Radhakrishnan fasste es so zusammen: “[Es gibt Möglichkeiten, wie] wir hochspezialisierte LLMs entwickeln können, die nach wie vor sicher in der Anwendung sind, aber bei bestimmten Aufgaben wirklich effektiv sind.” Das gesamte Forschungsprojekt wurde durch die Unterstützung der National Science Foundation, der Simons Foundation, des TILOS-Instituts und des US-amerikanischen Office of Naval Research ermöglicht.
Weitere spannende Details finden Sie in der Originalartikel.
Diese Website verwendet Cookies.