Haben Sie sich schon einmal gefragt, ob die schwärmerische Filmkritik, die Sie gerade gelesen haben, in Wirklichkeit eine mit Lob überzogene Kritik ist? Oder ob die Antwort des Chatbots auf Ihre Frage zur Kreditkarte schon an der Grenze zur Finanzberatung liegt? Da Systeme der künstlichen Intelligenz (KI) immer tiefer in unser digitales Ökosystem vordringen, wird die genaue Klassifizierung von Texten immer wichtiger.
Textklassifikatoren – Algorithmen, die darauf programmiert sind, Textinhalte zu kategorisieren – übernehmen zunehmend Aufgaben, die traditionell von Menschen wahrgenommen wurden. Von der Sortierung von Nachrichtenbeiträgen bis hin zur Moderation von Kundenservice-Chats: Diese KI-Systeme erkennen die Nuancen positiver oder negativer Rückmeldungen, unterscheiden Fakten von Fiktion und prüfen sogar, ob die Antwort eines Chatbots an risikobehaftete Ratschläge grenzt, wie beispielsweise medizinische oder finanzielle Empfehlungen.
Sie fragen sich, wie diese Klassifikatoren zu den richtigen Ergebnissen kommen? Ein Team am ’Lab for Information and Decision Systems“ des MIT unter der Leitung des leitenden Wissenschaftlers Kalyan Veeramachaneni machte sich daran, die Antwort darauf zu finden. Es entwickelte ein innovatives Softwarepaket, das nicht nur die Wirksamkeit dieser Klassifikatoren bewertet, sondern auch deren Genauigkeit verbessert.
Bisher basierte die Bewertung dieser Klassifikatoren auf der Generierung synthetischer Beispiele: geringfügig veränderte Versionen von Sätzen, die bereits kategorisiert wurden. Ziel ist es, zu verstehen, ob geringfügige Änderungen, wie beispielsweise der Austausch eines Wortes, den Klassifikator ebenfalls in die Irre führen können. Diese werden als “adversarische Beispiele” bezeichnet. Veeramachaneni merkt an: „Es wurden verschiedene Versuche unternommen, die Schwachstellen dieser Klassifikatoren aufzudecken. Allerdings übersehen bestehende Strategien oft entscheidende Beispiele, die als problematisch gekennzeichnet werden müssten.“
Das MIT-Team hat dieses Testverfahren verbessert, indem es große Sprachmodelle (LLMs) einsetzte, um diese adversarischen Beispiele zu erstellen und zu untersuchen. Wenn zwei Sätze mit derselben Bedeutung unterschiedlich klassifiziert werden, stuft das System sie als problematisch ein. Interessanterweise kann dies in den meisten Fällen bereits durch einen einzigen Wortunterschied verursacht werden.
Nach der Auswertung Tausender dieser Beispiele stellte das Team fest, dass ein winziger Bruchteil der Wörter – 0,1% eines 30.000 Wörter umfassenden Wortschatzes – in bestimmten Anwendungsfällen zu fast der Hälfte aller Fehler führen könnte. Diese Erkenntnis ermöglichte es den Forschern, ihre Tests auf eine noch kleinere, aber einflussreichere Wortgruppe zu konzentrieren, wodurch das Verfahren äußerst effizient wurde.
Bei diesem Vorhaben leistete Lei Xu, ein frisch promovierter LIDS-Doktorand, einen wesentlichen Beitrag. Xu identifizierte mithilfe fortschrittlicher Schätzverfahren die “wirkungsvollsten” Wörter, die das Urteil eines Klassifikators beeinflussen können. Unter Einsatz von LLMs erstellte er anschließend eine Hierarchie verwandter Wörter, basierend auf deren Einfluss.
Diese Entdeckung führte zu Beiträgen, die über reine Tests hinausgingen. Das MIT-Team entwickelte zwei Tools auf der Grundlage adversarischer Beispiele, die darauf abzielen, Klassifikatoren widerstandsfähiger zu machen und sie gegen subtile Manipulationen zu wappnen. Sie schufen „SP-Attack“, das adversarische Sätze generiert, und „SP-Defense“, das diese nutzt, um den Klassifikator neu zu trainieren und zu stärken.
Auch wenn die falsche Einstufung einer Filmkritik harmlos erscheinen mag, sind die Folgen in anderen Bereichen weitaus gravierender. Textklassifikatoren spielen mittlerweile eine wesentliche Rolle bei der Eindämmung der Verbreitung von Desinformation, beim Schutz sensibler medizinischer oder finanzieller Daten und sogar bei der Unterstützung wissenschaftlicher Forschung in Bereichen wie der Arzneimittelentwicklung und der Genomik. Daher ist eine genaue Klassifizierung wichtiger denn je.
Um die Robustheit eines Klassifikators gegenüber Angriffen mit einzelnen Wörtern zu messen, führte das MIT-Team eine neue Metrik namens “p” ein. Ihre Methode reduzierte die Erfolgsraten adversarischer Angriffe drastisch – selbst eine geringfügige Verbesserung wie 2% kann einen erheblichen Welleneffekt auslösen, wenn sie auf Milliarden von Interaktionen hochgerechnet wird.
Die Erkenntnisse des Teams wurden in der Fachzeitschrift „Expert Systems“ veröffentlicht und sind öffentlich zugänglich. Die Open-Source-Software ermöglicht es Entwicklern und Organisationen weltweit, zuverlässigere und präzisere KI-Systeme zu entwickeln. Während wir uns gemeinsam mit der KI weiterentwickeln, werden solche Tools unverzichtbar sein, um sicherzustellen, dass die Inhalte, die wir lesen und auf die wir reagieren, korrekt verstanden werden – nicht nur von uns, sondern auch von KI-Systemen, die zunehmend unsere digitalen Transaktionen vermitteln.
Wenn Sie sich näher mit dem Thema befassen möchten, können Sie den Originalartikel von MIT News lesen: MIT News – Eine neue Methode, um zu testen, wie gut KI-Systeme Texte klassifizieren
Diese Website verwendet Cookies.