Haben Sie sich schon einmal gefragt, ob die schw\u00e4rmerische Filmkritik, die Sie gerade gelesen haben, in Wirklichkeit eine mit Lob \u00fcberzogene Kritik ist? Oder ob die Antwort des Chatbots auf Ihre Frage zur Kreditkarte schon an der Grenze zur Finanzberatung liegt? Da Systeme der k\u00fcnstlichen Intelligenz (KI) immer tiefer in unser digitales \u00d6kosystem vordringen, wird die genaue Klassifizierung von Texten immer wichtiger.<\/p>\n
Textklassifikatoren \u2013 Algorithmen, die darauf programmiert sind, Textinhalte zu kategorisieren \u2013 \u00fcbernehmen zunehmend Aufgaben, die traditionell von Menschen wahrgenommen wurden. Von der Sortierung von Nachrichtenbeitr\u00e4gen bis hin zur Moderation von Kundenservice-Chats: Diese KI-Systeme erkennen die Nuancen positiver oder negativer R\u00fcckmeldungen, unterscheiden Fakten von Fiktion und pr\u00fcfen sogar, ob die Antwort eines Chatbots an risikobehaftete Ratschl\u00e4ge grenzt, wie beispielsweise medizinische oder finanzielle Empfehlungen.<\/p>\n
Sie fragen sich, wie diese Klassifikatoren zu den richtigen Ergebnissen kommen? Ein Team am \u2019Lab for Information and Decision Systems\u201c des MIT unter der Leitung des leitenden Wissenschaftlers Kalyan Veeramachaneni machte sich daran, die Antwort darauf zu finden. Es entwickelte ein innovatives Softwarepaket, das nicht nur die Wirksamkeit dieser Klassifikatoren bewertet, sondern auch deren Genauigkeit verbessert.<\/p>\n
Bisher basierte die Bewertung dieser Klassifikatoren auf der Generierung synthetischer Beispiele: geringf\u00fcgig ver\u00e4nderte Versionen von S\u00e4tzen, die bereits kategorisiert wurden. Ziel ist es, zu verstehen, ob geringf\u00fcgige \u00c4nderungen, wie beispielsweise der Austausch eines Wortes, den Klassifikator ebenfalls in die Irre f\u00fchren k\u00f6nnen. Diese werden als \u201cadversarische Beispiele\u201d bezeichnet. Veeramachaneni merkt an: \u201eEs wurden verschiedene Versuche unternommen, die Schwachstellen dieser Klassifikatoren aufzudecken. Allerdings \u00fcbersehen bestehende Strategien oft entscheidende Beispiele, die als problematisch gekennzeichnet werden m\u00fcssten.\u201c<\/p>\n
Das MIT-Team hat dieses Testverfahren verbessert, indem es gro\u00dfe Sprachmodelle (LLMs) einsetzte, um diese adversarischen Beispiele zu erstellen und zu untersuchen. Wenn zwei S\u00e4tze mit derselben Bedeutung unterschiedlich klassifiziert werden, stuft das System sie als problematisch ein. Interessanterweise kann dies in den meisten F\u00e4llen bereits durch einen einzigen Wortunterschied verursacht werden.<\/p>\n
Nach der Auswertung Tausender dieser Beispiele stellte das Team fest, dass ein winziger Bruchteil der W\u00f6rter \u2013 0,1% eines 30.000 W\u00f6rter umfassenden Wortschatzes \u2013 in bestimmten Anwendungsf\u00e4llen zu fast der H\u00e4lfte aller Fehler f\u00fchren k\u00f6nnte. Diese Erkenntnis erm\u00f6glichte es den Forschern, ihre Tests auf eine noch kleinere, aber umso einflussreichere Wortgruppe zu konzentrieren, wodurch das Verfahren \u00e4u\u00dferst effizient wurde.<\/p>\n
Bei diesem Vorhaben leistete Lei Xu, ein frisch promovierter LIDS-Doktorand, einen wesentlichen Beitrag. Xu ermittelte mithilfe fortschrittlicher Sch\u00e4tzverfahren die \u201cwirkungsvollsten\u201d W\u00f6rter, die die Entscheidung eines Klassifikators beeinflussen k\u00f6nnen. Unter Einsatz von LLMs erstellte er anschlie\u00dfend eine Hierarchie verwandter W\u00f6rter, basierend auf deren Einfluss.<\/p>\n
Diese Entdeckung f\u00fchrte zu Beitr\u00e4gen, die \u00fcber reine Tests hinausgingen. Das MIT-Team entwickelte zwei Tools auf der Grundlage adversarischer Beispiele, die darauf abzielen, Klassifikatoren widerstandsf\u00e4higer zu machen und sie gegen subtile Manipulationen zu wappnen. Sie schufen \u201eSP-Attack\u201c, das adversarische S\u00e4tze generiert, und \u201eSP-Defense\u201c, das diese nutzt, um den Klassifikator neu zu trainieren und zu st\u00e4rken.<\/p>\n
Auch wenn die falsche Einstufung einer Filmkritik harmlos erscheinen mag, sind die Folgen in anderen Bereichen weitaus gravierender. Textklassifikatoren spielen mittlerweile eine wesentliche Rolle bei der Eind\u00e4mmung der Verbreitung von Desinformation, beim Schutz sensibler medizinischer oder finanzieller Daten und sogar bei der Unterst\u00fctzung wissenschaftlicher Forschung in Bereichen wie der Arzneimittelentwicklung und der Genomik. Daher ist eine genaue Klassifizierung wichtiger denn je.<\/p>\n
Um die Robustheit eines Klassifikators gegen\u00fcber Angriffen mit einzelnen W\u00f6rtern zu messen, f\u00fchrte das MIT-Team eine neue Metrik namens \u201cp\u201d ein. Ihre Methode reduzierte die Erfolgsraten adversarischer Angriffe drastisch \u2013 selbst eine geringf\u00fcgige Verbesserung wie 2% kann einen erheblichen Welleneffekt ausl\u00f6sen, wenn sie auf Milliarden von Interaktionen hochgerechnet wird.<\/p>\n
Die Erkenntnisse des Teams wurden in der Fachzeitschrift \u201eExpert Systems\u201c ver\u00f6ffentlicht und sind \u00f6ffentlich zug\u00e4nglich. Die Open-Source-Software erm\u00f6glicht es Entwicklern und Organisationen weltweit, zuverl\u00e4ssigere und pr\u00e4zisere KI-Systeme zu entwickeln. W\u00e4hrend wir uns gemeinsam mit der KI weiterentwickeln, werden Tools wie diese unverzichtbar sein, um sicherzustellen, dass die Inhalte, die wir lesen und auf die wir reagieren, korrekt verstanden werden \u2013 nicht nur von uns, sondern auch von KI-Systemen, die zunehmend unsere digitalen Transaktionen vermitteln.<\/p>\n