Themis AI hilft künstlichen Intelligenzsystemen, ihre eigenen Grenzen zu erkennen

Die künstliche Intelligenz hat in den letzten Jahren große Fortschritte gemacht. Tools wie ChatGPT sind bemerkenswert gut darin geworden, jede Frage mit Sicherheit zu beantworten. Es gibt jedoch einen entscheidenden Haken: KI-Systeme neigen dazu, nicht zu erkennen, wenn sie falsch liegen. Sie können Antworten geben, die auf unvollständigen Daten, zweideutigen Mustern oder voreingenommenem Training beruhen, ohne dass es Anzeichen für Unsicherheit gibt. Dieses Problem wird besonders wichtig, wenn KI in wichtigen Bereichen wie Gesundheitswesen, Verkehr und Wissenschaft eingesetzt wird.

Eintritt in Themis AI: Sicherstellung der Zuverlässigkeit von KI-Modellen

Ein Forscherteam des MIT hat sich dieser Herausforderung gestellt und Themis AI gegründet, ein Startup, das die Zuverlässigkeit von KI verbessern soll, indem es den Modellen selbst die Erkennung ihrer eigenen Unsicherheit erleichtert. Ihr führendes Produkt, Capsa, ist so konzipiert, dass es in jedes maschinelle Lernmodell integriert werden kann, um unzuverlässige Ergebnisse zu erkennen, sobald sie auftreten. Durch die Erkennung von Anzeichen von Mehrdeutigkeit, Voreingenommenheit oder unvollständiger Argumentation ermöglicht Capsa KI-Systemen, sich selbst zu überwachen und zweifelhafte Ergebnisse hervorzuheben, bevor sie zu Schaden führen.

Capsa ist so konzipiert, dass es wie eine Sicherheitsdecke für ein Modell funktioniert - es wird eingewickelt, seine Unsicherheiten und Fehlermöglichkeiten werden identifiziert und dann verbessert, erklärt Daniela Rus, Mitbegründerin von Themis AI und Professorin am MIT. Ausgestattet mit dieser Fähigkeit zur Selbstkontrolle können KI-Systeme zuverlässiger, weniger fehleranfällig und sicherer für ihre Nutzer werden.

Rus gründete Themis AI im Jahr 2021 zusammen mit Alexander Amini und Elaheh Ahmadi. Seit der Gründung des Unternehmens haben sie mit Telekommunikationsanbietern zusammengearbeitet, Öl- und Gasfirmen geholfen, seismische Bilder zu verstehen, und zur Forschung über den Aufbau vertrauenswürdigerer Chatbots beigetragen - was die Vielseitigkeit und Wirkung ihres innovativen Ansatzes unter Beweis stellt.

Die Auswirkungen in der realen Welt

Heute arbeitet Themis AI mit Unternehmen aus verschiedenen Branchen zusammen, insbesondere mit solchen, die große Sprachmodelle (LLMs) wie ChatGPT entwickeln. Capsa hilft diesen Modellen dabei, ihre Konfidenzniveaus für jede Ausgabe anzugeben, wodurch sie bei der Beantwortung von Fragen oder der Zusammenfassung von Dokumenten zuverlässiger werden. Die Entwicklung von Capsa hat nicht nur den Bereich der KI-Anwendungen erweitert, sondern auch dazu beigetragen, diese Systeme transparenter zu machen und das Risiko potenziell katastrophaler Fehler zu minimieren, da die KI-Technologie immer häufiger eingesetzt wird.

Mit Blick auf die Zukunft sieht Themis AI Potenzial in einer Technik, die als "chain-of-thought reasoning" bezeichnet wird. Durch die Identifizierung der zuverlässigsten Denkpfade könnte Capsa KI-Antworten präziser und rechnerisch effizienter machen. Diese ehrgeizige, zukunftsorientierte Mentalität geht Hand in Hand mit der umfassenderen Vision von Themis AI - technische Lösungen zu entwickeln, die die Herausforderungen der KI angehen, das Vertrauen und das Verständnis zwischen Menschen und Technologie fördern und die KI-Forschung für die Welt relevant machen.

Die Sicherstellung, dass KI-Technologie korrekt funktioniert, Fehler minimiert und für die Nutzer sicher ist, ist nicht nur ein klinisches Ziel, sondern stellt einen erheblichen gesellschaftlichen Nutzen dar und hat das Potenzial, Branchen und Leben zu verändern. Für Rus und ihr engagiertes Team ist Themis AI nicht nur ein Start-up. Es ist ein Weg, um sicherzustellen, dass ihre unermüdliche Arbeit im Labor greifbare, positive Auswirkungen auf die Gesellschaft hat. Mit Capsa und Themis AI sieht unsere digitale Zukunft viel sicherer aus.

Ursprünglich berichtet auf MIT News. Lesen Sie den Originalartikel.