Artificial intelligence has seen great strides in recent years. Tools like ChatGPT have become remarkably good at answering any question with confidence. However, there is a crucial hitch—AI systems tend not to realize when they’re wrong. They can produce answers based on incomplete data, ambiguous patterns, or biased training without any indicators of uncertainty. This issue becomes particularly consequential as AI is leveraged in crucial areas like health care, transport, and scientific study.
Ein Forscherteam des MIT hat sich dieser Herausforderung gestellt und Themis AI gegründet, ein Startup, das die Zuverlässigkeit von KI verbessern soll, indem es den Modellen selbst die Erkennung ihrer eigenen Unsicherheit erleichtert. Ihr führendes Produkt, Capsa, ist so konzipiert, dass es in jedes maschinelle Lernmodell integriert werden kann, um unzuverlässige Ergebnisse zu erkennen, sobald sie auftreten. Durch die Erkennung von Anzeichen von Mehrdeutigkeit, Voreingenommenheit oder unvollständiger Argumentation ermöglicht Capsa KI-Systemen, sich selbst zu überwachen und zweifelhafte Ergebnisse hervorzuheben, bevor sie zu Schaden führen.
Capsa ist so konzipiert, dass es wie eine Sicherheitsdecke für ein Modell funktioniert - es wird eingewickelt, seine Unsicherheiten und Fehlermöglichkeiten werden identifiziert und dann verbessert, erklärt Daniela Rus, Mitbegründerin von Themis AI und Professorin am MIT. Ausgestattet mit dieser Fähigkeit zur Selbstkontrolle können KI-Systeme zuverlässiger, weniger fehleranfällig und sicherer für ihre Nutzer werden.
Rus co-founded Themis AI in 2021 along with Alexander Amini and Elaheh Ahmadi. Since the company’s inception, they have collaborated with telecom providers, helped oil and gas firms understand seismic imagery, and contributed to research on building more trustworthy chatbots—demonstrating the versatility and impact of their innovative approach.
Heute arbeitet Themis AI mit Unternehmen aus verschiedenen Branchen zusammen, insbesondere mit solchen, die große Sprachmodelle (LLMs) wie ChatGPT entwickeln. Capsa hilft diesen Modellen dabei, ihre Konfidenzniveaus für jede Ausgabe anzugeben, wodurch sie bei der Beantwortung von Fragen oder der Zusammenfassung von Dokumenten zuverlässiger werden. Die Entwicklung von Capsa hat nicht nur den Bereich der KI-Anwendungen erweitert, sondern auch dazu beigetragen, diese Systeme transparenter zu machen und das Risiko potenziell katastrophaler Fehler zu minimieren, da die KI-Technologie immer häufiger eingesetzt wird.
Mit Blick auf die Zukunft sieht Themis AI Potenzial in einer Technik, die als "chain-of-thought reasoning" bezeichnet wird. Durch die Identifizierung der zuverlässigsten Denkpfade könnte Capsa KI-Antworten präziser und rechnerisch effizienter machen. Diese ehrgeizige, zukunftsorientierte Mentalität geht Hand in Hand mit der umfassenderen Vision von Themis AI - technische Lösungen zu entwickeln, die die Herausforderungen der KI angehen, das Vertrauen und das Verständnis zwischen Menschen und Technologie fördern und die KI-Forschung für die Welt relevant machen.
Ensuring that AI technology functions correctly, minimizes errors, and is safe for users isn’t just a clinical goal—it represents a substantial societal benefit, with the power to transform industries and lives. For Rus and her dedicated team, Themis AI isn’t just a start-up. It’s a way of making sure their tireless work in the lab has palpable, positive effects on society. With Capsa and Themis AI, our digital future looks a lot more secure.
Ursprünglich berichtet auf MIT News. Lesen Sie den Originalartikel.
Diese Website verwendet Cookies.