Stellen Sie sich vor, Sie lassen sich auf einen spannenden Roman ein oder bleiben bei einer spannenden Schachpartie dabei - Ihr Gehirn passt sich st\u00e4ndig an, speichert Details und macht Vorhersagen \u00fcber das, was als N\u00e4chstes kommt. Sie bemerken es vielleicht nicht, aber dieser innere Notizblock ist immer in Betrieb und hilft Ihnen, die Wendungen zu meistern.<\/p>\n
Fortgeschrittene KI-Sprachmodelle wie ChatGPT tun etwas \u00c4hnliches, wenn auch mit ganz anderen Mitteln. Ihr \u201cDenkprozess\u201d wird durch eine Transformator-Architektur unterst\u00fctzt, eine clevere Struktur, die ihnen hilft, vorherzusagen, was als N\u00e4chstes in einer Sequenz kommen sollte - sei es ein Wort in einem Satz oder der n\u00e4chste logische Schritt in einem mathematischen Problem. Aber denken diese Modelle tats\u00e4chlich Schritt f\u00fcr Schritt, so wie wir es tun? Oder machen sie Abstriche in einer Weise, die wir vielleicht nicht erwarten?<\/p>\n
Um das herauszufinden, haben Forscher des MIT eine digitale Variante des klassischen H\u00fctchenspiels entwickelt - das mit den Bechern und dem versteckten Objekt. Die KI erhielt eine Reihe von Zahlen und die \u201cRegeln\u201d f\u00fcr das Mischen der Zahlen, durfte aber nach Beginn des Mischens keinen Blick darauf werfen. Die Herausforderung bestand darin, die endg\u00fcltige Anordnung allein anhand des Ausgangspunkts und der Anweisungen vorherzusagen.<\/p>\n
Haben die Modelle akribisch jeden Tausch und jede Anweisung befolgt, wie es ein besessener menschlicher Spieler tun w\u00fcrde? Nicht ganz. Stattdessen fanden die Modelle ihre eigenen mathematischen Abk\u00fcrzungen. Dabei haben sich zwei Hauptstrategien herauskristallisiert: Die eine, der so genannte \u201cAssoziative Algorithmus\u201d, gruppierte Schritte, l\u00f6ste Teilprobleme und f\u00fcgte die Ergebnisse zusammen, so als w\u00fcrde man \u00c4ste von einem Baum abschneiden und jeden einzelnen bis zu seiner Spitze zur\u00fcckverfolgen. Dadurch wurden die Modelle sehr viel schneller und in einigen F\u00e4llen sogar genauer, als wenn man jeden Zug methodisch durchspielen w\u00fcrde.<\/p>\n
Es gab auch den \u201cParit\u00e4ts-Assoziativ-Algorithmus\u201d, der darauf achtet, ob es eine gerade oder ungerade Anzahl von Vertauschungen gibt, und dann \u00e4hnliche Gruppierungsk\u00fcrzel anwendet. Das funktionierte bei einfachen R\u00e4tseln gut, geriet aber bei l\u00e4ngeren, komplexeren Aufgaben ins Straucheln.<\/p>\n
Wie haben die Forscher all dies herausgefunden? Sie benutzten spezielle Werkzeuge - stellen Sie sich vor, Sie lesen die privaten Notizen der KI mitten im Prozess -, mit denen sie sehen konnten, wann das Modell richtig geraten hat und wann es gestolpert ist. Was sie herausfanden, war eindeutig: Der Assoziative Algorithmus erm\u00f6glichte es dem Modell, schneller zu lernen und selbst bei wachsenden Herausforderungen einen k\u00fchlen Kopf zu bewahren, w\u00e4hrend die parit\u00e4tsbasierte Strategie, die auf schnelle Heuristiken angewiesen ist, mit zunehmender Komplexit\u00e4t an ihre Grenzen stie\u00df.<\/p>\n
Was bedeutet das alles f\u00fcr die Entwicklung und das Training von KI? Die Hauptautorin Belinda Li schl\u00e4gt vor, dass wir die KI nicht zwingen sollten, genau wie wir zu denken, sondern ihr vielleicht helfen sollten, die einzigartigen Strategien, die sie entwickelt, zu verfeinern. Wenn wir zum Beispiel mehr \u201cSchichten\u201d in ein Modell einbauen, k\u00f6nnen wir tiefere, zuverl\u00e4ssigere Denkketten aufbauen, als wenn wir sie einfach bitten, mehr Schritte nacheinander zu machen.<\/p>\n
Obwohl in der Studie mit relativ kleinen Modellen und synthetischen Daten gearbeitet wurde, ist das Team der Ansicht, dass sich diese Erkenntnisse auf leistungsf\u00e4hige Werkzeuge wie GPT-4.1 \u00fcbertragen lassen. In den n\u00e4chsten Schritten sollen diese Ideen an Modellen getestet werden, die reale Aufgaben bew\u00e4ltigen, z. B. das Verfolgen einer Handlung in einem Roman oder das Verfolgen von Variablen in Softwarecode.<\/p>\n
Diese Art von Forschung k\u00f6nnte die Art und Weise ver\u00e4ndern, wie KI alle m\u00f6glichen kniffligen Aufgaben der Zustandsverfolgung bew\u00e4ltigt, vom Schreiben von Rezepten bis zum F\u00fchren von Gespr\u00e4chen. Das MIT-Team - Belinda Li, Zifan \u201cCarl\u201d Guo und Jacob Andreas - hofft, dass ihre Erkenntnisse zu einer intelligenteren und vertrauensw\u00fcrdigeren KI f\u00fchren werden, indem sie uns helfen, problematische \u201cAbk\u00fcrzungen\u201d zu vermeiden und gleichzeitig fundierte \u00dcberlegungen zu f\u00f6rdern.<\/p>\n
Ihre Arbeit wurde erstmals auf der International Conference on Machine Learning (ICML) vorgestellt und wurde durch die Unterst\u00fctzung von Organisationen wie Open Philanthropy, MIT Quest for Intelligence, der National Science Foundation, dem Clare Boothe Luce Program for Women in STEM und dem Sloan Research Fellowship erm\u00f6glicht.<\/p>\n
Quelle: https:\/\/news.mit.edu\/2025\/unique-mathematical-shortcuts-language-models-use-to-predict-dynamic-scenarios-0721<\/p>","protected":false},"excerpt":{"rendered":"
Imagine settling in with a page-turner or locking in during a tight chess match\u2014your brain is always adjusting, storing details, and making predictions about what comes next. You might not notice it, but this internal notepad is always at work, quietly helping you navigate the twists and turns. Advanced AI language models like ChatGPT do something a bit similar, though by very different means. Their \u201cthought process\u201d is powered by transformer architecture, a clever structure that helps them predict what should come next in a sequence\u2014whether it’s a word in a sentence or the next logical step in a math […]<\/p>\n","protected":false},"author":4,"featured_media":6388,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[43,47],"tags":[],"class_list":["post-6387","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-agents","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6387","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/comments?post=6387"}],"version-history":[{"count":1,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6387\/revisions"}],"predecessor-version":[{"id":6448,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/posts\/6387\/revisions\/6448"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media\/6388"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/media?parent=6387"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/categories?post=6387"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/de\/wp-json\/wp\/v2\/tags?post=6387"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}