Auf dem sich schnell verändernden globalen Markt von heute suchen Unternehmen ständig nach Methoden zur Beschleunigung und Feinabstimmung von Entscheidungsprozessen. Eine der potenziellen Lösungen liegt im Einsatz von generativen Modellen der künstlichen Intelligenz (KI), die dabei helfen, die komplexen Diagramme, die häufig in Marktübersichten und Finanzberichten zu finden sind, zu konsolidieren und zu verstehen. Doch selbst die fortschrittlichsten Vision-Language-Modelle (VLMs) stehen vor der Herausforderung, diese Aufgabe zu bewältigen. Das liegt vor allem daran, dass ein einziges Modell das visuelle, numerische und sprachliche Verständnis verarbeiten muss. Unternehmen, die viel in diese erstklassigen Modelle investieren, erhalten daher möglicherweise immer noch ungenaue oder unvollständige Informationen.
Um dieses Problem zu lösen, haben Forscher des MIT und des MIT-IBM Computing Research Lab eine bereichernde Ressource für KI-Nutzer entwickelt. Diese Ressource wurde speziell entwickelt, um VLMs beizubringen, Diagramme effektiv zu interpretieren. Mithilfe einer innovativen Datengenerierungstechnik haben die Forscher einen innovativen Datensatz mit dem treffenden Namen ChartNet erstellt. Mit einer beeindruckenden Anzahl von über einer Million Diagrammen umfasst dieser Datensatz verschiedene visuelle, sprachliche und numerische Aspekte jedes Diagrammbildes. Diese Kombination ermöglicht es den Modellen, die durch ein Diagramm vermittelten Informationen zuverlässig zu entschlüsseln.
Das MIT- und IBM-Team erkannte das Potenzial dieses Tools und nutzte ChartNet, um eine Reihe von Open-Source-VLMs zu trainieren. Beeindruckenderweise übertrafen diese kleineren Modelle bei Aufgaben wie der Datenextraktion und der Zusammenfassung von Diagrammen oft ihre viel größeren proprietären Gegenstücke. Die Fähigkeit von ChartNet, die Leistung von Open-Source-Modellen zu verbessern, könnte vor allem für kleinere Unternehmen mit begrenztem Budget eine entscheidende Rolle spielen. Darüber hinaus kann der Datensatz verwendet werden, um die Fähigkeit von KI-Modellen für Aufgaben wie die Analyse von Geschäftstrends und die Interpretation wissenschaftlicher Zahlen zu verfeinern.
Während KI-Modelle in Bereichen wie der Verarbeitung natürlicher Sprache und der Auswertung natürlicher Bilder bemerkenswerte Fortschritte gemacht haben, ist die Interpretation multimodaler Datenkomplexität in Diagrammen noch ein junges Feld. Für die meisten, wenn nicht sogar für alle Branchen bleibt das Verständnis von Diagrammen eine zentrale Aufgabe. Dhiraj Joshi, ein leitender Wissenschaftler bei IBM Research, drückt es treffend aus: “Die Finanzbranche lebt von Diagrammen. Wenn Modelle für die Bildsprache Informationen aus Diagrammen extrahieren können, z. B. Beschreibungen von Trends, erleichtert das viele nachgelagerte Arbeitsabläufe. Die Interpretation von Diagrammen ist jedoch oft mit Einschränkungen verbunden, insbesondere mit dem Zwang zu hochwertigen Trainingsdaten. Viele dieser Daten ähneln Teilen eines Puzzles - begrenzte Diagrammbilder aus dem Internet, denen oft der Maßstab und wichtige Details fehlen, um die Modellinterpretation zu unterstützen. Um diese Engpässe zu überwinden, wandten sich die Forscher synthetischen Daten zu, die algorithmisch generiert wurden, um die statistischen Eigenschaften tatsächlicher Daten zu imitieren.
So entsteht ChartNet - eine Sammlung von über einer Million hochwertiger Diagrammbilder, zusammen mit dem entsprechenden Code, der zur Erstellung jedes Diagramms verwendet wurde, einer textlichen Beschreibung und einer Tabelle mit den numerischen Informationen. Jeder Datenpunkt im Datensatz enthält Frage-Antwort-Paare, um dem Modell beizubringen, wie es Fragen zum Diagrammbild korrekt beantworten kann. Diese zusätzlichen Datenmodi leiten das Modell an, die verschiedenen Daten, die jedes Diagrammbild kodiert, miteinander zu verbinden und abzugleichen.
Die Teams des MIT und von IBM haben ChartNet gründlich getestet, indem sie die IBM-Modelle der Granite Vision-Serie und mehrere andere Open-Source-Modelle unterschiedlicher Größe trainierten. Diese Bewertungen wurden für verschiedene Aufgaben zur Interpretation von Diagrammen durchgeführt. Der Datensatz verbesserte die Genauigkeit aller Modelle bei der Rekonstruktion von Diagrammen, der Datenextraktion, der Zusammenfassung und der Beantwortung von Fragen. Mit Hilfe von ChartNet konnten kleine Open-Source-Modelle die viel größeren kommerziellen Modelle durchweg übertreffen. Die Forscher sind bestrebt, ChartNet zu erweitern, indem sie Daten mit zusätzlichen Komplexitätsstufen verwenden und das Feedback der Forschungsgemeinschaft berücksichtigen. Diese Pionierarbeit wurde teilweise vom MIT-IBM Computing Research Lab finanziert. Wenn Sie nach KI-Automatisierungslösungen suchen oder mehr darüber erfahren möchten, besuchen Sie implementi.ai hier. Weitere Einzelheiten finden Sie im Originalartikel hier.
Diese Website verwendet Cookies.