Rewolucja w interpretacji wykresów dzięki sztucznej inteligencji: zestaw danych ChartNet MIT

Na dzisiejszym szybko zmieniającym się globalnym rynku firmy nieustannie poszukują metod przyspieszenia i dostrojenia procesów decyzyjnych. Jednym z potencjalnych rozwiązań jest zastosowanie generatywnych modeli sztucznej inteligencji (AI), które pomagają skonsolidować i zrozumieć złożone wykresy często spotykane w podsumowaniach rynkowych i raportach finansowych. Jednak nawet najbardziej zaawansowane modele wizyjno-językowe (VLM) stoją przed wyzwaniami związanymi z wykonaniem tego zadania. Wynika to w dużej mierze z potrzeby pojedynczego modelu do asymilacji zrozumienia wizualnego, numerycznego i językowego. W związku z tym firmy inwestujące w te najwyższej klasy modele mogą nadal otrzymywać nieprecyzyjne lub niekompletne informacje.

Skok naprzód w technologiach sztucznej inteligencji

Wychodząc naprzeciw tej kwestii, naukowcy z MIT i MIT-IBM Computing Research Lab opracowali wzbogacający zasób dla użytkowników AI. Zasób ten został specjalnie zaprojektowany, aby nauczyć VLM skutecznego interpretowania wykresów. Dzięki innowacyjnej technice generowania danych, naukowcy stworzyli najnowocześniejszy zbiór danych znany jako ChartNet. Ten imponujący zbiór danych, obejmujący ponad milion wykresów, zawiera różne wizualne, językowe i numeryczne aspekty każdego obrazu wykresu. Ta kombinacja pozwala modelom na solidne rozwikłanie informacji przekazywanych przez wykres.

Widząc potencjał tego narzędzia, zespół MIT i IBM wykorzystał ChartNet do szkolenia serii modeli VLM typu open source. Co imponujące, te mniejsze modele często przewyższały swoje znacznie większe, zastrzeżone odpowiedniki w zadaniach takich jak ekstrakcja danych i podsumowywanie wykresów. Zdolność ChartNet do zwiększania wydajności modeli open source może być przełomem, szczególnie dla mniejszych firm z ograniczeniami budżetowymi. Oprócz tego, zbiór danych może być wykorzystany do udoskonalenia adeptów modeli AI do zadań takich jak analiza trendów biznesowych i interpretacja danych naukowych.

Pokonywanie wyzwań

Podczas gdy modele sztucznej inteligencji poczyniły znaczne postępy w obszarach takich jak przetwarzanie języka naturalnego i rozumowanie o naturalnych obrazach, interpretacja złożoności danych multimodalnych na wykresach jest wciąż rodzącą się dziedziną. Dla większości branż, jeśli nie dla wszystkich, zrozumienie wykresów pozostaje kluczowym zadaniem. Dhiraj Joshi, starszy naukowiec w IBM Research, trafnie to ujął, mówiąc: “Branża finansowa rozwija się dzięki wykresom. Jeśli modele języka wizyjnego mogą wyodrębnić informacje z wykresów, takie jak opisy trendów, ułatwia to wiele przepływów pracy, które mają miejsce później”. Interpretacja wykresów często wiąże się jednak z ograniczeniami - a dokładniej z ograniczeniem wysokiej jakości danych szkoleniowych. Wiele z nich przypomina fragmenty układanki - ograniczone obrazy wykresów pobrane z Internetu, którym często brakuje skali i istotnych szczegółów, aby pomóc w interpretacji modelu. Aby przezwyciężyć te wąskie gardła, naukowcy zwrócili się do danych syntetycznych, generowanych algorytmicznie w celu naśladowania statystycznych właściwości rzeczywistych danych.

W ten sposób powstał ChartNet - zbiór ponad miliona wysokiej jakości obrazów wykresów, wraz z odpowiednim kodem użytym do wygenerowania każdego wykresu, opisem tekstowym i tabelą zawierającą informacje liczbowe. Każdy punkt danych w zbiorze danych zawiera pary pytań i odpowiedzi, aby nauczyć model, jak poprawnie odpowiadać na pytania dotyczące obrazu wykresu. Te dodatkowe tryby danych prowadzą model do łączenia i wyrównywania różnych fragmentów danych, które koduje każdy obraz wykresu.

Zespoły MIT i IBM rygorystycznie przetestowały ChartNet, szkoląc modele IBM z serii Granite Vision i kilka innych modeli open-source o różnych rozmiarach. Oceny te dotyczyły różnych zadań związanych z interpretacją wykresów. Zestaw danych poprawił dokładność wszystkich modeli w rekonstrukcji wykresów, ekstrakcji danych, podsumowywaniu i odpowiadaniu na pytania. Wspierane przez ChartNet, małe modele open-source mogły konsekwentnie przewyższać znacznie większe modele komercyjne. Naukowcy chcą rozszerzyć ChartNet, wykorzystując dane o dodatkowych poziomach złożoności i biorąc pod uwagę opinie społeczności badawczej. Ta pionierska praca została częściowo sfinansowana przez MIT-IBM Computing Research Lab. Dla tych, którzy szukają rozwiązań automatyzacji AI lub chcą dowiedzieć się więcej, sprawdź implementi.ai tutaj. Więcej informacji można znaleźć w oryginalnym artykule tutaj.