W dynamicznym wszechświecie sztucznej inteligencji naukowcy nieustannie próbują stworzyć najbardziej wydajny duży model językowy (LLM). Tradycyjnie wyścig ten odbywał się głównie w ustrukturyzowanych warunkach laboratoriów. Jednak to typowe podejście zyskuje nową perspektywę dzięki wspólnej inicjatywie podjętej przez Inclusion AI i Ant Group.
Badacze ci opracowali unikalny plan benchmarkingu, trafnie nazwany Inclusion Arena, który ocenia wydajność LLM w oparciu o ich funkcje w rzeczywistych, praktycznych zastosowaniach. Jest to niekonwencjonalne odejście od oceny modeli wyłącznie na podstawie ich wydajności na wstępnie przygotowanych, oczyszczonych arenach testowych.
Skala i zakres Inclusion Arena wykraczają poza zwykłe standardy benchmarkingu. Wykorzystuje dane o wydajności z narzędzi AI obecnie używanych przez zwykłych użytkowników, biorąc pod uwagę rzeczywiste interakcje użytkowników w aplikacjach na żywo. W ten sposób oferuje nam znacznie dokładniejsze, bardziej przejrzyste i praktyczne zrozumienie tego, jak te modele sztucznej inteligencji rzeczywiście działają w prawdziwym świecie.
Można zapytać: dlaczego to takie ważne? Tradycyjne testy porównawcze często nie odzwierciedlają prawdziwego potencjału i możliwości modelu sztucznej inteligencji w obliczu nieprzewidywalnych danych wejściowych generowanych przez ludzi. Inclusion Arena zapewnia jednak wiarygodny obraz zachowania modelu w środowiskach produkcyjnych, dając tym samym programistom, badaczom i przedsiębiorstwom jaśniejsze wyobrażenie o niezawodności i wydajności modelu w rzeczywistych, wymagających sytuacjach.
Nie chodzi jednak tylko o to, by dysponować największym lub najszybszym modelem. W rzeczywistości modele językowe o dużej skali (LLM) muszą nie tylko być dokładne, ale także uwzględniać kontekst, być sprawiedliwe i odporne na zakłócenia. Kluczowe znaczenie mają również takie czynniki, jak zaufanie, bezpieczeństwo i użyteczność. Podejście zaproponowane przez Inclusion AI w znacznym stopniu ułatwia ocenę tych aspektów i sprzyja bardziej odpowiedzialnemu oraz zorientowanemu na użytkownika rozwojowi w branży.
Ta zmiana perspektywy może potencjalnie przekształcić sektor AI, jaki znamy. Problematyzując sposób oceny sztucznej inteligencji, Inclusion AI i Ant Group skłaniają branżę do spojrzenia poza zwykłe wskaźniki akademickie. Nacisk jest teraz odpowiednio przenoszony na wpływ, jaki sztuczna inteligencja może wywierać w rzeczywistych sytuacjach. Może to w konsekwencji zmienić sposób, w jaki takie modele są testowane, szkolone, dostrajane i ostatecznie wdrażane.
Jeśli zaintrygowała Cię rewolucyjna platforma Inclusion Arena i chcesz dowiedzieć się, jak zmienia ona oblicze testów porównawczych w dziedzinie sztucznej inteligencji, zawsze możesz zgłębić ten temat! Zapraszamy do przeczytania szczegółowego artykułu na stronie VentureBeat: https://venturebeat.com/ai/stop-benchmarking-in-the-lab-inclusion-arena-shows-how-llms-perform-in-production/
Ta strona używa plików cookie.