Wyścig ku rzeczywistości: Nowy sposób testowania sztucznej inteligencji w świecie rzeczywistym

W dynamicznym wszechświecie sztucznej inteligencji naukowcy nieustannie próbują stworzyć najbardziej wydajny duży model językowy (LLM). Tradycyjnie wyścig ten odbywał się głównie w ustrukturyzowanych warunkach laboratoriów. Jednak to typowe podejście zyskuje nową perspektywę dzięki wspólnej inicjatywie podjętej przez Inclusion AI i Ant Group.

Badacze ci opracowali unikalny plan benchmarkingu, trafnie nazwany Inclusion Arena, który ocenia wydajność LLM w oparciu o ich funkcje w rzeczywistych, praktycznych zastosowaniach. Jest to niekonwencjonalne odejście od oceny modeli wyłącznie na podstawie ich wydajności na wstępnie przygotowanych, oczyszczonych arenach testowych.

Skala i zakres Inclusion Arena wykraczają poza zwykłe standardy benchmarkingu. Wykorzystuje dane o wydajności z narzędzi AI obecnie używanych przez zwykłych użytkowników, biorąc pod uwagę rzeczywiste interakcje użytkowników w aplikacjach na żywo. W ten sposób oferuje nam znacznie dokładniejsze, bardziej przejrzyste i praktyczne zrozumienie tego, jak te modele sztucznej inteligencji rzeczywiście działają w prawdziwym świecie.

Dlaczego jest to ważne? Tradycyjne testy porównawcze często nie odzwierciedlają prawdziwego potencjału i możliwości modelu sztucznej inteligencji w obliczu nieprzewidywalnych, generowanych przez człowieka danych wejściowych. Inclusion Arena zapewnia jednak wiarygodną migawkę zachowania modelu w środowiskach produkcyjnych; dając w ten sposób programistom, badaczom i firmom bardziej przejrzysty obraz niezawodności i wydajności modelu w obliczu rzeczywistych, wysokociśnieniowych scenariuszy.

Ale nie chodzi tylko o posiadanie najbardziej masywnego lub najszybszego modelu. W prawdziwym świecie, LLM muszą być nie tylko dokładne, ale także świadome kontekstu, sprawiedliwe i solidne. Czynniki takie jak zaufanie, bezpieczeństwo i użyteczność mają również kluczowe znaczenie. Podejście zaproponowane przez Inclusion AI ułatwia pomiar tych aspektów w znaczący sposób i zachęca do bardziej odpowiedzialnego i zorientowanego na użytkownika rozwoju w branży.

Ta zmiana perspektywy może potencjalnie przekształcić sektor AI, jaki znamy. Problematyzując sposób oceny sztucznej inteligencji, Inclusion AI i Ant Group skłaniają branżę do spojrzenia poza zwykłe wskaźniki akademickie. Nacisk jest teraz odpowiednio przenoszony na wpływ, jaki sztuczna inteligencja może wywierać w rzeczywistych sytuacjach. Może to w konsekwencji zmienić sposób, w jaki takie modele są testowane, szkolone, dostrajane i ostatecznie wdrażane.

Jeśli jesteś zaintrygowany rewolucyjną Inclusion Arena i chcesz dowiedzieć się, jak zmienia ona krajobraz benchmarków AI, zawsze możesz dowiedzieć się więcej! Możesz przeczytać szczegółowy artykuł na VentureBeat: https://venturebeat.com/ai/stop-benchmarking-in-the-lab-inclusion-arena-shows-how-llms-perform-in-production/