W dynamicznym wszech\u015bwiecie sztucznej inteligencji naukowcy nieustannie pr\u00f3buj\u0105 stworzy\u0107 najbardziej wydajny du\u017cy model j\u0119zykowy (LLM). Tradycyjnie wy\u015bcig ten odbywa\u0142 si\u0119 g\u0142\u00f3wnie w ustrukturyzowanych warunkach laboratori\u00f3w. Jednak to typowe podej\u015bcie zyskuje now\u0105 perspektyw\u0119 dzi\u0119ki wsp\u00f3lnej inicjatywie podj\u0119tej przez Inclusion AI i Ant Group.<\/p>\n
Badacze ci opracowali unikalny plan benchmarkingu, trafnie nazwany Inclusion Arena<\/strong>, kt\u00f3ry ocenia wydajno\u015b\u0107 LLM w oparciu o ich funkcje w rzeczywistych, praktycznych zastosowaniach. Jest to niekonwencjonalne odej\u015bcie od oceny modeli wy\u0142\u0105cznie na podstawie ich wydajno\u015bci na wst\u0119pnie przygotowanych, oczyszczonych arenach testowych.<\/p>\n Skala i zakres Inclusion Arena wykraczaj\u0105 poza zwyk\u0142e standardy benchmarkingu. Wykorzystuje dane o wydajno\u015bci z narz\u0119dzi AI obecnie u\u017cywanych przez zwyk\u0142ych u\u017cytkownik\u00f3w, bior\u0105c pod uwag\u0119 rzeczywiste interakcje u\u017cytkownik\u00f3w w aplikacjach na \u017cywo. W ten spos\u00f3b oferuje nam znacznie dok\u0142adniejsze, bardziej przejrzyste i praktyczne zrozumienie tego, jak te modele sztucznej inteligencji rzeczywi\u015bcie dzia\u0142aj\u0105 w prawdziwym \u015bwiecie.<\/p>\n Dlaczego jest to wa\u017cne? Tradycyjne testy por\u00f3wnawcze cz\u0119sto nie odzwierciedlaj\u0105 prawdziwego potencja\u0142u i mo\u017cliwo\u015bci modelu sztucznej inteligencji w obliczu nieprzewidywalnych, generowanych przez cz\u0142owieka danych wej\u015bciowych. Inclusion Arena zapewnia jednak wiarygodn\u0105 migawk\u0119 zachowania modelu w \u015brodowiskach produkcyjnych; daj\u0105c w ten spos\u00f3b programistom, badaczom i firmom bardziej przejrzysty obraz niezawodno\u015bci i wydajno\u015bci modelu w obliczu rzeczywistych, wysokoci\u015bnieniowych scenariuszy.<\/p>\n Ale nie chodzi tylko o posiadanie najbardziej masywnego lub najszybszego modelu. W prawdziwym \u015bwiecie, LLM musz\u0105 by\u0107 nie tylko dok\u0142adne, ale tak\u017ce \u015bwiadome kontekstu, sprawiedliwe i solidne. Czynniki takie jak zaufanie, bezpiecze\u0144stwo i u\u017cyteczno\u015b\u0107 maj\u0105 r\u00f3wnie\u017c kluczowe znaczenie. Podej\u015bcie zaproponowane przez Inclusion AI u\u0142atwia pomiar tych aspekt\u00f3w w znacz\u0105cy spos\u00f3b i zach\u0119ca do bardziej odpowiedzialnego i zorientowanego na u\u017cytkownika rozwoju w bran\u017cy.<\/p>\n Ta zmiana perspektywy mo\u017ce potencjalnie przekszta\u0142ci\u0107 sektor AI, jaki znamy. Problematyzuj\u0105c spos\u00f3b oceny sztucznej inteligencji, Inclusion AI i Ant Group sk\u0142aniaj\u0105 bran\u017c\u0119 do spojrzenia poza zwyk\u0142e wska\u017aniki akademickie. Nacisk jest teraz odpowiednio przenoszony na wp\u0142yw, jaki sztuczna inteligencja mo\u017ce wywiera\u0107 w rzeczywistych sytuacjach. Mo\u017ce to w konsekwencji zmieni\u0107 spos\u00f3b, w jaki takie modele s\u0105 testowane, szkolone, dostrajane i ostatecznie wdra\u017cane.<\/p>\n Je\u015bli jeste\u015b zaintrygowany rewolucyjn\u0105 Inclusion Arena i chcesz dowiedzie\u0107 si\u0119, jak zmienia ona krajobraz benchmark\u00f3w AI, zawsze mo\u017cesz dowiedzie\u0107 si\u0119 wi\u0119cej! Mo\u017cesz przeczyta\u0107 szczeg\u00f3\u0142owy artyku\u0142 na VentureBeat: https:\/\/venturebeat.com\/ai\/stop-benchmarking-in-the-lab-inclusion-arena-shows-how-llms-perform-in-production\/<\/a><\/p>","protected":false},"excerpt":{"rendered":" In the dynamic universe of artificial intelligence, researchers are constantly attempting to conceive the most proficient large language model (LLM). Traditionally, this race has mostly occurred within the structured settings of laboratories. However, this typical approach is getting a fresh perspective, thanks to a collaborative initiative launched by Inclusion AI and Ant Group. These researchers have crafted a unique benchmarking blueprint, aptly named the Inclusion Arena, that evaluates the performance of LLMs based on their functions within real-world, practical applications. This is an unconventional departure from assessing models solely on their performance within pre-prepared, sanitized testing arenas. The scale and […]<\/p>\n","protected":false},"author":4,"featured_media":6811,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[47],"tags":[],"class_list":["post-6810","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-news","post--single"],"_links":{"self":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/6810","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/comments?post=6810"}],"version-history":[{"count":0,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/posts\/6810\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media\/6811"}],"wp:attachment":[{"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/media?parent=6810"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/categories?post=6810"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/aitrendscenter.eu\/pl\/wp-json\/wp\/v2\/tags?post=6810"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}