Nowe podejście do strategii w grach o niedoskonałej informacji: nowe podejście do analizy porównawczej

Wyobraź sobie, że bierzesz udział w partii pokera lub znajdujesz się w samym środku licytacji o nowy dom. Emocje związane z takimi grami strategicznymi często wynikają z nieprzewidywalności – z podejmowania kluczowych decyzji, mając do dyspozycji jedynie połowę informacji. Znasz swoje karty, znasz swój budżet, ale to właśnie nieznane czynniki mogą odwrócić losy gry.

Rzut oka na świat gier z niedoskonałą informacją

Chociaż w tej sytuacji nie da się opracować niezawodnej strategii, najnowsze badania Badanie przeprowadzone przez zespół naukowców z MIT dostarcza nowych spostrzeżeń. Praca ta, zaprezentowana podczas Międzynarodowej Konferencji poświęconej reprezentacjom uczenia się w Rio de Janeiro, przygląda się bliżej naturze gier opartych na niedoskonałej informacji. Gry te zaliczane są do gier o sumie zerowej, co oznacza, że zysk jednego gracza nieuchronnie wiąże się ze stratą drugiego.

Wśród wybitnych naukowców odpowiedzialnych za to badanie nie brakuje osób spoza MIT. Badania prowadzili Sobhan Mohammadpour, doktorant na Wydziale Elektrotechniki i Informatyki (EECS) oraz w Laboratorium Systemów Informacyjnych i Decyzyjnych (LIDS) na MIT, oraz Gabriele Farina, adiunkt na Wydziale EECS i główny badacz w LIDS. Ponadto dołączyli do nich współpracownicy z prestiżowych instytucji, takich jak Uniwersytet Teksański w Austin, Uniwersytet Kalifornijski w Berkeley, Uniwersytet Carnegie Mellona oraz Uniwersytet Nowojorski.

Kwestionowanie założeń i testowanie nowych granic

Zamiast opierać się na tradycyjnych algorytmach teorii gier, uznawanych za lepsze, w badaniu tym skupiono się na metodach gradientu polityki stosowanych do uczenia sieci neuronowych w grach o niedoskonałej informacji. Metody te, znane od lat 90., polegają na sekwencyjnym dostosowywaniu się w celu osiągnięcia określonego celu, podobnie jak stopniowe wspinanie się na wzgórze.

Nowatorski charakter ich pracy polega na stworzeniu nowego środowiska testowego dla tych algorytmów. Farina wyjaśnia: “Oferujemy test porównawczy służący do oceny tych algorytmów”. Test ten ocenia wydajność w oparciu o pojęcie „wykorzystywalności”, które polega na porównaniu wyników gracza z najgorszym możliwym przeciwnikiem.

Naukowcy przetestowali swoje teorie na pięciu różnych grach, w tym „Phantom Tic-Tac-Toe” i „Liar’s Dice”, i doszli do wniosku, że sieci neuronowe wytrenowane metodami gradientu polityki osiągnęły lepsze wyniki pod względem wskaźników podatności na wykorzystanie niż te wytrenowane algorytmami opartymi na teorii gier. Nie tylko potwierdziło to ich wiarę w stosowane podejście do testów porównawczych, ale także wskazało obiecujące kierunki dalszych badań.

Choć gry te mogą wydawać się dalekie od codziennego życia, pojęcie ‘gra’ obejmuje każdą strategiczną interakcję z udziałem wielu podmiotów. Interakcje te są wszechobecne w naszym życiu – od operacji wojskowych, przez scenariusze handlowe, aż po negocjacje. W związku z tym badania te mogą potencjalnie zrewolucjonizować również te dziedziny.

W kierunku przyszłości opartej na strategicznym rozwiązywaniu problemów

Znany badacz sztucznej inteligencji Ian Gemp z Google DeepMind, który nie brał udziału w badaniu, pozytywnie ocenił jego wyniki. Stwierdził, że unowocześnienie klasycznych narzędzi, takich jak metody gradientu polityki, może okazać się właśnie tym, czego potrzeba do skutecznego rozwiązywania złożonych problemów strategicznych. Dlatego firmy pragnące wykorzystać automatyzację opartą na sztucznej inteligencji mogą rozważyć rozwiązania wdrożeniowe oferowane przez dostawców takich jak implementi.ai.

Aby zapoznać się ze szczegółowymi wynikami badania, przejdź na stronę artykuł informacyjny.