Computere har domineret mennesker i en-til-en-spil som skak i årtier, men at få kunstig intelligens (AI) til at samarbejde med holdkammerater er lidt vanskeligere. Nu har forskere ved Googles DeepMind-projekt lært AI-spillere at arbejde sammen på teams med både mennesker og andre computere til at konkurrere i videospelet Quake III Arena i 1999.
Edd Gent på Science rapporterer, at når AI kun har en modstander, klarer det sig normalt ret godt, da det kun forudser de mulige bevægelser af et enkelt sind. Men teamwork er en helt anden sag, fordi det inkluderer handlinger, som computere ikke traditionelt er gode til, som at forudsige, hvordan en gruppe holdkammerater vil opføre sig. For at gøre AI virkelig nyttigt, skal det lære at samarbejde med andre intelligenser.
Googles DeepMind-team forklarer i et blogindlæg:
”Milliarder af mennesker beboer planeten, hver med deres egne individuelle mål og handlinger, men stadig i stand til at mødes gennem teams, organisationer og samfund i imponerende udstillinger af kollektiv intelligens. Dette er en indstilling, vi kalder multi-agent learning: mange individuelle agenter skal handle uafhængigt, men alligevel lære at interagere og samarbejde med andre agenter. Dette er et uhyre vanskeligt problem - for med co-adaptive agenter forandrer verden sig konstant. ”
Multiplayer, førstepersons videospil, hvor hold af spillere løber rundt i virtuelle verdener, som normalt skyder pistoler eller granatkastere mod hinanden, er det perfekte sted for AI til at lære de komplicerede teamwork. Hver spiller skal handle individuelt og træffe valg, der er til gavn for holdet som helhed.
Til undersøgelsen trænede teamet AI til at spille fange flaget på Quake III Arena- platformen. Reglerne er forholdsvis enkle: To hold vender ud mod en labyrintlignende slagmark. Målet er at fange så mange af de andre hold virtuelle flag, mens de beskytter deres egne, og hvilket hold der fanger flest flag på fem minutter vinder. I praksis kan tingene dog hurtigt blive meget komplicerede.
DeepMind-teamet oprettede 30 neurale netværksalgoritmer og fik dem til at kæmpe mod hinanden på en række tilfældigt genererede spilkort. Botterne scorede point ved at fange flag og zappe andre spillere, sende dem tilbage til et respawn område, hvor deres karakter genstartes. Til at begynde med virkede bots 'handlinger tilfældige. Men jo mere de spillede, jo bedre blev de. Alle neurale netværk, der konsekvent mistede blev elimineret og blev erstattet af ændrede versioner af vindende AI Ved afslutningen af 450.000 spil, krone holdet et neuralt netværk - kaldet For the Win (FTW) - som mesteren.
DeepMind-gruppen spillede FTW-algoritmen mod det, der kaldes et spejlbots, som mangler AI-læringsevner og derefter også mod menneskelige teams. FTW knuste alle udfordrere.
Gruppen afholdt derefter en turnering, hvor 40 menneskelige spillere blev matchet tilfældigt som både holdkammerater og modstandere af boten. Ifølge blogindlægget fandt menneskelige spillere, at botterne var mere samarbejdsvillige end deres virkelige holdkammerater. Menneskelige spillere parret med FTW-agenter var i stand til at slå cyberkrigere i cirka 5 procent af kampene.
Som de lærte, opdagede botterne nogle strategier, som længe blev omfavnet af menneskelige spillere, som at hænge ud i nærheden af et flags respawn-punkt for at gribe det, når det dukker op igen. FTW-hold fandt også en fejl, de kunne udnytte: hvis de skød deres egen teamkammerat bagpå, gav det dem en hurtig boost, noget de brugte til deres fordel.
”Det, der var utroligt under udviklingen af dette projekt, var at se fremkomsten af nogle af disse opførsler på højt niveau, ” fortæller DeepMind-forsker og hovedforfatter Max Jaderberg til Gent. ”Dette er ting, vi kan forholde os til som menneskelige spillere.”
En væsentlig årsag til, at botterne var bedre end menneskelige spillere, er, at de var hurtige og præcise markører, hvilket gjorde dem hurtigere på uafgjort end deres menneskelige modstandere. Men det var ikke den eneste faktor i deres succes. Ifølge bloggen, da forskere indbyggede et kvart sekund forsinket reaktionstid i robotskytterne, kunne de bedste mennesker stadig kun slå dem omkring 21 procent af tiden.
Siden denne indledende undersøgelse er FTW og dets efterkommere løsnet på hele Quake III Arena slagmarken og har vist, at de kan mestre en endnu mere kompleks verden med flere muligheder og nuance. De har også oprettet en bot, der udmærker sig i det ultrakomplexe strategirumspil Starcraft II.
Men forskningen handler ikke kun om at skabe bedre videospilsalgoritmer. At lære om teamwork kan til sidst hjælpe AI med at arbejde i flåder af selvkørende biler eller måske en dag blive robotassistenter, der hjælper med at foregribe behovene hos kirurger, rapporterer Science 's Gent.
Ikke alle mener dog, at arkade-star-bots repræsenterer ægte teamwork. AI-forsker Mark Riedl fra Georgia Tech fortæller The New York Times, at botterne er så gode til spillet, fordi hver enkelt forstår strategierne i dybden. Men det er ikke nødvendigvis samarbejde, da AI-holdene mangler et afgørende element i menneskeligt teamwork: kommunikation og forsætligt samarbejde.
Og selvfølgelig mangler de også det andet kendetegn ved den samarbejdsvillige videospiloplevelse: papirkurven snakker det andet hold.
