Google Deepmind heeft een specifieke AI getraind om beter samen te werken door 450.000 uur Quake III Arena te spelen. Het resultaat overtreft menselijke spelers en kan worden toegepast in allerlei AI-domeinen waar menselijke interactie belangrijk is.
Google Deepmind heeft eerder al naam gemaakt met AlphaGo, een AI die ’s werelds beste Go-speler in Azië versloeg. Daarna creëerde het AlphaGo Zero, waar het beter werd door telkens tegen zichzelf te spelen zonder menselijke interactie. DeepMind heeft nu het spel Quake III Arena gebruikt om net wel samenwerking en interactie te bevorderen tussen mens en machine.
Quake III Arena
De AI, genaamd For The Win (FTW), speelde in totaal 450.000 spelletjes Quake III Arena om een dominantie over menselijke spelers te realiseren en het spel optimaal te begrijpen. Enkel de spelvariant Capture The Flag werd gespeeld om samenwerken te trainen. Zo kon DeepMind meerdere individueel opererende agenten trainen om collectief actie te ondernemen als een multi-agent leermethode. Dat legt Google verder uit in een uitgebreide blogpost.
Elke spel werd gespeeld in een willekeurig gegenereerde spelomgeving. Hierdoor moesten de systemen telkens de omgeving analyseren. Indoor omgevingen, platte terreinen en diverse niveauverschillen voegden extra diversiteit toe. FTW kon ook in twee modi opereren: snel of traag, elk met hun eigen beloningssystemen.
Betere samenwerking
In een tornooi met en tegen 40 menselijke Capture The Flag-spelers won FTW elk spel en had het telkens 95 procent kans om te winnen wanneer de menselijke spelers een AI-partner kregen. Tijdens een gemiddeld spelletje behaalden de menselijke teams 16 vlaggen minder tegen twee FTW-agenten.
FTW werkt veel efficiënter dan menselijke spelers en realiseerden hun tactiek in 80 procent van de gevallen tegenover 48 procent voor de menselijke spelers. Opvallend: toeschouwers van het tornooi vonden FTW veel beter samenwerken dan menselijke spelers.
FTW kreeg vooraf geen enkele informatie over het spel en moest helemaal zelf de basis en de spelregels leren. Waarom is deze ontwikkeling belangrijk? Multi-agent omgevingen kunnen interessant zijn in een mens-machine-interactie. Het kan AI-systemen trainen om complementair te zijn aan menselijke handelingen.