Spela Risk med en AlphaZero agent

This thesis is done in collaboration with the Swedish Defense ResearchAgency and investigates the learning capabilities of zero learning algorithms from a war gaming perspective by applying them to the classic strategy board game Risk. Agents are designed using the Monte Carlo Tree Search algorithm for online decision making and is aided by a neural network that learns offline action policies and a state evaluation function. The zero learning process is based on the Expert Iteration algorithm, an alternative to the famous AlphaZero algorithm, learning the game from self-play. To suit Risk, the neural network used a flat state input representation and had five output policies, one for each decision included in the game. Results show that zero learning could be used to train the neural network such that its policy output improved performance of the Monte Carlo Tree Search algorithm. Agent performance did however not improve with further iterations of network training and the network failed to learn a good scalar state evaluation function. Denna avhandling är genomförd i samarbete med Totalförsvarets forskningsinstitut, FOI, och undersöker inlärningsmöjligheterna hos zero learning algoritmer utifrån ett krigsspelsperspektiv genom att applicera dem på det klassiska strategibrädspelet Risk. Spelagenterna är designade att använda Monte Carlo Tree Search algoritmen för löpande beslutstagande och stöds av ett neuronnätverk vilket lär sig en fix beslutspolicy och att utvädera spelets tillstånd. Zero learning-processen är baserad på Expert Iteration algorithmen, vilken är ett alternativ till den välkända AlphaZero algorithmen, och lär sig spelet genom att spela mot sig själv. För att fungera för Risk så använde neuronnätverket en platt representation av speltillståndet som indata och fem beslutspolicies som utdata, en för varje typ av beslut i spelet. Resultaten visar att zero learning kunde användas för att träna ett neuronnätverk på så sätt att dess beslutspolicies förbättrade spelstyrkan för Monte Carlo Tree Search algoritmen. Agentens spelstyrka förbättrades dock inte med ytterligare iterationer av nätverksträning och nätverket misslyckades med att lära sig en bra funktion för att utvärdera speltillståndet