Deep reinforcement Learning Using Monte-Carlo Tree Search for Hex and Othello

Når Deepminds AlphaGo-program slo den menneskelige profesjonelle Go-spilleren Fan Hui i 2015 var dette et stort gjennombrudd for kunstig intelligens til spilling. Go hadde vist seg å motstå de teknikkene som lenge hadde slått mennesker i spill som sjakk. Gjennom en nyskapende kombinasjon av dype nevrale nettverk, forsterkende læring og Monte Carlo-tresøk ble Go endelig mestret. Kort tid etterpå kom AlphaGo Zero, som oppnådde det samme ved å lære utelukkende ved å spille mot seg selv, og AlphaZero, som generaliserte teknikken til andre spill. Dette arbeidet inneholder en nøye gjennomgang av disse systemene og arbeidet i feltet som ledet opp mot dem. Det går gjennom min egen implementasjon av denne teknikken og dens bruk i spillene Hex og Othello. Ved hjelp av denne implementasjonen har jeg undersøkt rollen utrulling spiller i algoritmen. Dette var en sentral del av tidligere arbeid i feltet og fremdeles brukt i AlphaGo, men ikke i AlphaGo Zero og AlphaZero. Flere eksperimenter har blitt gjennomført for å få empiriske data for om utrulling fremdeles kan være en gunstig del av denne nyskapende kombinasjonen av teknikker, og hvordan disse i så fall bør gjennomføres. Selv om det var noen indikasjoner i dataene på at utrulling har liten eller ingen positiv effect er disse resultatene stort sett ikke entydige. Noen svakheter i oppsettet har blitt identifisert og noen nye spørsmål har blitt oppdaget. Men arbeidet har resultert i et funksjonelt system som kan brukes til videre undersøkelser av problemområdet og enten gi mer entydige data eller innsikt i nye spørsmål