Undersöker parameteruppsättningar för snabbare konvergens hos Q-learning med Snake

In this paper we explore the field of reinforcement learning which has proven to be successful at solving problems of random nature. Such problems can be video games, for example the classical game of Snake. The main focus of the paper is to analyze the speed, measured in Q-table updates, at which an agent can learn to play Snake by using Q-learning, specifically with a Q-table approach. This is done by changing a set of hyperparameters, one at the time, and recording the effects on training. From this, we were able to train the agent with only 225 000 Q-table updates, which took 7 seconds on a regular laptop processor, and achieve a high score of 52 (34 % cover of the grid). We were able to train the agent with only 100 000 updates but it came with reliability issues such as in some training sessions it did not perform well at all.I denna rapport utforskar vi ämnet reinforcement learning som har visat sig vara en framgångsrik metod för att lösa problem vars problemformulering inte är specifikt detaljerad. Sådana problem kan vara datorspel, till exempel det klassiska spelet Snake. Huvudfokuset i rapporten ligger i att analysera hur snabbt en agent kan lära sig spela spelet Snake. Algoritmen som analyseras är Q-learning med ett Q-table där snabbhet mäts i antalet Q-table uppdateringar. Detta görs genom att ändra en mängd hyperparametrar, en åt gången, och notera dess effekt på träningen. Utifrån detta kunde vi träna agenten med enbart 225 000 Q-table uppdateringar, vilket i realtid tog 7 sekunder på en vanlig bärbar dator, som högst uppnådde 52 poäng (34 % täckning av spelplanen). Vi kunde träna på betydlig mindre uppdateringar, närmare 100 000, men med mindre chans att lyckas bra. Ibland kunde en träningssession resultera i mycket dåliga resultat