Advanced machine learning algorithms in implementation of automatic system replacing the player in chosen video games

Poniższa praca ma na celu odtworzenie wyników otrzymanych przez Mnih et al. w 2015 roku oraz wyciągnięcie wniosków na ich podstawie. Zaimplementowany zostaje algorytm nazywany przez Mnih et al. Deep Q-Learning, który jest połączeniem metody Q-Learning z głębokimi, konwolucyjnymi sieciami neuronowymi. Wykorzystanie tych metod w kontekście gier wideo umożliwia stworzenie systemu zastępującego gracza, który nie wymaga poznania cech typowych dla poszczególnej gry.Sieć neuronowa przyjmuje na warstwie wejściowej ostatnie cztery klatki z gry w formie tabeli przekonwertowanych pikseli. Każdy neuron na warstwie wyjściowej odpowiada akcji możliwej do wykonania w ramach gry -- z kolei wartość na neuronie to oszacowany wynik punktowy po wybraniu rzeczonej akcji. Strategia optymalna polega na wyborze akcji odpowiadającej neuronowi z największym wynikiem. Sieć trenowana jest za pomocą propagacji wstecznej i algorytmu Adam z użyciem punktacji, jaka została przyznana przez grę po wykonaniu określonej akcji. Badanie zostało przeprowadzone z powodzeniem -- model z badań Mnih et al. odtworzono poprawnie, a odwzorowywany algorytm osiągnął satysfakcjonujące wyniki w analizowanych grach. Dane otrzymane w trakcie treningu pokazują, że strategia opracowana przez algorytm po pełnym cyklu jest znacznie bardziej efektywna niż taktyka całkowicie losowa. Agent regularnie odnosi zwycięstwa, co wymaga zdobycia znacznej wiedzy na temat możliwych stanów w danej grze oraz odnalezienia optymalnych strategii. Opisane zostały również problemy związane z odwzorowaniem modelu na maszynie o znacznie słabszych podzespołach niż te wykorzystywane przez Mnih et al. Badanie pokazuje, że Deep Q-Learning może zostać zaimplementowany na komputerze domowym, bez potrzeby wykorzystywania specjalistycznych klastrów.The aim of the following paper is to reproduce results of Mnih et al. study from 2015 and draw conclusions from the acquired data. The implemented algorithm is called by Mnih et al. "Deep Q-Learning" and it is a combination of the Q-Learning method with deep convolutional neural networks. Usage of these methods in context of video games makes it possible to create a system replacing the player without the requirement of knowing main features particular to the game.The neural network takes the four last frames from the game as an input, represented by an array of converted pixels. Every neuron on output layer represents an action in the game - and the value corresponding to this neuron is the estimated score after taking the mentioned action. The network is trained with the backpropagation algorithm and Adam algorithm using the scores awarded after taking a particular action.The study has been successful - the model from Mnih et al. study was reproduced correctly and the algorithm achieved satisfactory results in analyzed games. Data gathered during the training shows that the strategy developed by the algorithm after a full training cycle is far more effective than a random strategy. Agent is capable of winning the game, which requires considerable knowledge about the game states and finding optimal strategies. The study also describes problems concerning reproducing the model on a machine with far ulterior components than those used in Mnih et al study. In conclusion, it can be shown that the Deep Q-Learning network can be used on a home personal computer, without the need of using a specialized cluster