Monte Carlo method in Reinforcement Learning

Celem pracy jest rozwiązanie problemu decyzyjnego Markowa (MDP). Korzystamy z programowania dynamicznego, w sytuacji w której znamy dynamikę MDP – używamy algorytm iteracji strategii oraz algorytm iteracji wartości. Z kolei, gdy nie znamy dynamiki MDP stosujemy metody Monte Carlo. Część pracy poświęcona jest także algorytmowi Q-learning. Jego działanie prezentujemy poprzez rozwiązanie problemu taxi-v2 w programie Python.The aim of the work is to solve the Markov decision problem (MDP). We use dynamic programming in a situation in which we know the dynamics of MDP - we use the strategy iteration algorithm and the value iteration algorithm. On the other hand, when we do not know the MDP dynamics, we use Monte Carlo methods. Part of the work is also devoted to the Q-learning algorithm. We present its operation by solving the taxi-v2 problem in Python