Uppskalning av maximal entropisk djup omvänd förstärkt inlärning med övergångslärning

In this thesis an issue with common inverse reinforcement learning algorithms is identified, which causes them to be computationally heavy. A solution is proposed which attempts to address this issue and which can be built upon in the future. The complexity of inverse reinforcement algorithms is increased because at each iteration something called a reinforcement learning step is performed to evaluate the result of the previous iteration and guide future learning. This step is slow to perform for problems with large state spaces and where many iterations are required. It has been observed that the problem solved in this step in many cases is very similar to that of the previous iteration. Therefore the solution suggested is to utilize transfer learning to retain some of the learned information and improve speed at subsequent steps. In this thesis different forms of transfers are evaluated for common reinforcement learning algorithms when applied to this problem. Experiments are run using value iteration and Q-learning as the algorithms for the reinforcement learning step. The algorithms are applied to two route planning problems and it is found that in both cases a transfer can be useful for improving calculation times. For value iteration the transfer is easy to understand and implement and shows large improvements in speed compared to the basic method. For Q-learning the implementation contains more variables and while it shows an improvement it is not as dramatic as that for value iteration. The conclusion drawn is that for inverse reinforcement learning implementations using value iteration a transfer is always recommended while for implementations using other algorithms for the reinforcement learning step a transfer is most likely recommended but more experimentation needs to be conducted.I denna uppsats identifieras ett vanligt problem med algoritmer för omvänd förstärkt inlärning vilket leder till att de blir beräkningstunga. En lösning föreslås som försöker addressera problemet och som kan byggas på i framtiden. Komplexiteten i algoritmer för omvänd förstärkt inlärning ökar på grund av att varje iteration kräver ett så kallat förstärkt inlärnings-steg som har som syfte att utvärdera föregående iteration och guida lärandet. Detta steg tar lång tid att genomföra för problem med stor tillståndsrymd och där många iterationer är nödvändiga. Det har observerats att problemet som löses i detta steg i många fall är väldigt likt det problem som löstes i föregående iteration. Därför är den föreslagna lösningen att använda sig av informationsöverföring för att ta tillvara denna kunskap. I denna uppsats utvärderas olika former av informationsöverföring för vanliga algoritmer för förstärkt inlärning på detta problem. Experiment görs med value iteration och Q-learning som algoritmerna för förstärkt inlärnings-steget. Algoritmerna appliceras på två ruttplanneringsproblem och finner att i båda fallen kan en informationsöverföring förbättra beräkningstider. För value iteration är överföringen enkel att implementera och förstå och visar stora förbättringar i hastighet jämfört med basfallet. För Qlearning har implementationen fler variabler och samtidigt som en förbättring visas så är den inte lika dramatisk som för value iteration. Slutsaterna som dras är att för implementationer av omvänd förstärkt inlärning där value iteration används som algoritm för förstärkt inlärnings-steget så rekommenderas alltid en informationsöverföring medan för implementationer som använder andra algoritmer så rekommenderas troligtvis en överföring men fler experiment skulle behöva utföras