Simulating Multi-Agent Systems Using Deep Reinforcement Learning

Förstärkande inlärning har fått mycket uppmärksamhet under de senaste åren, främst genom att det används för att lära datorer för att spela video- och brädspel. I denna rapport undersöks hur väl algoritmer från detta område kan användas för att lösa ett problem med flera agenter. Problemet med flera agenter som ska lösas är att lära robotar hur man kan transportera föremål genom ett lager utan att kollidera. En Q-learning-baserad algoritm föreslås för att lösa problemet. På grund av problem med skalbarhet föreslås också en DQN-baserad algoritm. Problem med skalbarhet uppstår i system med högre komplexitet, i system som kännetecknas av flera agenter eller en stor miljö. Det visas att Q-learning misslyckas med att lära sig en bra strategi på rimlig tid. Simuleringar görs för att illustrera beteendet hos de föreslagna algoritmerna. Resultaten av simuleringarna tyder på att DQN klarar sig betydligt bättre jämfört med Q-learning när problemets dimensioner är större. Reinforcement Learning has been getting a lot of attention in recent years, mostly through its use in teaching computers to play video and board games. In this report it is investigated how well algorithms from this area can be used to solve a multi-agent problem. The multi-agent problem to be solved is teaching robots how to transport items through a warehouse without colliding. A Q-learning based algorithm is proposed to solve the problem. Because of the scalability issues a DQN based algorithm is also proposed. The scalability issues arise in systems of higher complexity, in systems characterized by multiple agents or a large environment. It is shown that Qlearning fails to learn a good strategy in a reasonable time. Simulations are made to illustrate the behaviour of the proposed algorithms. The results of the simulations suggest that DQN performs considerably better compared to Q-learning when the dimensions of the problem are larger