Formation control of a multi-robot system using reinforcement machine learning

U ovom radu, održavanje formacije multirobotskog sustava realizirano je korištenjem pristupa vođa-pratitelj i algoritma potpornog učenja Duple duboke Q-mreže. Navedeni su radovi na ovu temu te su prikazane prednosti i mane pristupa korištenih u tim radovima. Na temelju tih radova odabran je pristup ovom radu. Osnovni koncepti potrpornog učenja su objašnjeni kao i potreba za korištenjem umjetnih neuronskih mreža u riješavanju problema potpornog učenja. Također, algoritam DDQN je objašnjen. Svi alati potrebni za izvršavanje simulacija kao i eksperimenata na pravim robotima su prikazani i opisani. U radu su testirani razni parametri DDQN algoritma te je prikazan njihov utjecaj na rezultate učenja. Prikazana je potreba za odvajanjem problema dolaska na cilj i zadržavanja na cilju. Na kraju, izvršeni su eksperimenti u pravom svijetu te su rezultati uspoređeni sa rezultatima iz simulacije.In this paper, the reinforcement learning algorithm Double deep Q-networks algorithm was implemented to solve the formation control problem using the leader-follower approach. Related work is discussed to find the best possible approach for this paper. Some basic reinforcement learning concepts are introduced, and the need for artificial neural networks in solving reinforcement learning problems is explained. Also, Double deep Q-networks algorithm is introduced. Tools used for simulations and experiments are presented. Multiple different parameters of the reinforcement learning parameters were tested to result in the best possible RL model. Graphs that explain the impact of these parameter changes are presented. The need for two different models to separate formation-reaching and formation-keeping is explained. Finally, a real-life experiment was conducted, and results are compared with simulation