Uma abordagem combinada de planejamento baseado em modelo e aprendizado por reforço para locomoção bípede

Orientador: Esther Luna ColombiniDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Os avanços na robótica e o crescimento correspondente de seu uso em aplicações de serviço estão impulsionando a procura por robôs que possam operar em uma variedade de ambientes projetados para humanos. Em particular, robôs humanoides são bastante úteis para tarefas de serviço, uma vez que podem navegar e interagir de forma semelhante aos humanos nos ambientes. No entanto, o controle de movimento de tais robôs ainda é um desafio devido ao seu complexo espaço de estados e ações e de sua natureza contínua. As técnicas de aprendizado estão se tornando uma abordagem promissora para lidar com tais problemas, mas ainda é uma tarefa computacionalmente cara, portanto proibitiva para um alto número de graus de liberdade. Neste cenário, projetamos um modelo simplificado do movimento de um robô humanoide baseado em um controle generalizado de caminhada bípede, onde a parte superior do robô funciona como um pêndulo invertido 3D que pode ser desacoplado da parte inferior. Os testes foram realizados em simulação e os resultados mostram que conseguimos controlar com sucesso dois modelos distintos de robôs: Atlas, da Boston Dynamics, e Marta. Os parâmetros do modelo foram otimizados através de métodos de aprendizado para alcançar um melhor desempenho do sistemaAbstract: The advancements in robotics and the corresponding growth of their use in service applications are driving the area to search for robots that can operate in a variety of environments designed for humans. In particular, humanoid robots are quite useful for service tasks once they can navigate and similarly interact with such environments as humans. However, the movement control of such robots is still a hard challenge due to its complex state and action space and its continuous nature. Learning techniques are becoming a promising approach to deal which such problems, but it is still a computationally expensive task, thus prohibitive for a high number of degrees of freedom. In this scenario, we aim at designing a simplified model for learning the motion of a humanoid robot based on a generalized biped walking control where the upper part of the robot works as a 3D inverted pendulum that we can uncouple from the lower part. The tests were performed in simulation and we were able to successfully control two distinct robot models: Boston Dynamics Atlas and Marta. The model parameters were optimized through learning methods to achieve a better performance of the systemMestradoCiência da ComputaçãoMestre em Ciência da ComputaçãoCAPE