Using CPGs and computational intelligence techniques in the gait generation of humanoid robots

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2014.Nesse trabalho foi realizado o estudo de técnicas bio-inspiradas para gerar a marcha de um robô bípede. Foi utilizado o conceito de CPG, Central Pattern Generator (CPG), que é uma rede neural capaz de produzir respostas rítmicas. Elas foram modeladas como osciladores acoplados chamados de osciladores neurais. Para tanto foram utilizados alguns modelos de osciladores, o modelo de Matsuoka, o modelo de Kuramoto e o modelo de Kuramoto com acoplamento entre a dinâmica do oscilador e a dinâmica da marcha. Foram usados dois modelos de robôs, o Bioloid e o NAO. Para otimizar os parâmetros dos osciladores foram utilizados o Algoritmo Genético (AG), o Particle Swarm Optimization (PSO) e o Nondominated sorting Genetic Algorithm II (NSGA-II). Foi utilizada uma função de custo que através de determinadas condições tem como objetivo obter uma marcha eficiente. No NSGA-II, além dessa função de custo, foi utilizada outra função de custo que considera o trabalho realizado pelo robô. Além disso, também foi utilizada a aprendizagem por reforço para treinar um controlador que corrige a postura do robô durante a marcha. Foi possível propor um framework para obter os parâmetros dos osciladores e através dele obter uma marcha estável em ambas as plataformas. Também foi possível propor um framework utilizando aprendizagem por reforço para treinar um controlador para corrigir a postura do robô com a marcha sendo gerado pelo oscilador de Kuramoto com acoplamento. O objetivo do algoritmo foi minimizar a velocidade do ângulo de arfagem do corpo do robô, dessa forma, a variação do ângulo de arfagem também foi minimizada consequentemente. Além disso, o robô andou mais “cautelosamente” para poder manter a postura e dessa forma percorreu uma distância menor do que se estivesse sem o controlador. ______________________________________________________________________________ ABSTRACTThis document describes computational optimized bipedal robot gait generators. Thegaits are applied by a neural oscillator, composed of coupled central pattern generators(CPG), which are neural networks capable of producing rhythmic output. The models ofthe oscillators used were the Matsuoka model, Kuramoto model and Kura moto model withcoupling between the dynamics of the oscillator and dynamics of the gait. Two bipedalrobots, a NAO and a Bioloid, were used. The neural oscillators were optimized with threealgorithms, a Genetic Algorithm (GA), Particle Swarm Optimization (PSO) and Nondominatedsorting Genetic Algorithm II (NSGA-II). It was used a fitness function that has theobjective to obtain an efficient gait through some conditions. In NSGA-II, besides this fitnessfunction, another one was used that has the objective to minimize the work done by therobot. Additionally, reinforcement learning techniques were used to train a controller thatcorrects the robots gait posture. It was proposed a framework to obtain the parameters of theoscillators used and obtain efficient gaits in both robots. Also, it was proposed a frameworkusing reinforcement learning to train a controller to correct the robots gait posture. The objective of the algorithm was to minimize the pitch angular velocity, consequently the pitchangle standard deviation was minimized. Additionally, the robot moved with more “caution” and walked less compared with the walk without the posture controller