Vision based motion generation for humanoid robots

This manuscript present my research activities on real-time vision-based behaviors for complex robots such as humanoids. The underlying main scientific question structuring this work is the following: "What are the decisional processes which make possible for a humanoid robot to generate motion in real-time based upon visual information ?" In soccer humans can decide to kick a ball while running and when all the other players are constantly moving. When recast as an optimization problem for a humanoid robot, finding a solution for such behavior is generally computationally hard. For instance, the problem of visual search consider in this work is NP-complete. The first part of this work is concerned about real-time motion generation. Starting from the general constraints that a humanoid robot has to fulfill to generate a feasible motion, some core problems are presented. From this several contributions allowing a humanoid robot to react to change in the environment are presented. They revolve around walking pattern generation, whole body motion for obstacle avoidance, and real-time foot-step planning in constrained environment. The second part of this work is concerned about real-time acquisition of knowledge on the environment through computer vision. Two main behaviors are considered: visual-search and visual object model construction. They are considered as a whole taking into account the model of the sensor, the motion cost, the mechanical constraints of the robot, the geometry of the environment as well as the limitation of the vision processes. In addition contributions on coupling Self Localization and Map Building with walking, real-time foot-steps generation based on visual servoing are presented. Finally the core technologies developed in the previous contexts were used in different applications: Human-Robot interaction, tele-operation, human behavior analysis. Based upon the feedback of several integrated demonstrators on the humanoid robot HRP-2, the last part of this thesis tries to draw some directions where innovative ideas may break some current technical locks in humanoid robotics.Ce manuscrit présente mes activités de recherche sur les comportements basés vision pour des robots complexes comme les robots humanoïdes. La question scientifique sous-jacente qui structure ce travail est la suivante: " Quels sont les processus de décisions qui permettent à un robot humanoïde de générer des mouvements en temps réel basés sur des informations visuelles ?" Au football, les êtres humains peuvent décider de frapper une balle alors qu'ils courent et que tous les autres joueurs sont constamment en train de bouger. Reformuler comme un problème d'optimisation pour un robot humanoïde, trouver une solution pour un tel comportement est généralement très difficile du point de vue calculatoire. Par exemple, le problème de la recherche visuelle a été démontré comme étant NP-complet. La première partie de ce travail concerne la génération de mouvements temps réel. Partant des contraintes générales qu'un robot humanoïde doit remplir pour générer un mouvement faisable, des problèmes fondamentaux sont présentés. A partir de ceux-ci, plusieurs contributions permettant à un robot humanoïde de réagira à des changements de l'environnement sont présentés. Ils concernent la génération de la marche, les mouvements corps complets pour éviter des obstacles, et la planification de pas en temps réel dans des environnements contraints. La deuxième partie de ce travail concerne l'acquisition temps-réel de connaissance sur l'environnement à partir de la vision par ordinateur. Deux comportements principaux sont considérés: la recherche visuelle et la construction d'un modèle visuel d'un objet. Ils sont considérés tout en prenant compte le modèle du capteur, le coût du mouvement, les contraintes mécaniques du robot, la géométrie de l'environnement ainsi que les limitations du processus de vision. De plus des contributions sur le couplage de l'auto-localisation basé cartes avec la marche, la génération de pas basé sur l'asservissement visuel seront présentés. Finalement les technologies centrales développées dans les contextes précédents ont été utilisées dans différentes applications: l'interaction homme-robot, la téléopération, l'analyse de mouvement humains. Basé sur le retour d'expérience de plusieurs démonstrateurs intégrés sur le robot humanoïde HRP-2, la dernière partie de cette thèse proposent des pistes pour des idées permettant de lever les verrous technologiques actuels de la robotique humanoïde