Upper body tracking and Gesture recognition for Human-Machine Interaction

Robots are artificial agents that can act in humans' world thanks to perception, action and reasoning capacities. In particular, robots companion are designed to share with humans the same physical and communication spaces in performing daily life collaborative tasks and aids. In such a context, interactions between humans and robots are expected to be as natural and as intuitive as possible. One of the most natural ways is based on gestures and reactive body motions. To make this friendly interaction possible, a robot companion has to be endowed with one or more capabilities allowing him to perceive, to recognize and to react to human gestures. This PhD thesis has been focused on the design and the development of a gesture recognition system that can be exploited in a human-robot interaction context. This system includes (1) a limbs-tracking algorithm that determines human body position during movements and (2) a higher-level module that recognizes gestures performed by human users. New contributions were made in both topics. First, a new approach is proposed for visual tracking of upper-body limbs. Analyzing human body motion is challenging, due to the important number of degrees of freedom of the articulated object modeling the upper body. To circumvent the computational complexity, each limb is tracked with an Annealed Particle Filter and the different filters interact through Belief Propagation. 3D human body is described as a graphical model in which the relationships between the body parts are represented by conditional probability distributions. Pose estimation problem is thus formulated as a probabilistic inference over a graphical model, where the random variables correspond to the individual limb parameters (position and orientation) and Belief Propagation messages ensure coherence between limbs. Secondly, we propose a framework allowing emblematic gestures detection and recognition. The most challenging issue in gesture recognition is to find good features with a discriminant power (to distinguish between different gestures) and a good robustness to intrinsic gestures variability (the context in which gestures are expressed, the morphology of the person, the point of view, etc.). In this work, we propose a new arm's kinematics normalization scheme reflecting both the muscular activity and arm's appearance when a gesture is performed. The obtained signals are first segmented and then analyzed by two machine learning techniques: Hidden Markov Models and Support Vector Machines. The two methods are com- pared in a 5 classes emblematic gestures recognition task. Both systems show good performances with a minimalistic training database regardless to performer's anthropometry, gender, age or pose with regard to the sensing system. The work presented here has been done within the framework of a PhD thesis in joint supervision between the "Pierre et Marie Curie" University (ISIR laboratory, Paris) and the University of Genova (IIT-Tera department) and was labeled by the French-Italian University.Les robots sont des agents artificiels qui peuvent agir dans le monde des humains grâce aux capacités de perception. Dans un contexte d'interaction homme-robot, les humains et les robots partagent le même espace de communication. En effet, les robots compagnons sont censés communiquer avec les humains d'une manière naturelle et intuitive: l'une des façons les plus naturelles est basée sur les gestes et les mouvements réactifs du corps. Pour rendre cette interaction la plus conviviale possible, un robot compagnon doit, donc, être doté d'une ou plusieurs capacités lui permettant de percevoir, de reconnaître et de réagir aux gestes humains. Cette thèse a été focalisée sur la conception et le développement d'un système de reconnaissance gestuelle dans un contexte d'interaction homme-robot. Ce système comprend un algorithme de suivi permettant de connaître la position du corps lors des mouvements et un module de niveau supérieur qui reconnaît les gestes effectués par des utilisateurs humains. De nouvelles contributions ont été apportées dans les deux sujets. Tout d'abord, une nouvelle approche est proposée pour le suivi visuel des membres du haut du corps. L'analyse du mouvement du corps humain est difficile, en raison du nombre important de degrés de liberté de l'objet articulé qui modélise la partie supérieure du corps. Pour contourner la complexité de calcul, chaque membre est suivi avec un filtre particulaire à recuit simulé et les différents filtres interagissent grâce à la propagation de croyance. Le corps humain en 3D est ainsi qualifié comme un modèle graphique dans lequel les relations entre les parties du corps sont représentées par des distributions de probabilité conditionnelles. Le problème d'estimation de la pose est donc formulé comme une inférence probabiliste sur un modèle graphique, où les variables aléatoires correspondent aux paramètres des membres individuels (position et orientation) et les messages de propagation de croyance assurent la cohérence entre les membres. Deuxièmement, nous proposons un cadre permettant la détection et la reconnaissance des gestes emblématiques. La question la plus difficile dans la reconnaissance des gestes est de trouver de bonnes caractéristiques avec un pouvoir discriminant (faire la distinction entre différents gestes) et une bonne robustesse à la variabilité intrinsèque des gestes (le contexte dans lequel les gestes sont exprimés, la morphologie de la personne, le point de vue, etc). Dans ce travail, nous proposons un nouveau modèle de normalisation de la cinématique du bras reflétant à la fois l'activité musculaire et l'apparence du bras quand un geste est effectué. Les signaux obtenus sont d'abord segmentés et ensuite analysés par deux techniques d'apprentissage : les chaînes de Markov cachées et les Support Vector Machine. Les deux méthodes sont comparées dans une tâche de reconnaissance de 5 classes de gestes emblématiques. Les deux systèmes présentent de bonnes performances avec une base de données de formation minimaliste quels que soient l'anthropométrie, le sexe, l'âge ou la pose de l'acteur par rapport au système de détection. Le travail présenté ici a été réalisé dans le cadre d'une thèse de doctorat en co-tutelle entre l'Université "Pierre et Marie Curie" (ISIR laboratoire, Paris) et l'Université de Gênes (IIT - Tera département) et a été labelisée par l'Université Franco-Italienne