Perception multimodale de l’homme pour l’interaction Homme-Robot

This thesis focuses on multimodal perception of man for Interaction Human-Robot (IHR). It was financed by the ANR restrained RIDDLE (2012-2015). This project focuses on the development of an assistance robot for elderly people with mild cognitive impairment. This aims to meet a growing need home help for the elderly living alone. Indeed, the aging population growing, it is estimated that 33% of French have more than 60 years in 2060. The challenge is to program an interactive robot (via its perceptual abilities) able to learn the relationship between the user and a subset of everyday objects of that or of the relevant objects, present or possibly lost in the shared space of the robot and the user. In this context, there are still many obstacles to be overcome, particularly in terms of: (i) joint perception of man and his environment, (ii) integration of a robotic system, (iii) validation scenarios involving the robot and an elderly person in interaction with some everyday objects. The project objective is to see the robot answer questions on ten common items (defined by a preliminary study on a population that complains of cognitive disorders) through appropriate actions.For example, the robot signal the location of an object by moving toward him, grasping or giving oral information as to its position if the object is not reachable. The RIDDLE multistakeholder project: it includes the Magellium society, Gérontopôle Toulouse, MINC team LAAS-CNRS and the company Aldebaran Robotics which the robot must serve as a platform for the final demonstrations. This thesis was jointly supervised by Frederic and Isabelle Lerasle Ferran ed faculty respectively in the RAP teams LAAS-CNRS and SAMoVA IRIT-UPS. During this project, we, in partnership with the Gérontopôle defined a robotic scenario involving three main phases. A monitoring phase when the robot is far away from the user and the observed position, waiting for a request of interaction, a phase of proximal interaction where the robot is closer to the user and interacts with it, and finally the transition that enables the robot to move from one phase to another. This scenario is constructed so as to create a robot proactive interaction but non-intrusive. The non-invasive nature is embodied by the monitoring phase. Proactivity is, in turn, evidenced by the creation of an e intentionality detector enabling the robot to understand non-verbal way the will of the user to communicate with him. The scientific contributions of this thesis cut across various aspects of the project: the robotic scenario, the intentionality detector, a filtering technique particle swarm, and finally a Bayesian technique improvement of the word error rate from ' distance information. This thesis is divided into four chapters. The first deals with the intentionality detector, the second of the developed filter technology, the third phase of the proximal interaction and techniques employed, and the last chapter focuses on robotic implementations.Cette thèse porte sur la perception multimodale de l'homme pour l'Interaction Homme-Robot (IHR). Elle a été financée par le projet ANR Contint RIDDLE (2012 - 2015). Ce projet est centré sur le développement d'un robot d'assistance pour les personnes âgées atteintes de troubles cognitifs légers. Celui-ci a pour but de répondre à un besoin grandissant d'aide à domicile envers les personnes âgées vivant seules. En effet, la population vieillissant de plus en plus, on estime qu'environ 33% des français auront plus de 60 ans en 2060. L'enjeu est donc de programmer un robot interactif (via ses capacités perceptuelles) capable d'apprendre la relation entre l'usager et un sousensemble d'objets du quotidien de ce dernier, soit des objets pertinents, présents ou possiblement égarés dans l'espace partagé du robot et de l'usager. Dans ce cadre, il reste de nombreux verrous à lever, notamment en termes de : (i) perception conjointe de l'homme et de son environnement, (ii) d'intégration sur un système robotisé, (iii) de validation par des scénarii mettant en jeu le robot et une personne âgée en interaction avec quelques objets usuels. La finalité du projet est de voir le robot répondre aux interrogations relatives à une dizaine d'objets courants (définis par une étude préliminaire sur une population qui se plaint de troubles cognitifs) par des actions appropriées. Par exemple, le robot signalera l'emplacement d'un objet en se déplaçant vers lui, en le saisissant ou en donnant des indications orales quant à sa position si l'objet n'est pas atteignable. Le projet RIDDLE est multipartenaire : il regroupe la société Magellium, le Gérontopôle de Toulouse, l'équipe MINC du LAAS-CNRS et l'entreprise Aldebaran Robotics dont le robot doit servir de plateforme pour les démonstrations finales. Cette thèse a été co-encadrée par Frédéric Lerasle et Isabelle Ferran é respectivement enseignants-chercheurs dans les équipes RAP du LAAS-CNRS et SAMoVA de l'IRIT-UPS. Lors de ce projet, nous avons, en partenariat avec le gérontopôle, défini un scénario robotique regroupant trois phases principales. Une phase de monitoring où le robot se trouve loin de l'utilisateur et l'observe de sa position, en attente d'une demande d'interaction, une phase d'interaction proximale où le robot se trouve proche de l'utilisateur et interagit avec lui, et enfin la transition qui permet au robot de passer d'une phase à l'autre. Ce scénario est donc construit de manière à créer un robot d'interaction proactif mais non-intrusif. Le caractère non-intrusif est matérialisé par la phase de monitoring. La proactivité est, quant à elle, matérialisée par la création d'un détecteur d'intentionnalit é permettant au robot de comprendre de manière non-verbale la volonté de l'utilisateur de communiquer avec lui. Les contributions scientifiques de cette thèse recoupent divers aspects du projet : le scénario robotique, le détecteur d'intentionnalité, une technique de filtrage par essaim de particules, et enfin une technique bayésienne d'amélioration du taux d'erreur de mot à partir d'informations de distance. Cette thèse est divisée en quatre chapitres. Le premier traite du détecteur d'intentionnalité, le deuxième de la technique de filtrage développée, le troisième de la phase d'interaction proximale et des techniques employées, et enfin le dernier chapitre est centré sur les implémentations robotiques