Towards a robust framework for visual human-robot interaction

This thesis presents a vision-based interface for human-robot interaction and control for autonomous robots in arbitrary environments. Vision has the advantage of being a low-power, unobtrusive sensing modality. The advent of robust algorithms and a significant increase in computational power are the two most significant reasons for such widespread integration. The research presented in this dissertation looks at visual sensing as an intuitive and uncomplicated method for a human operator to communicate in close-range with a mobile robot. The array of communication paradigms we investigate includes, but are not limited to, visual tracking and servoing, programming of robot behaviors with visual cues, visual feature recognition, mapping and identification of individuals through gait characteristics using spatio-temporal visual patterns and quantifying the performance of these human-robot interaction approaches. The proposed framework enables a human operator to control and program a robot without the need for any complicated input interface, and also enables the robot to learn about its environment and the operator using the visual interface. We investigate the applicability of machine learning methods – supervised learning in particular – to train the vision system using stored training data. A key aspect of our work is a system for human-robot dialog for safe and efficient task execution under uncertainty. We present extensive validation through a set of human-interface trials, and also demonstrate the applicability of this research in the field on the Aqua amphibious robot platform in the under water domain. While ourframework is not specific to robots operating in the under water domain, vision under water is affected by a number of issues, such as lighting variations and color degradation, among others. Evaluating the approach in such difficult operating conditions provides a definitive validation of our approach.Cette thèse présentera une interface basée sur la vision qui permet l'intéraction entre humains et robots et aussi le control de robots autonomes parcourant des environments indéfinis. La vision à l'avantage d'être une modalité sensorielle discrète et à faible puissance. La probabilité d'algorithmes complexes et une hausse significative de puissance computationelle sont deux des raisons les plus importantes d'en faire une intégration si répandue. La recherche présentée dans cette dissertation évalue la détection visuelle comme méthode simple et intuitive pour un opérateur humain de communiquer à courte portée avec un robot mobil. L'ensemble des modèles communicationnels étudiés inclus, sans tous les nommés, la localisation et l'inspection visuelle, l'utilisation de signaux visuels pour la programmation comportemental de robots, la reconnaissance visuelle, la reconnaissance d'individus par leurs mouvements corporels caractéristiques utilisant des motifs visuels spatio-temporels tout en quantifiant la performance de cette approche à l'intéraction entre humains et robots. La structure proposée permet à l'opérateur humain de programmer et contôler un robot sans la nécessité d'une interface à entrée de données complexe. Cette structure permet aussi au robot de reconnaître des caractéristiques clés de son environment et de son opérateur humain par l'ulisation d'une interface visuelle. L'étude de l'appplication possible des méthodes d'apprentissage ulitilisées par certaines machines, toujours sous supervision, permet d'entraîner le système visuel à utiliser ses bases de données. Un aspect important de cette recherche est l'élaboration d'un système de dialogues entre humains et robots permettant l'exécution sécuritaire et efficace de tâches aux délimitations incertaines. On présente une ample validation à travers de nombreux essais utilisant notre interface avec l'aide de cobayes humains. On démontre aussi les applications possibles de cette recherche au sein des utilisations aquatiques du Aqua, robot amphibien à plateforme. Alors que notre structure de recherche ne se spécialise pas dans la robotique aquatique, la vision sous l'eau est toujours affectée par de nombreux facteurs, notamment la lumunosité variante et la dégradation de couleur. L'évaluation de l'approche nécessaire dans de telles conditions opérationnelles difficiles crée une validation définitive de notre recherche