3D visual tracking and inter-robot communication through full-body gestures

In this thesis, we consider inter-robot communication in robot convoying settings. In particular, we investigate passive communication for radio-denied environments by using whole-body gestures performed by an underwater robot to provide cues regarding future actions. We first focus on visually detecting and tracking the 3D pose of autonomous underwater vehicles to enable robust multi-robot convoying. We follow the approach of tracking-by-detection, which combines the robust, drift-free nature of object detection with the temporal consistency of tracking algorithms. Our approach relies on a multi-output convolutional network that jointly predicts the target robot's presence in the image, its 2D bounding box, and its 3D orientation. This, combined with camera intrinsic parameters and prior knowledge of the robot's scale, allows us to recover the full 6-degree-of-freedom pose of the target robot. We then leverage the tracked pose to develop a visual communication protocol whereby information is transmitted through codewords: a series of actions executed by the swimming robot. These sequences are chosen to optimize robustness and transmission efficiency given the observability, natural activity of the robot and the frequency of different messages. The observer robot then uses an adaptation of classical decoding methods to infer the transmitted message. To train our network, we rely exclusively on synthetic images and we test our system on underwater datasets in both pool and ocean settings. Our evaluation demonstrates successful generalization of both the learned tracking model and the visual communication protocol to real underwater footage of the target robot.Dans cette thèse, nous considérons la communication inter-robot dans les environnements de convoi de robots. En particulier, nous étudions la communication passive pour les environnements sans radio en utilisant des gestes du corps entier exécutés par un robot sous-marin afin de fournir des indices sur les actions à venir. Nous nous concentrons d'abord sur la détection visuelle et le suivi de la pose 3D de véhicules sous-marins autonomes afin de permettre un convoyage multi-robot robuste. Nous suivons l'approche du suivi par détection, qui conjugue la nature robuste et sans dérive de la détection d'objet et la cohérence temporelle des algorithmes de suivi. Notre approche repose sur un réseau convolutionnel à plusieurs sorties qui prédit conjointement la présence du robot dans l'image, son cadre de délimitation 2D et son orientation 3D. Ceci, combiné aux paramètres intrinsèques de la caméra et à la connaissance préalable de la taille du robot, nous permet de récupérer la pose complète à 6 degrés de liberté du robot. Nous exploitons ensuite la pose suivie pour développer un protocole de communication visuelle dans lequel de l'information est transmise via des mots de code (ou codewords): une série d'actions exécutées par le robot nageur. Ces séquences sont choisies pour optimiser la robustesse et l'efficacité de la transmission en fonction de l'observabilité, de l'activité naturelle du robot et de la fréquence des différents messages. Le robot observateur utilise ensuite une adaptation des méthodes de décodage classiques pour déduire le message transmis. Pour entraîner notre réseau, nous nous basons exclusivement sur des images synthétiques et nous testons notre système sur des jeux de données sous-marins en piscine et en océan. Notre évaluation démontre la généralisation réussie du modèle de suivi appris et du protocole de communication visuelle sur de vraies images sous-marines du robot