Suivi Hybride en présence d'Occultations pour la Réalité Augmentée

One of the major challenges of augmented reality is the registration of virtual objects on real scene. Several localization techniques were proposed in litterature to improve registration. The hybrid tracking which combines various technologies and methods, seems to open a new way to overcome different problems related to accuracy and robustness. In this work, we developed a multimodal tracking architecture to handle targets occlusions in augmented reality applications. The multimodal approach combines different sensors and techniques which are associated according to the real environment conditions. This architecture consists of a registration module of coded targets based on a hybrid algorithm of pose estimation. However, this tracking algorithm based coded fiducials fails if the visual markers are not completely visible. Therefore, we extended this space-time method of localization by a module of feature points tracking and occlusions management. This step is based on the study of the tracking properties and on the adaptation and the management of various experimental conditions. Finally, a multi-sensors tracking part is included into our software design approach. This module of architecture is composed of a hybrid device which overcomes total targets occlusion problem. Experiments with the overall system and many evaluations showed the interest of the proposed multimodal approach for tracking and occlusion management in augmented reality. This work allowed to define a base of necessary criteria for an effective implementation of a robust and multisensors tracking architecture in augmented reality environments.Un des défis majeurs de la réalité augmentée est celui de l'alignement spatial des objets virtuels sur le monde réel. Plusieurs techniques de localisation par la vision ont été proposées dans la littérature pour améliorer le recalage virtuel. Le suivi hybride qui combine différentes technologies et méthodes semble ouvrir une nouvelle voie d'utilisation pour combler les divers problèmes liés à la précision et à la robustesse des algorithmes. Dans ce travail, nous avons développé une architecture multimodale de suivi de cibles et de gestion d'occultations en réalité augmentée. L'approche multimodale consiste à combiner différents capteurs et techniques, associés en fonction des conditions réelles de l'environnement. Cette architecture est constituée d'un module de tracking de cibles codées basé sur un algorithme hybride d'estimation de pose. Toutefois, cet algorithme de suivi de cibles est mis en échec si les marqueurs visuels ne sont pas entièrement visibles. Nous avons étendu donc, cette méthode de localisation spatio-temporelle par un module de suivi de points caractéristiques en présence d'occultations partielles des cibles. Cette étape se fonde sur l'étude des propriétés du suivi robuste des points d'intérêts et sur l'adaptation et la gestion des différentes conditions expérimentales. Enfin, une partie de suivi multi-capteurs est incluse dans notre démarche de conception logicielle. Ce dernier module de l'architecture est composé d'un dispositif hybride de tracking permettant de pallier les occultations totales des cibles. Des expérimentations avec le système global et de nombreuses évaluations ont servi à montrer l'intérêt de l'approche multimodale proposée pour le suivi et la gestion d'occultations en réalité augmentée. Le travail réalisé a permis de définir une base de critères nécessaires pour une mise en oeuvre efficace d'une architecture de suivi robuste et multi-capteurs dans un environnement de réalité augmentée