Continuous pose estimation of handheld device by fusion of visio-inertial data for pedestrian navigation applications in urban environments

Pour assister la navigation piétonne dans les espaces urbains et intérieurs, une estimation précise de la pose (i.e. la position 3D et l'orientation3D) d'un équipement tenu en main constitue un point essentiel dans le développement d'outils d'aide à la mobilité (e.g. applications de réalité augmentée). Dans l'hypothèse où le piéton n'est équipé que d'appareils grand public, l'estimation de la pose est limitée à l'utilisation de capteurs à faible coût intégrés dans ces derniers (i.e. un récepteur GNSS, une unité de mesure inertielle et magnétique et une caméra monoculaire). De plus, les espaces urbains et intérieurs, comprenant des bâtiments proches et des éléments ferromagnétiques, constituent des zones difficiles pour la localisation et l'estimation de la pose lors de grands déplacements piétons.Cependant, le développement récent et la mise à disposition d'informations contenues dans des Systèmes d'Information Géographiques 3D constituent une nouvelle source de données exploitable pour la localisation et l'estimation de la pose. Pour relever ces défis, cette thèse propose différentes solutions pour améliorer la localisation et l'estimation de la pose des équipements tenus en main par le piéton lors de ses déplacements en espaces urbains et intérieurs. Les solutions proposées intègrent l'estimation de l'attitude basée inertielle et magnétique, l'odométrie visuelle monoculaire mise à l'échelle grâce à l'estimation des déplacements du piéton, l'estimation absolue de la pose basée sur la reconnaissance d'objets SIG 3D parfaitement connus et la mise à jour en position de la navigation à l'estime du piéton.Toutes ces solutions s'intègrent dans un processus de fusion permettant d'améliorer la précision de la localisation et d'estimer en continu une pose qualifiée de l'appareil tenu en main.Cette qualification est nécessaire à la mise en place d'un affichage en réalité augmentée sur site. Pour évaluer les solutions proposées, des données expérimentales ont été recueillies au cours de déplacements piétons dans un espace urbain avec des objets de référence et des passages intérieurs.To support pedestrian navigation in urban and indoor spaces, an accurate pose estimate (i.e. 3Dposition and 3D orientation) of an equipment held inhand constitutes an essential point in the development of mobility assistance tools (e.g.Augmented Reality applications). On the assumption that the pedestrian is only equipped with general public devices, the pose estimation is restricted to the use of low-cost sensors embedded in the latter (i.e. an Inertial and Magnetic Measurement Unit and a monocular camera). In addition, urban and indoor spaces, comprising closely-spaced buildings and ferromagnetic elements,constitute challenging areas for localization and sensor pose estimation during large pedestrian displacements.However, the recent development and provision of data contained in 3D Geographical Information System constitutes a new wealth of data usable for localization and pose estimation.To address these challenges, this thesis proposes solutions to improve pedestrian localization and hand-held device pose estimation in urban and indoor spaces. The proposed solutions integrate inertial and magnetic-based attitude estimation, monocular Visual Odometry with pedestrian motion estimation for scale estimation, 3D GIS known object recognition-based absolute pose estimation and Pedestrian Dead-Reckoning updates. All these solutions are fused to improve accuracy and to continuously estimate a qualified pose of the handheld device. This qualification is required tovalidate an on-site augmented reality display. To assess the proposed solutions, experimental data has been collected during pedestrian walks in an urban space with sparse known objects and indoors passages