Esquisses tridimensionnelles dans la réalité augmentée

L'objectif de la réalité augmentée (RA) est de fusionner des impressions sensorielles artificielles et naturelles pour aboutir à une perception totale cohérente. L'utilisateur doit avoir l'impression que le monde physique a été complété avec des objets virtuels dans lequel il peut interagir raisonnablement. Il est également possible de générer des impressions sensorielles artificielles pour l'ouïe, l'odorat, le goût et le toucher. Cette thèse utilise la technique de la RA pour fusionner deux types d'informations visuelles : d'une part des informations naturelles et d'autre part des informations artificielles. Ces informations peuvent provenir de collections de données existantes ayant une relation spatiale au monde physique, mais également d'enregistrement de nouveaux objets et de leur géométrie. La communication des données spatiales ayant une signification spécifique est rendue possible avec d'autres ou avec soi-même. Les informations du monde physique et celles du monde virtuel sont prises en compte simultanément. Une des formes les plus importantes de communication graphique dans le quotidien est l'esquisse à main levée. Cette thèse propose une méthode permettant de dessiner directement des esquisses virtuelles dans le monde physique. Pour cela nous utilisons la notion d' `` esquisse tridimensionnelle ''. L'information dessinée doit non seulement être représentée en 2D, mais également en 3D et devient de ce fait représentable avec différentes perspectives. La représentation tridimensionnelle de l'objet est nécessaire pour le rendre observable en perspective. Il s'agit donc d'une esquisse tridimensionnelle d'un objet de l'espace. Les esquisses utilisent seulement un petit nombre de primitives, et donnent une signification sémantique dans leur contexte et leur combinaison. Cette thèse cherche à définir le principe de la génération de ces esquisses tridimensionnelles. Ce type de saisie est approprié si la mesure de la géométrie n'exige pas une précision élevée. C'est le cas pour des applications nécessitant rapidement d'une information géométrique sans dépendre de la reproduction exacte de cette géométrie. Bien que la précision de saisie avec l'ARS (Système de Réalité Augmentée) soit limitée jusqu'à présent, ces systèmes permettent d'acquérir des données spatiales en peu de temps. Les données sont rapidement disponibles car la mesure, le calcul, la modélisation et le contrôle de qualité sont effectués en une seule étape. Par conséquent, un champ d'application pour ces esquisses tridimensionnelles est la saisie de l'état des lieux à l'issue de catastrophes, situation dans laquelle la rapidité des mesures est nécessaire. L'esquisse tridimensionnelle doit compléter le dessin bidimensionnel de la carte de situation et/ou de l'esquisse de situation. Généralement, seules des esquisses bidimensionnelles sont dessinées pour la gestion des catastrophes. Les représentations tridimensionnelles et spatiales sont à peine utilisées. En effet, le dessin spatial tridimensionnel à main levée est difficile pour les personnes inexpérimentées. Pourtant les informations tridimensionnelles jouent un rôle important. Par exemple, pour les dommages sur les grands bâtiments à plusieurs étages, la représentation en plan est insuffisante pour décrire la situation. La visualisation tridimensionnelle dans de tels cas permettra d'améliorer la description spatiale des dommages. Pour pouvoir utiliser la RA lors de catastrophes, des exigences particulières doivent être satisfaites. Le système doit pouvoir être utilisé dans un domaine d'application étendu, il doit pouvoir échanger des informations entre plusieurs intervenants, les objets spatiaux ne sont pas toujours accessibles et leur localisation est inconnue. Les procédures classiques de production des esquisses dans un environnement de RA ne sont pas appropriées pour la gestion de catastrophes. Cette thèse présente une nouvelle méthode où les géométries peuvent être décrites dans le monde physique et des esquisses de situation peuvent être produites sur site. Nous montrons comment ces données tridimensionnelles peuvent être intégrées avec d'autres informations dans un concept général de gestion de savoir pour des catastrophes. Pour ces applications, le système nécessite des capteurs qui fournissent l'orientation et la position quelque soit le rayon d'action. La position est alors saisie avec un GPS et l'orientation est déterminée avec un système de navigation inertielle (INS). Lors de la présentation l'utilisateur peut choisir entre deux variantes du système : la fusion des images du monde physique et virtuel a lieu soit à l'aide de lunettes à RA (monocle) ou d'images d'une caméra vidéo qui sont superposées avec des images générées par un ordinateur. Pour la superposition avec une caméra vidéo, on utilise une caméra vidéo Unibrain Fire-i avec différentes résolutions possibles de 640x480, de 320x240 ou de 160x120 pixels et un écran d'un ordinateur portatif. La mise au point de la caméra est fixe pour ce projet et la distance focale est constante. Le système Microvision Nomad a été utilisé pour l'autre variante qui se base sur la superposition à l'aide de lunettes à RA (monocle). Ce dernier convient pour des applications extérieures en raison de sa transparence et de sa luminosité particulièrement adaptée. On peut ainsi rendre visibles des informations dans des conditions d'éclairage difficiles, par exemple lors de mesures avec le ciel en arrière-plan. Ces constituants principaux sont fixés sur le cadre d'un sac à dos. Le récepteur GPS (relié à une barre), un tripode, la caméra, le système inertiel et une valise d'aluminium sont transportables dans un sac à dos. Tous les câbles, les batteries et l'ordinateur portatif sont rangés dans une valise. Lorsque le monocle est utilisé, un système IMU (Inertial Measurement Unit) doit être attaché à la boîte du monocle, parce que l'orientation de la tête peut se différencier de l'orientation de la caméra. Pour fusionner la scène du monde physique et la scène du monde virtuel dans une image, on définit un modèle mathématique du processus de la superposition. Les paramètres inconnus du processus sont déterminés par un étalonnage. Une méthode originale de calibrage du système a été développée, étant donnée qu'aucun procédé efficace n'a été trouvé dans la bibliographie. Le modèle mathématique est décrit par un système d'équations non linéaires résolu de manière itérative. Pour déterminer la précision du système INS, une méthode pour estimer le comportement des erreurs a été développée, sans que des appareils supplémentaires soient nécessaires. Pour l'estimation des erreurs, on impose au capteur de tourner autour d'un axe fixe, lorsqu'il est mis en oeuvre sur une surface plane. Puisque cette méthode se base sur un principe géométrique simple, elle n'exige pas d'installations techniques complexes visant le réexamen de l'état de marche des capteurs. Pour la création d'un prototype du système, cette méthode permet de choisir le capteur approprié parmi une liste de capteurs disponibles et facilite la compréhension des erreurs de calibrage. Les capteurs considérés diffèrent du point de vue des valeurs absolues des erreurs ainsi que des erreurs systématiques. L'orientation de l'espace 3D est décrit par trois angles (coordonnées angulaires) définis dans un système de coordonnées spécifique. Dans ce travail, une étude porte également sur le choix approprié du système de coordonnées et la définition des coordonnées angulaires. On peut ainsi montrer que les différentes coordonnées angulaires n'ont pas les mêmes erreurs maximales et que les erreurs sont dépendantes de la vitesse du mouvement du capteur pendant la mesure d'angle. Les erreurs peuvent être interprétées physiquement : la différence de la valeur absolue maximale des erreurs entre les capteurs s'explique par le fait que l'observation de la direction du fil à plomb est plus précise que l'observation de la direction donnée du champ magnétique terrestre dans le cas particulier de notre système. En outre, la procédure d'intégration du système IMU est à l'origine d'erreurs systématiques. Le système utilisé est une adaptation des systèmes de compensation en bloc par les faisceaux bien connus en photogrammétrie. La convergence des calculs dépend de différents facteurs, comme par exemple le nombre d'inconnues, la configuration des photos, le choix des valeurs approchées, etc. Différentes stratégies de résolution pour l'ajustement en bloc ont été développées. Dans la méthode décrite dans cette thèse, la convergence dépend de la structure du modèle mathématique. Pour la description des relations entre les modèles mathématiques, une nouvelle notation est proposée, appropriée à une description formelle du processus global d'étalonnage. Les précisions ont été déterminées empiriquement, et indiquées pour tous les paramètres et toutes les étapes. En particulier une approche de détermination des paramètres visant le calibrage d'un ERS basée simultanément sur les mesures INS et GPS est confrontée à d'autres approches de la littérature. On peut montrer que la précision de détermination des paramètres du système peut être augmentée de manière significative dans le cadre d'une approche fermée. Lors de la formalisation du processus de calibrage, une nouvelle présentation facilitant la représentation des transitions entre modèles structurels est présentée. Par la nouvelle présentation le processus d'étalonnage total peut être représenté sans lacunes et les différences entre modèles peuvent être décrites plus facilement. Les avantages d'une approche fermée sont dus en particulier à la prise en compte des erreurs lors de la détermination du centre de projection et de l'orientation de la caméra. Si ceux-ci ne sont pas pris en compte, cela peut conduire à une erreur considérablement plus grande sur les points-images. La reproduction des erreurs devrait ainsi être prise en compte ou compensée dans un modèle fermé. Puisque la qualité du calibrage influence la précision de la géométrie de l'esquisse, l'attention doit être portée au calibrage du système. Dans notre approche, l'utilisateur du système doit avoir l'impression qu'il dessine des esquisses directement, comme avec un crayon dans le monde physique tridimensionnel. Il en résulte qu'on peut non seulement dessiner sur la surface des objets du monde physique, mais aussi dans l'espace en général. Cette idée peut pratiquement être mise en oeuvre par l'utilisateur qui choisi les points d'un polygone avec un pointeur piloté par une souris d'ordinateur ou un système équivalent. Puisque l'utilisateur avec les lunettes à RA (monocle) ou la caméra vidéo peut se déplacer librement pendant le dessin, les points mesurés sur l'image ne font pas partie du même système de coordonnées-images. Les points-images mesurés doivent être constamment ajustés au mouvement et constamment transformés dans de nouveaux systèmes de coordonnées-images, afin que le dessin puisse être rendu visible dans l'image en mouvement. S'il y avait des coordonnées tridimensionnelles pour les points mesurés sur les images, il serait facile de calculer les paramètres de la transformation. Mais on ne dispose de coordonnées-images qu'au début de l'expérience. Pour ce problème, une méthode d'approximation a été développée, dans laquelle les points-images peuvent être ajustés au mouvement de l'utilisateur, sans que les coordonnées tridimensionnelles soient connues. Pour générer l'image transformée de l'esquisse dessinée à partir de la scène observée dans l'hypothèse d'une rotation de la caméra ou de l'œil et bien qu'il n'y ait pas de représentation tridimensionnelle pour l'esquisse, une méthode a été élaborée pour permettre à l'utilisateur de s'orienter pendant le dessin lors de constructions auxiliaires. Pour calculer les coordonnées tridimensionnelles, l'esquisse doit être dessinée avec différentes perspectives. Des éléments des polygones peuvent être construits sur l'esquisse à partir de différents points de vue. Les polygones dans l'espace objet sont ainsi observés par l'intermédiaire de la construction des esquisses tridimensionnelles. Les points mesurés qui décrivent les polygones ne se trouvent pas dans un plan-image, puisque l'opérateur peut se déplacer librement pendant qu'il décrit l'espace. Les points sont dessinés sur l'image avec la souris à partir d'au moins deux points de vue différents. Des erreurs peuvent résulter du choix des points représentant l'objet mesuré. D'autres sources d'erreurs peuvent provenir des capteurs et des calculs des coordonnées des points-images, ou être causées par l'opérateur qui peut oublier la nature des points mesurés au fur et à mesure de la saisie. Il peut en résulter que le polygone dessiné dans l'espace physique ne corresponde pas au même lieu physique. Comme on dispose d'au moins deux faisceaux de rayons et que chaque faisceau de rayons décrit une surface qui peut correspondre à une multitude de polygones, on pourra déterminer les polygones observés dans l'espace physique par minimisation des distances entre polygones. Les procédures proposées ont été appliquées à différents exemples et les résultats des tests sont analysés dans la thèse. Les perspectives et futurs développements sont présentés en conclusion