Cartographie sémantique hybride de scènes urbaines à partir de données image et Lidar

With the democratization of collaborative navigation applications and autonomous robots, mobile mapping has received an increasing attention in recent years, both in academic and industrial circles. The digitization of the environment not only provides detailed and extensive knowledge enabling end-users to anticipate and plan their journeys, but also guarantees the availability of reliable up-to-date information in critical scenarios (e.g., when sensors of an autonomous car fail to perceive the surroundings). Mobile mapping raises, however, many challenges in terms of robustness, accuracy and scalability. Processing mapping data requires methods that are able to handle massive data with centimetric accuracy while coping with the acquisition specificities i.e., variability in levels of detail, occlusions, strong variations in lighting conditions, etc.In the context of the french ANR project pLaTINUM, this thesis focuses on the development of a global geolocalised map of an urban environment made of 3D representations based on geometric, photometric and semantic information. Firstly, a comparative investigation of the suitable geometric representation options yields to the reconstruction of a large scale, high definition map through a textured 3D mesh. This representation is the result of a multi-modal fusion of oriented images and geo-referenced LiDAR scans acquired by a terrestrial mobile mapping platform. Subsequently, we propose to infer high level semantics to the reconstructed frame by exploiting the complementarity between the two acquisition modalities (photometry and geometry). Throughout the rich literature regarding this subject, we have identified a need of an annotated multi-modal urban dataset comprising a large scale textured mesh. This has led us to produce our own dataset composed of 3D point clouds, 2D geolocalized panoramic and perspective images, depth and reflectance maps, and a 3D textured mesh with the corresponding ground truth annotations for each modality.Secondly, we assume that the global map is represented by means of 3D point cloud structured by an adjacency graph. We introduce a novel supervised over-segmentation approach. This method operates in two steps: (i) local descriptors of 3D points are computed via deep metric learning, (ii) the point cloud is partitioned into uniform clusters called superpoints. The descriptors are learned such that they present high contrast at the interface between objects, thereby encouraging the partition to follow their natural contours. Our experiments on indoor and outdoor scenes show the clear superiority of our approach over state-of-the-art point cloud partitioning methods. We further illustrate how our method can be combined with a superpoint-based classification algorithm to enhance the performance of semantic segmentation of 3D point clouds, also improving the state-of-the-art in this field.Finally, we extend this approach to textured meshes. Triangles, structured this time by the dual graph of the mesh, are partitioned into homogeneous groups called superfacets. Much like point clouds, local descriptors of the textured mesh are learned so that the boundaries of the objects exhibit high contrast. These descriptors are the result of merging descriptors learned from the convolution of the mesh edges on the one hand, and the texture descriptors extracted from the 2D image domain on the other. The experiments conducted on our own multi-modal dataset, show the superiority of our approach compared to state-of-the-art methods for the task of 3D mesh over-segmentationAvec la démocratisation des applications collaboratives d’assistance à la navigation et l'avènement de robots autonomes, la cartographie mobile suscite ces dernières années une attention croissante, tant dans les milieux académiques qu’industriels. La numérisation de l’environnement offre non seulement une connaissance fine et exhaustive permettant aux usagers d’anticiper et de planifier leurs déplacements, mais garantit aussi la disponibilité d’informations fiables notamment en cas d'éventuelle défaillance des capteurs visuels d’un véhicule autonome. S’agissant d’un enjeu crucial pour une navigation fiable, la cartographie mobile soulève en revanche de nombreux défis en matière de robustesse, de précision et de passage à l’échelle. Cette problématique fait appel à des méthodes qui requièrent une capacité de traitement de données massives avec une précision centimétrique tout en gérant les spécificités de l’acquisition (la variabilité du niveau de détails, des occultations et des fortes variations de luminosité).Cette thèse porte sur le développement d’un référentiel global géolocalisé de l’environnement urbain constitué de représentations 3D géométriques, photométriques et sémantiques. Dans un premier temps, une investigation approfondie de la représentation la plus adaptée à un tel référentiel, permet une reconstruction d’une carte haute définition à large échelle sous forme d’un maillage 3D texturé. Cette représentation est mise en place par fusion multimodale d’images orientées et de balayages LiDAR géo-référencés acquis depuis une plateforme de cartographie mobile terrestre. Par la suite, nous proposons d'intégrer l'aspect sémantique au référentiel 3D reconstruit en exploitant la complémentarité entre les modalités d'acquisition photométriques et géométriques. À travers la riche littérature sur le sujet, nous identifions l'absence d’un jeu de données urbain multimodal annoté incluant un maillage texturé à large échelle. Nous abordons ce verrou par la production d'un jeu de données composé de nuages de point 3D, d’images 2D perspectives et panoramiques, de cartes de profondeur et de reflectance ainsi qu’un maillage texturé avec les annotations correspondantes à chaque modalité.Dans un second temps, nous considérons le référentiel comme un nuage de points structuré par un graphe d’adjacence. Nous introduisons une nouvelle approche de sur-segmentation par apprentissage supervisé. Cette méthode opère en deux temps: calcul de descripteurs locaux des points 3D par apprentissage profond de métrique, puis partition du nuage de points en zones uniformes, appelées superpoints. Les descripteurs sont appris de telle sorte qu'ils présentent de forts contrastes à l'interface entre objets, incitant la partition résultante à suivre leurs contours naturels. Nos expériences sur des scènes intérieures et extérieures montrent la nette supériorité de notre approche sur les méthodes de partition de nuage de points de l'état de l'art, qui ne reposaient pas jusqu'à là sur l’apprentissage machine. Nous montrons également que notre méthode peut être combinée à un algorithme de classification de superpoints pour obtenir d'excellents résultats en terme de segmentation sémantique, améliorant aussi l'état de l'art sur ce sujet.Enfin, nous étendons cette approche aux maillages texturés. Les triangles, structurés cette fois-ci par le graphe d'adjacence du maillage, sont partitionnés en groupes homogènes appelés superfacettes. À l’instar des nuages de points, des descripteurs locaux du maillage texturé sont appris de façon à ce que les frontières d'objets sémantiquement distincts présentent un contraste élevé. Ces descripteurs sont le résultat d’une fusion des descripteurs appris sur le maillage par convolution des arêtes d’une part, et des descripteurs de texture d’autre part. Les expériences réalisées sur notre jeu de données illustrent la supériorité de notre approche par rapport aux méthodes de l'état de l'art de sur-segmentation de maillag