SLAM et fusion de données pour le véhicule autonome : des approches classiques aux méthodes d’apprentissage en profondeur

Self-driving cars have the potential to provoke a mobility transformation that will impact our everyday lives. They offer a novel mobility system that could provide more road safety, efficiency and accessibility to the users. In order to reach this goal, the vehicles need to perform autonomously three main tasks: perception, planning and control. When it comes to urban environments, perception becomes a challenging task that needs to be reliable for the safety of the driver and the others. It is extremely important to have a good understanding of the environment and its obstacles, along with a precise localization, so that the other tasks are well performed. This thesis explores from classical approaches to Deep Learning techniques to perform mapping and localization for autonomous vehicles in urban environments. We focus on vehicles equipped with low-cost sensors with the goal to maintain a reasonable price for the future autonomous vehicles. Considering this, we use in the proposed methods sensors such as 2D laser scanners, cameras and standard IMUs. In the first part, we introduce model-based methods using evidential occupancy grid maps. First, we present an approach to perform sensor fusion between a stereo camera and a 2D laser scanner to improve the perception of the environment. Moreover, we add an extra layer to the grid maps to set states to the detected obstacles. This state allows to track an obstacle overtime and to determine if it is static or dynamic. Sequentially, we propose a localization system that uses this new layer along with classic image registration techniques to localize the vehicle while simultaneously creating the map of the environment. In the second part, we focus on the use of Deep Learning techniques for the localization problem. First, we introduce a learning-based algorithm to provide odometry estimation using only 2D laser scanner data. This method shows the potential of neural networks to analyse this type of data for the estimation of the vehicle's displacement. Sequentially, we extend the previous method by fusing the 2D laser scanner with a camera in an end-to-end learning system. The addition of camera images increases the accuracy of the odometry estimation and proves that we can perform sensor fusion without any sensor modelling using neural networks. Finally, we present a new hybrid algorithm to perform the localization of a vehicle inside a previous mapped region. This algorithm takes the advantages of the use of evidential maps in dynamic environments along with the ability of neural networks to process images. The results obtained in this thesis allowed us to better understand the challenges of vehicles equipped with low-cost sensors in dynamic environments. By adapting our methods for these sensors and performing the fusion of their information, we improved the general perception of the environment along with the localization of the vehicle. Moreover, our approaches allowed a possible comparison between the advantages and disadvantages of learning-based techniques compared to model-based ones. Finally, we proposed a form of combining these two types of approaches in a hybrid system that led to a more robust solution.L'arrivée des voitures autonomes va provoquer une transformation très importante de la mobilité urbaine telle que nous la connaissons, avec un impact significatif sur notre vie quotidienne. En effet, elles proposent un nouveau système de déplacement plus efficace, plus facilement accessible et avec une meilleure sécurité routière. Pour atteindre cet objectif, les véhicules autonomes doivent effectuer en toute sécurité et de manière autonome trois tâches principales: la perception, la planification et le contrôle. La perception est une tâche particulièrement difficile en milieu urbain, car elle se doit d'être suffisamment précise pour assurer à la fois la sécurité du conducteur et celle des autres. Il est décisif d’avoir une bonne compréhension de l’environnement et de ses obstacles, ainsi qu’une localisation précise, afin que les autres tâches puissent être performantes. L'objectif de cette thèse est d'explorer différentes techniques pour la cartographie et la localisation des voitures autonomes en milieu urbain, en partant des approches classiques jusqu'aux algorithmes d'apprentissage profond. On s'intéresse plus spécifiquement aux véhicules équipés de capteurs bon marché avec l'idée de maintenir un prix raisonnable pour les futures voitures autonomes. Dans cette optique, nous utilisons dans les méthodes proposées des capteurs comme des scanner laser 2D, des caméras et des centrales inertielles à bas coût. Dans la première partie, nous introduisons des méthodes classiques utilisant des grilles d'occupation évidentielles. Dans un premier temps, nous présentons une nouvelle approche pour faire de la fusion entre une caméra et un scanner laser 2D pour améliorer la perception de l'environnement. De plus, nous avons ajouté une nouvelle couche dans notre grille d'occupation afin d'affecter un état à chaque objet détecté. Cet état permet de suivre l'objet et de déterminer s'il est statique ou dynamique. Ensuite, nous proposons une méthode de localisation s'appuyant sur cette nouvelle couche ainsi que sur des techniques de superposition d'images pour localiser le véhicule tout en créant une carte de l'environnement. Dans la seconde partie, nous nous intéressons aux algorithmes d'apprentissage profond appliqués à la localisation. D'abord, nous introduisons une méthode d'apprentissage pour l'estimation d'odométrie utilisant seulement des données issues de scanners laser 2D. Cette approche démontre l'intérêt des réseaux de neurones comme un bon moyen pour analyser ce type de données, dans l'optique d'estimer le déplacement du véhicule. Ensuite, nous étendons la méthode précédente en fusionnant le laser scanner 2D avec une caméra dans un système d'apprentissage de bout-en-bout. L'ajout de cette caméra permet d'améliorer la précision de l'estimation d'odométrie et prouve qu'il est possible de faire de la fusion de capteurs avec des réseaux de neurones. Finalement, nous présentons un nouvel algorithme hybride permettant à un véhicule de se localiser dans une région déjà cartographiée. Cet algorithme s'appuie à la fois sur une grille évidentielle prenant en compte les objets dynamiques et sur la capacité des réseaux de neurones à analyser des images. Les résultats obtenus lors de cette thèse nous ont permis de mieux comprendre les problématiques liées à l'utilisation de capteurs bon marché dans un environnement dynamique. En adaptant nos méthodes à ces capteurs et en introduisant une fusion de leur information, nous avons amélioré la perception générale de l'environnement ainsi que la localisation du véhicule. De plus, notre approche a permis d'identifier les avantages et inconvénients entre les différentes méthodes classiques et d'apprentissage. Ainsi, nous proposons une manière de combiner ces deux types d'approches dans un système hybride afin d'obtenir une localisation plus précise et plus robuste