Multisensor data fusion for autonomous driving and advanced driver-assistance systems

Cette thèse s'inscrit dans le cadre d'une synergie entre le Groupe Renault, l'Onéra et le Gipsa-lab sur la problématique du suivi multi-objets étendus avec des approches bayésiennes. Les applications visées sont la lutte anti-drone pour l'Onéra, et les aides à la conduite pour le Groupe Renault.Pour chacune des applications, l'objectif est d'estimer les paramètres cinématiques d'objets étendus dans un espace surveillé par un ou plusieurs capteurs. Un objet étendu est une entité dynamique dont la taille est plus grande que la résolution d'un capteur extéroceptif: il génère plusieurs mesures par balayage du capteur. Le but est de déterminer ses paramètres cinématiques, ainsi qui son extension.Dans les applications visées par ces travaux, plusieurs objets étendus doivent être estimés simultanément. Le suivi multi-objets s'intéresse à l'estimation conjointe du nombre d'objets et de leur état cinématique.Les ensembles aléatoires finis proposent une modélisation élégante de ce problème. Ils modélisent l'ensemble du système mutli-objets avec une vraisemblance des mesures et un modèle d'évolution pour le système multi-objets complet, avec l'aide de densités de probabilités mutli-objets. Malheureusement, le modèle de mesure standard est incompatible avec les cibles étendues: il y est fait l'hypothèse d'objets retournant au plus une mesure.Pour traiter les cibles étendues, deux méthodes sont proposées. D'abord un modèle bayésien, le modèle des matrices aléatoires, utilisant des densités de probabilités sur les matrices de covariance gaussiennes, puis un algorithme de type réseau de neurones convolutifs.Pour les deux applications, la problématique du suivi multi-objets est traitée avec la modélisation offerte par les ensembles aléatoires finis. En revanche, pour la modélisation des objets étendus, les solutions diffèrent puisque la quantité de données disponibles n'est pas la même pour chaque application. Pour le suivi de groupes de drones, nous disposons de peu de données, donc nous avons adopté un modèle bayésien complet pour les cibles étendues, les matrices aléatoires. Tandis que pour le véhicule autonome, de grandes quantités de données étaient disponibles, ce qui a permis l'utilisation de réseaux de neurones pour la détection et l'estimation d'objets étendus.This thesis is a collaboration between the research teams of the Renault Group, the ONERA, and the Gipsa-lab. It is interested in multiple object tracking using small or large datasets and the modelization of extended objects with Bayesian modelization tools.Our work stands at the crossroad of two applications: the estimation of road users' kinematic parameters for the Renault Group and the prevention of drone intrusions in restricted aerial spaces for the ONERA. For both applications, the main objective is to estimate the kinematic parameters of extended objects traveling in an area covered by heterogeneous sensors.An extended object is a dynamic entity whose shape and size are larger than the cell resolution of an exteroceptive sensor: it generates multiple measurements per sensor scan. The goal is to estimate its kinematic parameters and its extent.Multiple extended objects need to be estimated simultaneously in this work: it is a Multi-Object Tracking (MOT) problem. MOT is interested in the joint estimation of the number of objects in a field of view and their state.To tackle the MOT problem, we have used Random Finite Set (RFS) filters. The RFS representation models directly measurement likelihood and the evolution model of the whole multi-object system, with the help of multi-object probability densities. However, the standard measurement model assumes that the objects generate at most one measurement, which is not the case of extended objects. We have dealt with extended objects using two methods: first, a Bayesian modeling approach, the Random Matrix model, and second an off-the-shelf deep learning algorithm.Both the automotive and the groups of drones tracking applications rely on a Random Finite Sets modelization of the multi-object system. However, for the extended objects, the solutions differ since the groups of drones tracking application provides small datasets, contrary to the automotive one. Hence, to track drones we adopt a promising exhaustive Bayesian modelization, relying on the Random Matrix model to estimate extended objects. The automotive application benefits from large datasets. Thus, the extended objects can be detected using deep learning. From a certain point of view, the Bayesian modelization of the extent is equivalent to learning the data features with a deep learning algorithm on a large dataset, except a human does it on a small dataset