Safety of automotive systems using Machine Learning

Les réseaux de neurones profonds sont impliqués dans le processus de prise de décision des voitures autonomes où des vies sont en jeu quand bien même ces réseaux ne sont pas toujours fiables. Dans cette thèse, nous proposons d'améliorer la sûreté des réseaux de neurones en utilisant des réseaux d'observateurs, dit ObsNet, pour détecter les comportements anormaux d'un réseau de neurones cible. Les voitures autonomes utilisent des modèles de Deep Learning pour construire une représentation de leurs environnements, c'est-à-dire où sont les piétons, vers où se dirige la moto, ou encore, quelle est la couleur du feu de signalisation. Les réseaux de neurones profonds sont le résultat d'un schéma d'apprentissage sophistiqué, d'une architecture de modèle complexe et de la construction d'un jeu de données à la fois abondantes et variées. Ainsi, les prédictions des réseaux de neurones s'avèrent parfois difficiles à interpréter et peu fiables.Pour résoudre ce problème, nous introduisons une architecture mettant en oeuvre réseau neuronal supplémentaire, appelé ObsNet, un modèle dédié à la détection rapide et précise des anomalies dans la segmentation des scènes de route. Ce réseau auxiliaire observe les activations internes d'un réseau cible afin de déclencher une alerte lorsqu'il rencontre une prédiction non fiable. Nous entraînons le réseau observateur sur les erreurs d'un réseau cible gelé, laissant ses performances prédictives inchangées pour la tâche primaire de la segmentation d'images.Pour notre première contribution, nous utilisons les prédictions d'un oracle pour superviser l'entraînement du réseau auxiliaire. L'ObsNet apprend à prédire une incertitude basée sur la divergence de prédiction entre le réseau cible et l'oracle. Notre méthode met en évidence une forte détection des erreurs pour les images corrompues par des artefacts comme l'éblouissement du soleil ou la pluie. Pour notre deuxième contribution, nous utilisons des attaques adverses locales pour aider à stabiliser l'apprentissage lorsque peu de données significatives peuvent être fournies à l'observateur. Nous montrons que l'ObsNet résultant réussit à détecter les objets en dehors de la distribution pour la segmentation sémantique. Nous obtenons des résultats compétitifs pour la détection d'objets hors distribution, tout en limitant le temps d'exécution total.Dans notre troisième contribution, nous ciblons la détection d'anomalies pour la segmentation d'instances. Nous récupérons des masques d'instance pour agréger et filtrer les prédictions d'erreur par pixel afin d'améliorer la localisation et la segmentation de l'objet d'intérêt. Notre méthode permet de segmenter de façon homogène les instances et de supprimer le bruit en arrière-plan comparé aux autres méthodes.Enfin, nous intégrons un ObsNet à une LearningCar pour construire, à travers ce démonstrateur, une application de nos résultats de notre recherche. Nous montrons comment intégrer un réseau observateur et un réseau de segmentation dans un système embarqué en temps réel avec des ressources limitées.Deep neural networks (DNNs) are involved in the decision making process of automated cars where lives are at stake even if their predictions are not always reliable. In this thesis, we propose to improve safety of DNNs by using Observer Networks, ObsNet, to track abnormal behaviors of a target neural network. Automated cars use Deep Learning models to gather a representation of their environment, i.e. where are the pedestrians, where the motorcycle is heading to, or which color is the traffic sign. DNNs are the outcome of a complex training scheme, architecture design, and data feeding. Thus, the predictions of DNNs are, in many occasions, difficult to explain and untrustworthy.To solve the problem, we introduce an additional neural network, called ObsNet, a dedicated framework for fast and accurate anomaly detection in road image segmentation. This auxiliary network observes the internal activations of a target network to raise an alert when it encounters an unsafe prediction. We train the observer network on the failure of a frozen target network, leaving its predictive performance unchanged for the downstream task of image segmentation. For our first contribution, we use an oracle prediction to guide the training of the auxiliary network. The ObsNet learns to predict a divergence based uncertainty. We highlight strong errors detection for images corrupted with artifacts like sun glare or rain. For our second contribution, we leverage Local Adversarial Attack (LAA) to help stabilize the training when a few meaningful data can be provided to the observer. We show that the resulting ObsNet succeeds in detecting Out-of-Distribution (OoD) objects for semantic segmentation. We obtain State-of-the-Art results for OoD detection on challenging dataset, while limiting the run-time overhead.For our third contribution, we target anomaly detection for instance segmentation. We retrieve instance masks to aggregate and filter pixels-wise error predictions to improve the localization of the object of interest. Our method better segments individual instances and removes background noise compared to other methods.Lastly, we embed an ObsNet on a LearningCar to build a real-time demo of our research outcomes. We show how to integrate an observer network and a segmentation network into a safety-critical system with limited resources