Applying a co-design methodology to the definition and the implementation of an operational SLAM processing chain

Dans le domaine de la détection et du suivi d'obstacles pour les systèmes ADAS (Advanced Driver Assistance System) basés vision, il est nécessaire d'assurer la localisation à court terme du véhicule. Le SLAM (Simultaneous Localization and Mapping) basé vision propose de résoudre ce problème en combinant l’estimation de l’état du véhicule (pose dans un repère local et vitesses) et une modélisation incrémentale de l’environnement. Ce dernier est perçu par l'extraction de caractéristiques locales (points d'intérêt) dans une séquence d'images et leur suivi au cours du temps pour permettre la construction incrémentale d'une carte d'amers. Cette tâche de perception engendre une importante charge de calcul qui affecte très significativement la latence et la cadence du système. Les méthodologies de co-design permettent de concevoir une architecture mixte de calcul pour l“exécution d'une application particulière. Dans ce type d'architecture, l'utilisation d'accélérateurs matériels permet d'améliorer significativement les performances (temps d'exécution, encombrement, consommation). Le ZynQ (Xilinx) propose une architecture de prototypage mixte comprenant un processeur dual-core associé à des ressources matérielles configurables. L'objectif de cette thèse est donc de proposer une implémentation co-design d'un SLAM basé vision par la conception d'accélérateurs pour les opérations de vision afin de satisfaire les contraintes en performances des systèmes ADAS embarqués. La première contribution des travaux est la conception de cette chaîne complète 3D EKF-SLAM à l'aide une approche co-design. Nous avons défini et validé, selon notre méthodologie de conception, le choix d'une architecture Hardware-in-theloop (HIL) afin de valider les différentes itérations de conception. La seconde contribution est l'intégration de modules matériels dédiés pour accélérer les traitements de perception visuelle de cette chaîne (détection, description et mise en correspondance de points d’intérêt).In the field of obstacle detection and tracking for vision-based ADAS (Advanced Driver Assistance System), it is necessary to perform short-term vehicle localisation. Vision based SLAM (Simultaneous Localization and Mapping) solves this problem by combining the vehicle state estimation (local pose and speeds) and an incremental modelling of the environment. The environment is perceived by extracting features (interest points) in a sequence of images and tracking them over time to allow an incremental landmarks map construction. The perception step leads to an important computational load which affects very significantly the system latency and throughput. Co-design methodologies allow to design a mixed processing architecture optimized for a specific application In this type of architecture, the use of hardware accelerators allows for great performance increase (throughput, memory size, power consumption). The ZynQ (Xilinx) provides a prototyping mixed-architecture including a dual-core microprocessor combined with configurable hardware resources. The goal of this thesis is to propose a co-design implementation of a vision-based SLAM processing chain involving hardware accelerators for image processing in order to meet the constraints of an embedded ADAS system. The first contribution is the design of a complete 3D EKF-SLAM processing chain thanks to a codesign approach. We defined and validated, according to the followed co-design approach, the choice of a Hardware-in-the-loop (HIL) architecture to validate the different design iterations. The second contribution is the integration of dedicated hardware modules to accelerate the visual perception computations of this processing chain (features detection, description and matching)