Capteurs Visuels Bio-Inspirés pour des Applications Robotiques et Automobiles

Thanks to the advances in the fields of robotics and intelligent transportation systems (ITS), the autonomous vehicles of the future are gradually becoming a reality. As autonomous vehicles will have to behave safely in presence of other vehicles, pedestrians and other fixed and moving objects, one of the most important things they need to do is to effectively perceive both their motion and the environment around them. In this thesis, we first investigated how bio-inspired visual sensors, called Local Motion Sensors (LMSs), giving 1-D optic flow using a few pixels based on the findings on the fly’s visual system, could be used to improve automatic parking maneuvers. For this purpose, we developed a low computational-cost method for detecting and tracking a parking spot in real time using only 1-D OF measurements around the vehicle together with the vehicle’s longitudinal velocity and steering angle. Highly simplified 2-D parking simulations were first performed using Matlab/Simulink software, then some preliminary experiments were carried out using a vehicle equipped with two 6-pixel LMSs. As the main challenge for visual sensors is to correctly operate in high-dynamic-range lighting conditions, we also dealt here with a novel bio-inspired auto-adaptive silicon retina designed and developed by our laboratory in collaboration with the Center of Particle Physics of Marseille (CPPM). We successfully tested this silicon retina, showing that the novel pixel, called M2APix, which stands for Michaelis-Menten Auto-Adaptive Pixel, can auto-adapt in a 7-decade range and respond appropriately to step changes up to 3 decades, while keeping sensitivity to contrasts as low as 2%. We subsequently developed and tested a novel optic flow sensor based on this auto-adaptive retina and a new robust method for computing the optic flow, which provides several advantages to previously developed optic flow sensors such as its robustness to light levels, textures and vibrations that can be found while operating on the road. To test the performances of this novel sensor and show how it can be used for robotic and automotive applications such as visual odometry, we constructed a car-like robot, called BioCarBot, which estimates its velocity and steering angle by means of an extended Kalman filter (EKF) using only the optic flow measurements delivered by two downward-facing sensors of this kind. Indoor and outdoor experiments were successfully carried out in a 7-decade light level range and using various textures, showing promising perspectives of these sensors for odometry-based applications.Grâce aux progrès réalisés dans les domaines de la robotique et des systèmes de transport intelligents (ITS), les véhicules autonomes du futur sont en train de devenir une réalité. Comme les véhicules autonomes devront se comporter en toute sécurité en présence d’autres véhicules, mais aussi de piétions et d’autres objets fixes ou en mouvement, une des choses les plus importantes qu’ils doivent faire est de percevoir efficacement à la fois leur mouvement et l’environnement autour d’eux. Dans cette thèse, nous avons d’abord étudié comment des capteurs visuels bio-inspirés, appelés Local Motion Sensors (LMS), qui mesurent le flux optique en 1-D en utilisant seulement quelques pixels sur la base du système visuel de la mouche, pourraient être utilisés pour améliorer les manoeuvres de stationnement automatiques. A cet propos, nous avons développé une méthode de calcul bas-coût pour la détection et le suivi d’une place de parking en temps réel en utilisant seulement des mesures de flux optique en 1-D autour du véhicule, ainsi que la vitesse longitudinale et l’angle de braquage du véhicule. Des simulations de parking très simplifié en 2-D ont d’abord été réalisées en utilisant le logiciel Matlab / Simulink, puis quelques expériences préliminaires ont été effectuées sur un véhicule équipé de deux LMSs composés de 6 pixels. Comme le principal défi pour les capteurs visuels est de fonctionner correctement dans des conditions d’éclairage dans une large gamme dynamique, nous avons ensuite travaillé sur une nouvelle rétine de silicium auto-adaptative bio-inspirée conçue et développée par notre laboratoire en collaboration avec le Centre de Physique des Particules de Marseille (CPPM). Nous avons testé avec succès cette rétine, en montrant que le nouveau pixel, appelé M2APIX, qui signifie Michaelis-Menten Auto-Adaptive Pixel, est capable de s’auto-adaptater dans une gamme de 7 décades et de répondre de manière appropriée à des changements de luminosité rapides jusqu’à 3 décades, tout en conservant une sensibilité aux contrastes aussi bas que 2%. Nous avons enfin développé et testé un nouveau capteur de flux optique basé sur cette rétine auto-adaptative et sur une nouvelle méthode robuste pour le calcul du flux optique, qui fournit plusieurs avantages par rapport à des capteurs développés précédemment, tel que sa robustesse aux variations de niveaux de lumière, textures et vibrations que l’on retrouve en milieu routier. Pour tester les performances de ce nouveau capteur et montrer comment il peut être utilisé pour des applications robotiques et automobiles tels que l’odométrie visuelle, nous avons construit un robot de type voiture, appelé BioCarBot, qui estime sa vitesse et son angle de braquage au moyen d’un filtre de Kalman étendu (EKF), en utilisant uniquement les mesures de flux optique délivrées par deux capteurs de ce type regardant vers le sol. Des expériences à l’intérieur et à l’extérieur ont été réalisées avec succès dans une gamme de luminosité de 7 décades et en utilisant différentes textures, en montrant des perspectives prometteuses de ces capteurs pour des applications basées sur odométrie