Apprentissage profond multimodale pour l'estimation des risques pour les piétons

Cette thèse de doctorat est le résultat de mes travaux de recherche dans le domaine de l'apprentissage automatique, du traitement d'image et du transport intelligent pour résoudre le problème du système de protection des piétons (PPS) multi-tâches comprenant non seulement la classification, la détection et le suivi des piétons, mais aussi l'action des piétons- classification et prédiction des unités, et enfin estimation du risque piéton. De plus, notre système PPS utilise des approches originales d'apprentissage en profondeur inter-modalités. Le but de notre travail de recherche est de développer un composant de protection des piétons intelligent basé uniquement sur un système de vision stéréo unique utilisant une architecture d'apprentissage en profondeur cross-modalité optimale afin de classer l'action piétonne actuelle, de prédire leurs prochaines actions et enfin d'estimer le piéton risque au moment de traverser pour chaque piéton. Premièrement, nous étudions la composante de classification où nous avons analysé comment les représentations d'apprentissage d'une modalité permettraient de reconnaître d'autres modalités au sein de divers apprentissages profonds, un terme comme apprentissage multimodal. Deuxièmement, nous étudions comment l'apprentissage inter-modalité améliore la détection de l'action piétonne de bout en bout.Troisièmement, nous analysons la prédiction de l'action des piétons et l'estimation du temps à traverser.This PhD thesis is the result of my research work in the machine learning, image processing and intelligent transportation field for solving the problem of multi-task pedestrian protection system (PPS) including not only pedestrian classification, detection and tracking, but also pedestrian action-unit classification and prediction, and finally pedestrian risk estimation. Moreover, our PPS system uses original cross-modality deep learning approaches. The goal of our research work is to develop an intelligent pedestrian protection component-based only on single stereo vision system using an optimal cross-modality deep learning architecture in order to classify the current pedestrian action, predict their next actions and finally to estimate the pedestrian risk by the time to cross for each pedestrian. First, we investigate the classification component where we analyzed how learning representations from one modality would enable recognition for other modalities within various deep learning, which one term as cross-modality learning. Second, we study how the cross-modality learning improves an end-to-end the pedestrian action