Apprentissage profond multi-tâches inter-modalités pour l'estimation des risques pour les piétons défendu

This Ph.D. thesis is the result of my research work in the machine learning (particularly in Deep Learning), image processing and intelligent transportation fields for solving the problem of multi-task pedestrian protection system (PPS) including not only pedestrian classification, detection and tracking, but also pedestrian action-unit classification and prediction, and finally pedestrian risk estimation.The goal of our research work is to develop an intelligent pedestrian protection component based only on single stereo vision system using an optimal cross-modality deep learning architecture in order to to classify the current pedestrian action, predict their next actions and finally to estimate the pedestrian risk by the time to cross for each pedestrian.First, we investigate the classification component where we analyzed how learning representations from one modality would enable recognition for other modalitie(s) within various deep learning, which one terms as cross-modality learning. Second, we study how the cross modality learning improve an end-to-end the pedestrian action detection.Third, we analyze the pedestrian action prediction and the estimation of time to cross.Cette thèse est le résultat de mes travaux de recherche dans les domaines de l'apprentissage automatique (en particulier en Deep Learning), du traitement d'images et du transport intelligent pour résoudre le problème du système de protection des piétons (PPS) multi-tâches, y compris non seulement la classification, la détection et le suivi des piétons, mais également la classification et la prévision des unités d'action pour les piétons, et enfin l'estimation du risque pour les piétons.L'objectif de nos travaux de recherche est de développer un composant de protection des piétons intelligent basé uniquement sur un système de vision stéréo unique utilisant une architecture d'apprentissage profond cross-modalité optimale afin de classer l'action piétonne actuelle, de prédire leurs prochaines actions et enfin d'estimer le piéton risque au moment de traverser pour chaque piéton.Premièrement, nous étudions la composante de classification où nous avons analysé comment les représentations d'apprentissage d'une modalité permettraient de reconnaître d'autres modalités dans le cadre de l'apprentissage en profondeur, que l'on qualifie d'apprentissage multimodal.Deuxièmement, nous étudions comment l'apprentissage inter-modalité améliore la détection de l'action piétonne de bout en bout.Troisièmement, nous analysons la prédiction de l'action des piétons et l'estimation du temps à traverser