Reconnaissance d'actions à l'aide d'un imageur infrarouge basse résolution

The identification of actions of daily life (such as walking, sitting ...) from videos is important for a system of recognition of human activities whose goal is to improve the safety and comfort of people. This thesis studies the problem of the recognition of human actions using low-resolution infrared images that guarantee the privacy of the persons observed. The main objective of this thesis is to test and propose algorithmic approaches that can exploit a rather particular type of images for the recognition of actions in a room. Our first contribution concerns the proposal of a thermal image analysis chain adapted to the sensor used. In order to do so, we first carry out a study of some filtering methods in order to eliminate noise from the images while keeping the maximum of information. Then a segmentation method with adaptive threshold is proposed. A post-processing method to fill the holes and eliminate noise in the segmentation results is also proposed. Finally, a comparative study between the filtering methods and the segmentation methods is made in order to find the coupling (filtering/segmentation) allowing to extract the silhouette of the person in the images better. The second contribution is the proposal of an action recognition model that represents a video sequence using the distances between the centers of gravity of the segmented shapes, then we extract statistical attributes from this representation. Finally, those attributes are used as the inputs of a KNN classifier. Another study is carried out by proposing several action recognition models using the MHI as a representation of a video sequence, then relevant descriptors are extracted and combined (HU moment, CHOP and geometric descriptors) and passed to the classifier. These studies inspired our third contribution which is a proposal of a cascade model with 3 classifiers, allowing us to reach 89% F-score on the dataset we developed for our thesis. To validate our results, we discuss in a comparative study the results we obtained using classical learning approaches and deep learning approaches. We conclude our work by presenting the strategy implemented for an action recognition system in videos containing several actions.L’identification des actions simples de la vie quotidienne (comme marcher, s’asseoir ...) à partir des vidéos est importante pour un système de reconnaissance d’activités humaines dont le but est l’amélioration de la sécurité et le confort des personnes. Cette thèse étudie le problème de la reconnaissance d’actions humaines en utilisant des images infrarouges basse résolution qui garantissent l’intimité des personnes surveillées. L’objectif principal de cette thèse est de tester et proposer des approches algorithmiques pouvant exploiter un type d’images assez particulières pour la reconnaissance d’actions dans une pièce. Notre première contribution concerne la proposition d’une chaîne d’analyse d’images thermiques adaptée au capteur utilisé. Pour ce faire, une étude de quelques méthodes de filtrage est faite dans le but d’éliminer les bruits des images en conservant le maximum d’informations, puis une méthode de segmentation à seuil adaptatif est proposée. Une méthode de post-traitement est également proposée pour combler les vides et éliminer les bruits dans les résultats de segmentation. Enfin, une étude comparative entre les méthodes de filtrage et les méthodes de segmentation est faite dans le but de trouver le couplage filtrage/segmentation) permettant de mieux extraire la silhouette de la personne dans les images. La seconde contribution est la proposition d’un modèle de reconnaissance d’actions qui représente une séquence vidéo en utilisant les distances entre les centres de gravité des formes segmentées, puis nous extrayons de cette représentation des attributs statistiques avant de les passer au classifier KNN. Une autre étude est faite en proposant plusieurs modèles de reconnaissance d’actions utilisant comme représentation de séquence vidéo le MHI, puis des descripteurs pertinents sont extraits et combinés (les moments de HU, CHOP et les descripteurs géométriques) puis passés au classifieur. De ces études sont nées notre troisième contribution qui est la proposition d’un modèle en cascade comportant 3 classifieurs, nous permettant d’atteindre 89% de F-score sur la base que nous avons conçu pour cette étude. Pour valider nos résultats, une étude comparative est faite entre les approches d’apprentissages classiques et les approches d’apprentissages profonds. Nous terminons nos travaux en présentant la stratégie mise en place pour un système de reconnaissances d’actions dans des vidéos contenant plusieurs actions