Tout est dans le regard (reconnaissance visuelle du comportement humain en vue subjective)

Dans ce manuscrit, nous nous intéressons à l'analyse visuelle du comportement humain à partir de l'information du regard. A l'inverse des caméras statiques et externes, nous adoptons un point de vue subjectif, ce qui permet de placer le contexte d'étude au centre de l' être humain et de ses interactions avec l'environnement. Pour atteindre cet objectif, nous avons développé un eye-tracker porté, ainsi que des outils d'analyse associés, en particulier la reconnaissance d'attention dans le cadre d'interactions sociales et la reconnaissance d'activités subjectives. Dans la premiè re partie de cette thè se, nous présentons un eye-tracker binoculaire t ête porté à partir duquel nous estimons le regard du sujet. Contrairement à la plupart des syst mes basés sur l'éclairage infrarouge, notre approche fonctionne en éclairage visible. Pour cela, nous nous inspirons des méthodes basées apparence qui, au lieu, d'extraire des caractéristiques géométriques (par exemple, la pupille), exploitent l'image de l'oeil dans sa globalité et elles permettent donc de prendre en compte toutes les caractéristiques de l'oeil. Pour apprendre la relation entre les caractéristiques d'apparence et les coordonnées du point de regard dans l'image de la caméra scè ne, deux modè les de régression sont comparés: le Support Vector Regression et le Relevance Vector Regression. Nous proposons, ensuite, une nouvelle méthode de reconnaissance d'attention en vue subjective. Le regard subjectif est obtenu à l'aide de notre eye-tracker, tandis que le regard d'autrui est construit à partir de l'estimation de l'orientation de la tê te par régression à noyaux multiples localisés. En combinant ces deux types de regard, nous calculons alors des scores d'attention qui permettent d'identifier des motifs attentionnels dyadiques tels que le regard mutuel, mais aussi des motifs d'ordre supérieur émanant de la nature triadique de notre expérience. Notre outil final d'analyse concerne la reconnaissance d'activités basée sur le regard et l'égo-mouvement. Ces mouvements sont quantifiés en fonction de leur direction et de leur amplitude et encodés sous forme de symboles. Des caractéristiques statistiques sont alors extraites via un codage multi-échelle et un partitionnement temporel. Pour la classification et la segmentation d'activités, nous décrivons une approche par apprentissage contextuel en intégrant des scores de prédiction d'un voisinage à longue portée. Une étude détaillée permet également de comprendre quelles caractéristiques jouent un rôle prédominant dans la représentation d'une activité.In this thesis, we focus on understanding human behavior from gaze information. In contrast to static and external camera viewpoint, we adopt a first-person point of view that allows carrying studies centered on humans and their interaction with the environment. To fulfill this goal, we developed a head-mounted eye-tracker and analysis tools for attention recognition during social interactions and for first-person gaze-based activity recognition. In the first part of the thesis, we present a head-mounted binocular eye-tracker from which we infer the subject's gaze. Contrary to infrared systems, our approach works under visible light. Instead of extracting geometric features (e.g. pupil), we propose to use an eye appearance model in order to capture all available eye features. To learn the mapping between eye appearance and point of regard, two regression models are compared: Support Vector Regression and Relevance Vector Regression. Then, we propose a novel approach for attention recognition from first-person vision. The first-person gaze is obtained using our eye-tracker, while the third-person gaze is computed from head pose estimation based on localized multiple kernel regression. Knowing the first- and third-person gaze direction, scores are computed which permit to assign dyadic attention patterns such as mutual gaze, and at the same time, higher-order patterns due to the triadic nature of the experiment. Our final analysis tool involves activity recognition from first-person gaze and ego-motion. These motions are quantized according to their direction and their amplitude, and are encoded into a sequence of symbols. Statistical features are then extracted via multi-scale and temporal representation. For joint classification and segmentation of activities, we describe a contextual learning approach built upon confidence values from long-range neighborhood. Additionally, an in-depth study allows highlighting which features are relevant to each activity.PARIS-BIUSJ-Biologie recherche (751052107) / SudocSudocFranceF