Communication kinesthésique des émotions dans un contexte d'interaction homme-machine

The communication of emotions use several modalities of expression, as facial expressions or touch. The affective computing field aims to integrate an emotional component in human-computer interactions. Even though touch is an effective vector of emotions, is remains little explored. This thesis aims to investigate the kinesthetic features of the expression and perception of emotions in a human-computer interaction setting. Firstly, this thesis considers the kinesthetic expression and perception of semantically close and acted emotions. Secondly, this thesis proposes a facial-kinesthetic combination of expressions of several close emotions. This aims to investigate the influence of the kinesthetic modality on the multimodal perception of emotions. Finally, this thesis goes beyond acted emotions by focusing on the expression and perception of a spontaneous state of stress. Those different experiments used various devices for kinesthetic interaction, as Geomagic Touch devices and a pressure rendering device developed for this thesis. Results have multiple applications. Firstly, a better integration of the kinesthetic modality in virtual settings, from human-human remote communications to immersion in video games. This thesis also paves the way for an automatic recognition of affective states expressed by the kinesthetic modality.La communication des émotions s'effectue naturellement par le biais de différentes modalités, comme par exemple les expressions faciales et le toucher. L'informatique affective cherche à intégrer la composante émotionnelle dans les interactions homme-machine. Cependant, le toucher, qui est un puissant vecteur d'émotions, reste peu exploité. L'objectif de cette thèse est d'étudier les paramètres qui influencent l'expression et la perception des émotions dans la modalité kinesthésique dans un contexte d'interaction homme-machine. Dans un premier temps, cette thèse considère l'expression kinesthésique liée à la perception physique de forces et de mouvements d'un ensemble d'émotions actées sémantiquement proches. Sur la base des résultats de cette première étude, un couplage des expressions kinesthésiques typiques de différentes émotions avec des expressions faciales exprimées par un avatar est proposé afin d'étudier l'influence de la modalité kinesthésique dans la perception d'une expression multimodale d’émotion. Enfin, cette thèse va au-delà de ces émotions actées en abordant dans une dernière étude le cas de l'expression et de la perception d'un état affectif de stress spontané. Ces différentes expérimentations ont considéré différents dispositifs matériels pour la communication kinesthésique : des dispositifs de type Geomagic Touch ainsi qu'un dispositif de rendu de pression développé spécifiquement dans le cadre de cette thèse. Les résultats de ces travaux ont de multiples applications pratiques. Premièrement, une meilleure intégration de la modalité kinesthésique en contexte virtuel, qu'il s'agisse de communication humain-humain à distance ou d'immersion dans les jeux vidéo. Cette thèse ouvre également la voie à la détection automatique d'états affectifs exprimés spontanément par la modalité kinesthésique