Analysis and Synthesis of Expressive Theatrical Movements

Cette thèse porte sur l’analyse et la génération de mouvements expressifs pour des personnages humains virtuels. Sur la base de résultats d’état de l’art issus de trois domaines de recherche différents (la perception des émotions et du mouvement biologique, la reconnaissance automatique des émotions et l’animation de personnages), une représentation en faible dimension des mouvements a été proposée. Cette représentation est constituée de trajectoires spatio- temporelles des extrémités des chaînes articulées (tête, mains et pieds) et du pelvis. Nous avons soutenu que cette représentation est à la fois appropriée et suffisante pour caractériser le contenu expressif du mouvement humain et pour contrôler la génération de mouvements corporels expressifs. Pour étayer ces affirmations, cette thèse propose : i.) Une nouvelle base de données de mouvements capturés. Cette base de données a été inspirée par la théorie du théâtre physique et contient des exemples de différentes catégories de mouvements (à savoir des mouvements périodiques, des mouvements fonctionnels, des mouvements spontanés et des séquences de mouvements théâtraux), produit avec des états émotionnels distincts (joie, tristesse, détente, stress et neutre) et interprétés par plusieurs acteurs. ii.) Une étude perceptuelle et une approche basée classification automatique conçus pour évaluer qualitativement et quantitativement la quantité d’information liée aux émotions encore véhiculée et codée dans la représentation proposée. Nous avons observé que, bien que de légères différences dans la performance aient été trouvées par rapport à la situation dans laquelle le corps entier a été utilisé, notre représentation conserve la plupart des qualités de mouvements liées à l’expression de l’affect et d’émotions. iii.) Un système de synthèse de mouvement capable : (a) de reconstruire des mouvements du corps entier à partir de la représentation à faible dimension proposée, (b) de produire de nouvelles trajectoires extrémités expressives (incluant la trajectoire du pelvis). Une évaluation quantitative et qualitative des mouvements du corps entier générés montre que ces mouvements sont aussi expressifs que les mouvements enregistrés à partir d’acteurs humains.This thesis addresses the analysis and generation of expressive movements for virtual human characters. Based on previous results from three different research areas (perception of emotions and biological motion, automatic recognition of affect and computer character animation), a low-dimensional motion representation is proposed. This representation consists of the spatio-temporal trajectories of end-effectors (i.e., head, hands and feet) and pelvis. We have argued that this representation is both suitable and sufficient for characterizing the underlying expressive content in human motion and for controlling the generation of expressive whole-body movements. In order to prove these claims, this thesis proposes: i.) A new motion capture database inspired by physical theater theory. This database contains examples from different motion classes (i.e., periodic movements, functional behaviors, spontaneous motions, and theater-inspired motion sequences) and distinct emotional states (happiness, sadness, relaxedness, stress and neutral) performed by several actors. ii.) A user study and automatic classification framework de- signed to qualitatively and quantitatively assess the amount of emotion-related information conveyed and encoded in the proposed representation. We have observed that although slight differences in performance were found with respect to the cases in which the entire body was used, our proposed representation preserves most of the motion cues salient to the expression of affect and emotions. iii.) A simple motion synthesis system able to capable of: a) reconstructing whole-body movements from the proposed low-dimensional representation, and b) producing novel end- effector (and pelvis) expressive trajectories. A quantitative and qualitative evaluation of the generated whole body motions shows that these motions are as expressive as the movements recorded from human actor