Prédiction du Moment des Gestes et l'Étude de l'Image Schema Pour Des Gestes Métaphorique

"Embodied Conversational Agent" (ECA) are virtual agents endowed with the capacity to communicate verbally and non-verbally. Non-verbal behavior has many components, such as gaze directions, facial expressions, or communicative gestures. These non-verbal behaviors are not random. For example, if we say "the elevator is going up", the gesture we probably perform is pointing upward. The focus of this dissertation is the generation of communicative gestures for Embodied Conversational Agent.We use a third party corpus called Gest-IS corpus for our work. The corpus comes with the transcripts and the annotations of communicative or non-communicative gestures, the gesture types, and the gesture phases. The corpus also has the videos of the conversations and the corresponding conversation audio files. From those videos, we extract the eyebrow movements. From the audio files, we extract the acoustic features. These eyebrow movements and the acoustic features can be seen as additional annotations. On top of that, we also manually annotate the shape of metaphoric gestures in this corpus. In order to do the gesture shape annotation, we define first the annotation scheme. With that, we annotate the metaphoric gesture shapes accordingly. We also calculate and analyze the statistics of the different dimensions of the gesture shapes.We develop a model based on recurrent neural network model with attention mechanism to predict the gesture timing. Besides that, we also develop an objective evaluation measure which tolerates shift and dilation to some extent. This is done in the spirit of recognizing many-to-many relationship between speech and gestures. We also experiment with including eye brow movements which we extracted from the corpus for the prediction. We also experiment with training and validating the model with the data of one speaker only and testing the model on the data of the other speaker. Finally, we do a subjective experiment to evaluate the naturalness, time consistency, and semantic consistency of the output of the model.In our another contribution, we make some improvements to Ravenet et al's algorithm which compute gestures from a free-form text input via image schema. First, we replace the word sense disambiguation technique employed in the Ravenet et al's algorithm. Secondly, we add more edge types for the WordNet graph traversal.For our last contribution, we develop a method to represent image schemas as vectors. The method works by calculating the centroid of the clusters of the word embedding vectors. The word embedding vectors themselves come from either BERT or SenseBERT word embedding techniques. The centroid of the cluster is considered as the vector representation of the image schema. With the image schemas represented as vectors, we also measure the relative distances between the image schemas. These distances are a proxy of the similarities/differences between the different image schemas.Les « Embodied Conversational Agent » (ECA) ou « Agent Conversationnel Animé » (ACA) sont des agents virtuels dotés de la capacité de communiquer verbalement et non verbalement. Le comportement non verbal a de nombreuses composantes, telles que les directions du regard, les expressions faciales ou les gestes communicatifs. Ces comportements non verbaux ne sont pas aléatoires. Par exemple, si nous disons "l'ascenseur monte", le geste que nous effectuons probablement pointe vers le haut. L'objet de cette thèse est la génération de gestes communicatifs pour l'agent conversationnel animé.Nous utilisons un corpus tiers qui s'appelle corpus Gest-IS pour notre travail. Le corpus est accompagné par des transcriptions et des annotations des gestes communicatifs ou non communicatifs, des types de gestes et des phases des gestes. Le corpus contient également les vidéos des conversations et les fichiers audio de conversation correspondants. De ces vidéos, nous extrayons les mouvements des sourcils. A partir des fichiers audio, nous extrayons les caractéristiques acoustiques. Ces mouvements de sourcils et les caractéristiques acoustiques peuvent être vus comme des annotations supplémentaires. En plus de cela, nous annotons également manuellement la forme des gestes métaphoriques dans ce corpus. Afin de faire l'annotation de la forme du geste, nous définissons d'abord le schéma d'annotation. Avec cela, nous annotons les formes métaphoriques du geste en conséquence. Nous calculons et analysons également les statistiques des différentes dimensions des formes gestuelles.Nous développons un modèle basé sur un modèle de réseau neuronal récurrent avec un mécanisme d'attention pour prédire le timing des gestes. En plus de cela, nous développons également une mesure d'évaluation objective qui tolère le décalage et la dilatation dans une certaine mesure. Ceci est fait dans l'esprit de reconnaître la relation plusieurs-à-plusieurs entre la parole et les gestes. Nous expérimentons également l'inclusion des mouvements des sourcils que nous avons extraits du corpus pour la prédiction. Nous expérimentons également l'entraînement et la validation du modèle avec les données d'un seul locuteur et testons le modèle sur les données de l'autre locuteur. Enfin, nous réalisons une expérience subjective pour évaluer le caractère naturel, la cohérence temporelle et la cohérence sémantique de la sortie du modèle.Dans notre autre contribution, nous apportons quelques améliorations à l'algorithme de Ravenet et al qui calcule les gestes à partir d'une entrée de texte de forme libre via un « image schema ». Tout d'abord, nous remplaçons la technique de désambiguïsation du sens des mots employée dans l'algorithme de Ravenet et al. Deuxièmement, nous ajoutons plus de types d'arêtes pour la traversée du graphe WordNet.Pour notre dernière contribution, nous développons une méthode pour représenter les « image schemas » sous forme de vecteurs. La méthode fonctionne en calculant le centre de gravité des clusters des vecteurs de plongement de mots. Les vecteurs de plongement de mots eux-mêmes proviennent des techniques de plongement de mots BERT ou SenseBERT. Le centre de gravité du cluster est considéré comme la représentation vectorielle du »image schema ». Avec les « image schema » représentés sous forme de vecteurs, nous mesurons également les distances relatives entre les « image schema ». Ces distances sont une approximation des similitudes/différences entre les différents schémas d'images