Study of speech/manual gestures' coordination in a designation framework

Le travail présenté dans cette thèse vise à étudier la coordination entre gestes manuels et parole lors de la production d'énoncés multimodaux. Les études menées s'intéressent plus particulièrement aux relations temporelles entre les deux modalités. Cette coordination a été étudiée plus précisément dans le cadre de la désignation qui est réalisable à la fois dans la modalité manuelle (geste de pointage) et dans la modalité parole (« montrer avec la voix », en utilisant la focalisation et/ou les démonstratifs par exemple). Les études présentées ont été menées dans un environnement contrôlé de laboratoire afin d'obtenir des mesures précises et reproductibles en minimisant les facteurs extérieurs de variations intra- et inter-participants. Les productions des locuteurs peuvent ainsi être comparées entre-elles en se focalisant sur les facteurs d'intérêt toutes choses maintenues le plus possible égales par ailleurs. Un travail particulier de mise en place des protocoles a néanmoins permis de maintenir une tâche assez naturelle afin de ne pas induire des productions trop artificielles. Les deux premières études se sont intéressées à la production conjointe de gestes manuels et de parole contenant de la focalisation. Plusieurs types de gestes ont été comparés (geste de pointage, geste de battement et geste d'appui sur un bouton) lors d'une tâche de désignation. Il a été montré que la production de focalisation attire le geste manuel quel que soit son type mais que l'attraction est plus « précise » et fine pour le pointage. Par ailleurs, l'apex du geste de pointage semble être cooccurent à une cible articulatoire plutôt qu'acoustique. La seconde étude manipule le lien de désignation le geste de pointage et la parole. Elle montre, en exhibant deux stratégies adoptées par les participants, la complexité des mécanismes mis en jeu dans cette coordination. Finalement, une troisième étude s'intéresse à la coordination dans une tâche interactive et collaborative plus naturelle. Dans cette tâche les locuteurs utilisent naturellement des gestes de pointage pour désigner à leur interlocuteur l'emplacement d'une carte à poser grâce à une phrase porteuse contenant un démonstratif. Les résultats montrent une cooccurrence de la partie du geste qui montre avec l'information qui lui est complémentaire en parole, i.e. avec le nom de l'objet à poser à l'endroit désigné par le geste de pointage, plutôt qu'avec la partie de la parole qui désigne, i.e. le démonstratif. L'effet de la perturbation de l'interaction par un bruit ambiant est également testé et il est montré que, si la parole subit un effet Lombard classique, la production de gestes est peu modifiée mis à part une adaptation de la durée de la partie du geste qui montre à l'allongement de la parole. Ce mémoire propose par ailleurs une exploration des procédés d'annotation multimodaux mis en place pour l'annotation de tâches semi-contrôlées mais applicables à des cas plus généraux. Le manuscrit se conclut par une mise en perspective des résultats pour l'amélioration de certains modèles de production conjointe gestes manuels/parole et fournit quelques pistes utilisables dans le domaine des agents conversationnels ainsi que pour la détection de pathologies.The work synthesized in this thesis aims at studying the coordination between manual gestures and speech during multimodal utterances production. More precisely, the temporal relationship between the two modalities is considered. The coordination is studied in a designation framework since designating is possible both manually (pointing gesture) and using speech (one can "show with the voice" using focus and/or demonstratives for example). All the studies presented in this work are done in a lab setting thus allowing to get precise and reproducible measurements while minimizing potential external sources of variation (either between or within participants). Participants' productions were then compared to each other focusing on factors of interest while keeping other sources of variation as low as possible. A part of the work consisted in designing rather natural experimental protocols so as to ensure productions were not too artificial. The first two experiments studied to co-production of manual gestures and speech containing a focused part. Different types of gestures were compared (pointing gesture, beat, button-push) in a designation task. It has been shown that producing focus did temporally attract manual gesture whichever its type but that this attraction was finer and less variable for pointing gesture. Another interesting finding was that the apex of pointing gesture seems to be cooccurring with articulatory targets rather than acoustic ones. The second study manipulates the designation link between manual gestures and speech. By showing that participants can be split up into two groups using different multimodal coordination strategies, it put forward the complexity of underlying mechanisms of this coordination. The last experiment focuses on the coordination in a more natural interactive and collaborative task. In this task, participants used pointing gestures as a natural way to show where a card should be placed on a playing board. They also produced accompanying sentences containing demonstratives. Results show a co-ocurrence of the part of the gesture that shows and with the complementary information in speech (ie. the name of the object to be placed at the spot pointed at by the manual gesture) rather than with the part of speech that shows (ie. demonstrative). The influence of impairing interaction by broadcasting a surrounding noise is also an issue which is addressed. However speech production shows a classical Lombard effect, the production of manual gesture undergoes only slight changes: mainly, the part of the manual gesture that shows lasts longer and this lengthening is related to the lengthening observed in speech. The work presented in this manuscript moreover put forward a systematic way of labeling semi-constrained interactive tasks which can be generalized. The conclusion puts in perspective the results so as to improve some manual gestures/speech co-production models and indicates paths for reflection about embodied conversational agents and early detection of pathological cases