Indices of misunderstanding and repair sequences in face-to-face interaction : a multimodal analysis

Dans ce travail, nous nous intéressons aux mouvements de sourcils dans l’interaction en face- à-face en tant que ressource utilisée par les participants pour signaler un problème de compréhension. Notre objectif est de décrire la séquence interactionnelle dans laquelle apparait ce mouvement et les trajectoires interactionnelles dont use le locuteur pour résoudre le trouble de la compréhension qui a surgi.Nous utilisons les outils qu’offrent la linguistique interactionnelle et la linguistique de corpus, pour mener une analyse systématique de ces phénomènes. Nous nous appuyons sur trois corpus présentant différents degrés de spontanéité et diverses activités interactionnelles. Après avoir identifié et annoté les mouvements de sourcils (haussement et froncement) et les séquences présentant un problème de compréhension (Weigand, 1999 ; Antaki, 2012), nous avons mené une analyse séquentielle sur une soixantaine d’extraits.Cette recherche met en lumière le rôle des mouvements de sourcils en tant que ressource qui participe à rendre mutuellement reconnaissable un problème de compréhension, mais également en tant qu’indice de désalignement et de réalignement lors de ces dîtes séquences. De plus, nous évaluons les technologies permettant la détection automatique des mouvements de sourcils au travers de comparaisons entre les annotations manuelles et automatiques. Ce travail permet de mieux comprendre les mécanismes de l’interaction sociale dans toute la complexité́ multimodale qu’ils impliquent.In this work, we focus on eyebrows movements in face to face interaction as a resource usedby one speaker to inform the other that there is an understanding problem. Our aim is to describethe interactional sequence in which this movement appears, and to describe the interactionaltrajectories used by the speaker to solve the misunderstanding that took place. Our work comeswithin the scope of Interactional Linguistics that recommend the study of the whole ofmultimodal resources without necessarily analysing them systematically.Our methodology comes from corpus linguistics, allowing us to perform a systematic analysisof these phenomena. This method consists in first annotating the eyebrows movements (raisingand frowning) that are produced as a response by the interlocutor in 3 different interactioncorpora. These movements annotations are performed manually first, and then automaticallythanks to the development of a tool that makes it possible to detect and automatically annotatethem. Then, the annotation of the different sequences that include an understanding problem ismade from pre- existing criteria from the literature (Weigand, 1999 ; Antaki, 2012).This work will allow a better understanding of the mechanisms of social interaction, taking allof the multimodal complexity that they imply into account. This study sheds light on the roleplayed by eyebrows movements as a practice to initiate understanding-problem sequences, andalso as a practice used as a disalignment and realignment cues during the aforementionedsequences