Multimodalité de la communication langagière humaine : interaction geste/parole et encodage de distance dans le pointage

Designating an object for the benefit of another person is one of the most basic processes inlinguistic communication. It is most of the time performed through the combined use of vocaland manual productions. The goal of this work is to understand and characterize the interactionsbetween speech and manual gesture during pointing tasks, in order to determine howmuch linguistic information is carried by each of these two systems, and eventually to test themain models of speech and gesture production.The first part of the study is about the production of vocal and manual pointing. The originalaspect of this work is to look for distance encoding parameters in the lexical, acoustic,articulatory and kinematic properties of multimodal pointing, and to show that these differentcharacteristics can be related with each other, and underlain by a similar basic motor behaviour: designating a distant object induces larger gestures, be they vocal or manual. This motorpattern can be related with the phonological pattern that is used for distance encoding in theworld’s languages. The experimental design that is used in this study contrasts bimodal vs. vocalmonomodal vs. monomodal manual pointings, and a comparison between these conditionsreveals that the vocal and manual modalities act in bidirectional cooperation for deixis, sharingthe informational load when used together.The second part of the study explores the development of multimodal pointing. The propertiesof multimodal pointing are assessed in 6-12 year-old children, in an experimental task similarto that of the adults. This second experiment attests a progressive evolution of speech/gestureinteractions in the development of spatial deixis. It reveals that distance is preferentially encodedin manual gestures in children, rather than in vocal gestures (and especially so in youngerchildren). It also shows that the cooperative use of speech and manual gesture in deixis is alreadyat play in children, though with more influence of gesture on speech than the reversedpattern.The third part of the study looks at sensorimotor interactions in the perception of spatial deixis.This experimental study, based on an intermodal priming paradigm, reveals that manual gestureplays a role in the production/perception mechanism associated with the semantic processingof language. These results can be related with those of studies on the sensorimotor nature ofrepresentations in the processing of linguistic sound units.Altogether, these studies provide strong evidence for an integrated representation of speech andmanual gestures in the human linguistic brain, even at a relatively early age in its development.They also show that distance encoding is a robust feature, which is also present in all aspectsof multimodal pointing.Désigner un objet à l’attention d’un interlocuteur est l’un des processus fondamentaux de la communication langagière. Ce processus est généralement réalisé à travers l’usage combiné de productions vocales et manuelles. Le but de ce travail est de comprendre et de caractériser les interactions entre la parole et le geste manuel dans des tâches de deixis spatiale, afin de déterminerde quelle façon l’information communicative est portée par chacun de ces deux systèmes,et de tester les principaux modèles de traitement du geste et de la parole.La première partie de l’étude concerne la production du pointage vocal et manuel. L’originalité de ce travail consiste à rechercher des paramètres d’encodage de la distance dans les propriétés acoustiques, articulatoires et cinématiques du pointage multimodal, et à montrer que ces différentes caractéristiques sont corrélées les unes aux autres, et sous-tendues par un même comportement moteur de base : désigner un objet distant implique de produire des gestes plus larges, qu’ils soient vocaux ou manuels. Ce patron moteur peut alors être rapporté à l’encodage phonologique de la distance dans les langues du monde. Le paradigme expérimental utilisé dans cette étude contraste des pointages bimodaux vs unimodaux vocaux vs unimodaux manuels, et la comparaison de ces différentes conditions révèle par ailleurs une coopération bi directionnelle entre les modalités vocales et manuelles, qui se répartissent la charge informative lorsqu’elles sont utilisées ensemble.La deuxième partie de l’étude explore le développement du pointage multimodal. Les propriétés du pointage multimodal sont analysées chez des enfants de 6 à 12 ans, dans une tâche expérimentale comparable à celle des adultes. Cette deuxième expérience atteste d’un développement progressif du couplage geste/parole pour la deixis spatiale. Elle révèle que la distance est encodée préférentiellement dans les gestes manuels des enfants, par rapport à leurs gestes vocaux(surtout chez les jeunes enfants). Elle montre également que l’usage coopératif des gestes manuels et de la parole est déjà à l’oeuvre chez les enfants, avec cependant plus d’influence du geste sur la parole que le patron inverse.Le troisième volet de ce travail considère les interactions sensorimotrices dans la perception de la deixis spatiale. Une étude expérimentale basée sur un principe d’amorçage intermodal montre que le geste manuel joue un rôle dans le mécanisme de perception/production des unités sémantiques du langage. Ces données sont mises en parallèle avec les études sur la naturesensorimotrice des représentations dans le traitement des unités sonores du langage.L’ensemble de ces résultats plaide pour une représentation fortement intégrée des gestes manuels et de la parole dans le cerveau langagier humain, et ce même à un stade relativement précoce du développement. Ils montrent également que l’encodage de la distance est un indice robuste,présent dans tous les aspects du pointage multimodal