Deixis prosodique multisensorielle : production et perception audiovisuelle de la focalisation contrastive en français

The work described in this dissertation is grounded by three major findings. Firstly, numerous researchers have shown that speech is not only auditory but also visual. Secondly, prosody i.e. intonation, rhythm and phrasing, plays a key role in speech. Thirdly, deixis is a core phenomenon in spoken communication and its acquisition by infants. Deixis can be achieved using speech: it is indeed possible to "show with the voice" using prosodic focus for example. These observations enable us to assume that prosodic contrastive focus is rooted not only in audition, as has already been widely explored, but also in vision. The various works presented in this dissertation explore this hypothesis for French. Several production studies analyzing the recordings of six speakers using two different and complementary measurement techniques have shown that focus is signaled visually. Speakers use two different strategies regarding the visible articulatory movements: an absolute strategy and a differential one. The measurements have also shown that other non-articulatory facial gestures may be linked to the production of contrastive focus such as eyebrow and head movements. The link is however widely inter and intra speaker dependent. In parallel, perceptual experiments have enabled us to show that the visual correlates of focus are used for focus information extraction when the auditory modality is absent or degraded. It was also shown that the visual correlates identified in the production studies correspond at least in part to those used in audiovisual perception. These studies have thus shown that prosodic contrastive focus is "visible" and "seen". The findings allow us to sketch a cognitive model of the audiovisual production and perception of contrastive focus in French.Le travail présenté dans ce mémoire est sous-tendu par trois observations majeures. D'abord, de nombreux travaux ont mis en évidence que la parole n'était pas uniquement de nature auditive mais aussi visuelle. D'autre part, la prosodie, domaine de l'intonation, du rythme et du phrasé joue un rôle crucial en parole. Enfin, la deixis ou monstration est un phénomène au coeur de la communication parlée et de son acquisition par les jeunes enfants. Or celle-ci peut, entre autre, s'exprimer uniquement avec la parole : il est possible de « montrer de la voix » par la focalisation prosodique par exemple. Ces observations et constatations permettent d'émettre l'hypothèse que la focalisation contrastive prosodique se manifesterait non seulement par la modalité auditive ,comme il a déjà été largement exploré, mais aussi par la modalité visuelle. C'est la piste que les travaux de ce mémoire visent à explorer pour le cas particulier du français. Plusieurs analyses en production de la parole ont ainsi permis, grâce aux enregistrements de six locuteurs avec deux systèmes de mesure différents et complémentaires, de mettre en évidence les stratégies de signalisation visuelle de la focalisation. Il semble que les locuteurs produisent des indices articulatoires visibles selon deux stratégies principales : la stratégie de signalisation absolue et la stratégie de signalisation différentielle. Les analyses ont également permis de montrer que d'autres gestes faciaux non articulatoires (mouvements des sourcils et de la tête) pourraient être liés à la production de la focalisation mais de façon très variable non seulement d'un locuteur à l'autre mais aussi pour un même locuteur. Par ailleurs, des analyses parallèles en perception, ont permis de montrer que les indices visuels mis en évidence en production, étaient effectivement utilisés en perception et qu'ils permettent d'extraire l'information de focalisation quand la modalité auditive est indisponible ou dégradée. Il a été mis en évidence que les indices visuels identifiés en production correspondent au moins en partie à ceux utilisés en perception audiovisuelle. Ces travaux montrent ainsi que la focalisation contrastive en français est « visible » et est « vue ». Ces résultats permettent d'esquisser un modèle cognitif de la production et de la perception audiovisuelles de la focalisation contrastive en français