Les interactions multimodales

Mémoire de synthèse pour l'Habilitation à Diriger des Recherches, soutenue à Aix Marseille Université (Garant : Ph. Blache)L’Analyse de Discours Multimodale apporte une certaine perspective à l’organisation des données linguistiques et permet de mettre en relation des données relevant de plusieurs modalités, chaque — modalité verbale, vocale, visuelle dans la recherche présentée ici — étant cependant considérée dans un cadre théorique précis. Le but de ce travail est de montrer comment les informations des différentes modalités sont intégrées pour former un ensemble multimodal et la manière dont on peut formaliser cette intégration. L’exposition et l’exploration des différents travaux sur lesquels se sont appuyées la synthèse et la monographie présentées pour cette habilitation — portant essentiellement sur la saillance et la structure informationnelle dans des unités discursives et syntaxiques, mais aussi sur la notion de convergence conversationnelle en français et en anglais — me permettent de proposer une modélisation cognitive qui rend compte de l’ensemble des interactions observées entre les modalités linguistiques dans les actes de communication, mais permet également d’envisager la construction d’une grammaire multimodale de la communication orale dans des corpus de parole variés