Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal

Avant de résoudre les références aux objets et aux lieux d'un énoncé multimodal associant parole et geste de désignation, il est nécessaire de mettre en correspondance chaque geste avec le segment linguistique qui lui correspond. Pour cela, nous exprimons les contraintes syntaxiques, sémantiques et pragmatiques apportées par (a) les expressions référentielles et (b) les gestes, compte tenu de la disposition des objets et de leurs éventuels regroupements perceptifs. Une formalisation logique de ces contraintes et leur fusion permet d'aboutir à des hypothèses de correspondances puis à l'identification des référents. Nous exprimons alors la forme propositionnelle de l'énoncé permettant au système de retrouver les fonctions de l'application à exécuter. Malgré les nombreuses hypothèses faites sur chaque expression prise individuellement, nous montrons que le contenu propositionnel dans son ensemble est souvent le même. Cette méthode nous semble particulièrement prometteuse, tant parce qu'elle permet d'identifier les facteurs précis intervenant dans l'intégration de la langue et du geste, qu'en ce qu'elle permet d'envisager très facilement une implantation informatique