Interaction et multimodalité

Conférence invitéeCet article pose les problèmes généraux, concepts et principes concernant les interfaces homme-machine multimodales :- l'usage et l'adéquation des modes de communication ;- le contexte d'interaction : concurrent, alterné, composé, parallèle ;- la gestion des événements bas niveaux (cohérence, chronologie, redondance, etc.) ;- la fusion des informations ;- leur interprétation (coréférence) ;- les niveaux d'abstraction et de représentation.On situe quelques uns de ces points à travers une taxonomie des interfaces.On aborde le difficile problème de la coréférence entre les modes, placé dans une perspective de fusion d'informations auquel on propose une solution. Une application multimodale de conception de dessin ICPdraw est décrite pour en illustrer le propos. ICPdraw est construit sur une architecture en couches comprenant :- des cartes de reconnaissance et de synthèse dédiées ;- des serveurs d'événements ;- un gestionnaire des modes ;- un contrôleur de dialogue ;- une interface de communication avec le noyau fonctionnel de l'application