Étude ergonomique de contraintes d'expression orales et gestuelles dans un environnement multimodal d'interaction homme-machine

Texte intégral accessible uniquement aux membres de l'Université de LorraineNot availableDepuis quelques années, l'évolution des interfaces utilisateurs s'est accélérée grâce notamment aux avancées technologiques dans les domaines de la reconnaissance et de l'interprétation du geste et de la parole qui permettent d'envisager l'implémentation d'interfaces homme-machine autorisant l'usage quasi-naturel d'expressions multimodales. Cependant, plusieurs études ont montré que la communication humaine ne semblait pas présenter un modelé fiable pour l'interaction homme-machine. De plus, la réalisation de telles interfaces se heurtent également à des problèmes d'ordre technique, les systèmes de reconnaissance et d'interprétation de la langue naturelle et du geste posant de nombreux problèmes non résolus actuellement. La solution consiste donc à mettre en place des interfaces homme-machine imposant aux utilisateurs des contraintes d'expression multimodale compatibles avec, d'une part, l'expression spontanée des utilisateurs et d'autre part les limitations des systèmes de reconnaissance et d'interprétation actuels. Mon travail de thèse s'inscrit dans ce cadre puisqu'il vise à définir des contraintes d'expression acceptables par les utilisateurs ainsi que des règles ergonomiques utiles aux concepteurs des futures interfaces homme-machine. Pour cela, nous avons choisi d'étudier deux groupes de sujets interagissant avec une application simulée permettant l'usage spontané (E1) ou contraint (E2) du geste et de la parole. Les erreurs d'expression commises par les sujets de E2 et l'usage de la multimodal ite ont été étudiés dans le but de valider le langage de commandes multimodales défini pour cette expérience. Nous avons pu remarquer, d'une part, que des contraintes linguistiques seront facilement assimilées par les utilisateurs si la composante orale du langage de commandes multimodales est un sous-ensemble de la langue naturelle préservant le pouvoir d'expression nécessaire à l'interaction et n'imposant que peu de restrictions sémantiques à l'utilisateur. De telles contraintes peuvent même avoir des effets bénéfiques sur l'expression des utilisateurs. D’autre part, lors de E2, nous avons pu constater un faible usage de la multimodalité ainsi qu'une diminution de la parole au profit d'un usage monomodal du geste, celui-ci servant notamment de modalité de recours lors de l'échec de la reconnaissance vocale