Ingénierie de l'interaction multimodale en entrée<br />Approche à composants ICARE

The area of multimodal interaction has expanded rapidly since the seminal “Put that there” demonstratorof R. Bolt that combines speech and gesture. In parallel with the development of the Graphical UserInterface technology, natural language processing and gesture recognition have made significantprogress. In addition, recent interaction paradigms such as tangible and embodied user interfaces as wellas augmented reality open a vast world of possibilities for interaction modalities. Significant achievementshave been made in terms of both modalities and real multimodal systems. Although several multimodalsystems have been built, their design and development still remains a difficult task particularly becauseof a lack of reusability. In this thesis we address this problem of design and development for inputmultimodal interfaces (from the user to the system). We describe a conceptual model of multimodalityas a unified framework for modalities and combinations of modalities. Based on this conceptual model,we define a generic component-based approach called ICARE which allows the easy and rapid design,development and maintenance of multimodal interfaces. We have developed the ICARE tool to provethe usefulness of our component-based approach. The ICARE tool is a graphical platform that enablesthe designer/developer to graphically manipulate and assemble ICARE software components in orderto specify the multimodal interaction. From this specification, the code of the multimodal interaction isautomatically generated. Five multimodal systems with different characteristics (augmented virtuality/reality, mobile systems) have been developed with the ICARE tool.Depuis les travaux fondateurs de R. Bolt « Mets ça là » combinant la voix et le geste, les modalitésd'interaction se sont multipliées, diversifiées et améliorées. Les récents paradigmes d'interactioncomme les interfaces tangibles incarnées ou la réalité augmentée, couplés aux progrès des systèmesde localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils, à l'amélioration dela reconnaissance de la parole ou de gestes ouvrent un vaste champ de possibilités d'interaction pourles systèmes multimodaux. Dans ce contexte, et bien que de nombreux systèmes multimodaux soientdisponibles, leur développement et leur maintien restent encore des tâches difficiles, notammentpar manque de réutilisabilité de l'existant. Ce travail de thèse aborde ce problème de conception etde développement pour la multimodalité en entrée (de l'utilisateur vers le système informatique).Nous décrivons un modèle conceptuel de la multimodalité qui organise dans un canevas unificateurles modalités et leurs formes de combinaison. Basé sur ce modèle, nous définissons une approchegénérique à composants logiciels, notée ICARE, facilitant et accélérant la conception, le développementet le maintien des interfaces multimodales. Nous démontrons l'apport de cette approche par l'outilICARE qui est une opérationnalisation de notre approche à composants. Un éditeur graphique est fourni,simplifiant la phase d'assemblage des composants et générant automatiquement le code correspondantà l'interaction multimodale. Cinq systèmes multimodaux aux caractéristiques distinctes (systèmes deréalité augmentée, de virtualité augmentée et mobiles) ont été développés avec l'outil ICARE