Model-Driven Autonomic Framework for Building Multimodal Interfaces in Pervasive Environments

La construction d’interfaces homme-machine au dessus d’applications complexes soulève aujourd’hui des problèmes importants et requiert des efforts de recherche conséquents et soutenus. Il s’agit en effet d’aborder des technologies de plus en plus diverses et complexes de façon à construire des interfaces modulaires, évolutives et tirant profits des récents progrès dans les domaines de la programmation et des intergiciels. Il s’agit également de permettre à des non informaticiens, spécialistes de l’ergonomie, de définir et de mettre en place des interfaces appropriées. L’approche orientée service (Service-oriented Computing - SOC) constitue une avancée récente en Génie Logiciel. Cette approche promeut la mise en place de solutions modulaires et dynamiques permettant de faire évoluer, possiblement à l’exécution, les interfaces. L’approche orientée service est très prometteuse et de nombreux projets de recherche sont en cours dans les domaines de l’intégration d’entreprise, des équipements mobiles ou encore de l’informatique pervasive. L’approche orientée service demeure néanmoins complexe et demande un haut niveau d’expertise. Elle est difficilement accessible par des informaticiens non formés et totalement hors de portée des ingénieurs d’autres métiers, ergonomes par exemple. L’approche proposée dans cette thèse est de construire un atelier manipulant des services IHM abstraits. Ces services abstraits décrivent leurs fonctionnalités et leurs dépendances à un haut niveau d’abstraction. Ils peuvent ainsi être composés de façon plus aisée par des ingénieurs non experts en SOC. Le rôle de l’atelier est ensuite d’identifier des services concrets, implantant les services abstraits, de les composer en générant le code nécessaire (glue code) et de les déployer sur une plate-forme d’exécution. Un deuxième point concerne la spécialisation de l’atelier. Il est effet important de proposer un langage de composition de services proches des concepts métiers manipulés par les experts, notamment les ergonomes. Un tel langage se base sur les concepts métiers et intègre les contraintes de composition propres au domaine. L’approche actuelle passe par l’utilisation de méta-modèles, exprimant les connaissances métier, pour la spécialisation de l’atelier.N pervasive environments, with the proliferation of communicating devices in the environments (e.g., remoter controller, gamepad, mobile phone, augmented object), the users will express their needs or desires to an enormous variety of services with a multitude of available interaction modalities, expecting concurrently the environment and its equipment to react accordingly. Addressing the challenge of dynamic management at runtime of multimodal interaction in pervasive environments, our contribution is dedicated to software engineering of dynamic multimodal interfaces by providing: a specification language for multimodal interaction, an autonomic manager and an integration platform. The autonomic manager uses models to generate and maintain a multimodal interaction adapted to the current conditions of the environment. The multimodal interaction data-flow from input devices to a service is then effectively realized by the integration platform. Our conceptual solution is implemented by our DynaMo platform that is fully operational and stable. DynaMo is based on iPOJO, a dynamic service-oriented component framework built on top of OSGi and on Cilia, a component-based mediation framework