Rendu multimodal en Réalité Virtuelle : Supervision des interactions au service de la tâche

Our research deals with multimodal rendering in Virtual Reality (VR), in order to improve the interactions between users and virtual environments.In particular, we try to make the most of human sensori-motor bandwidth and semantic capacities of visual, audio and haptic modalities, to increase comfort, performance or understanding of the operators in their different tasks. The ambition of our work lies in a generic and contextual approach of multimodal rendering in VR, in contrast with solutions tied to specific applications. Our research is also task-oriented rather than realism-oriented.Our major contribution is the design of a multimodal distribution supervision process dedicated to VR applications. It is based on a generic model of interactions, which allows representing the semantics of the tasks and the rendering possibilities of the system, with the help of a limited number of simple elements. The core of the supervision process is a rule-based engine. It is in charge of deciding what is the most appropriate multimodal rendering for a given interaction, depending on a knowledge base and on the interaction context.Evaluations are conducted on practical scenarios in the field of Fluid Mechanics exploration, Bio-Informatics protein docking and CAD. Results are satisfactory, in terms of the reliability of the decision process, its adaptability to various contexts as well as the speed of the answer, which is compatible with real-time VR interactions.Cette thèse porte sur l'étude du rendu multimodal en Réalité Virtuelle (RV), et a pour objectif d'améliorer l'activité des utilisateurs dans les environnements virtuels.Plus particulièrement, nous cherchons à exploiter au mieux la bande passante sensori-motrice humaine et les capacités sémantiques des modalités visuelles, audio et haptiques afin d'améliorer le confort, les performances ou la compréhension de l'opérateur dans ses diverses tâches. L'ambition de nos recherches réside dans une approche générique et contextuelle du rendu multimodal en RV, c'est-à-dire qui s'éloigne des solutions adhoc et liées à des applications précises. Nos travaux se veulent également orientés vers la tâche, et non vers le réalisme.Notre contribution majeure est l'élaboration d'un processus de supervision de la distribution multimodale dédié aux applications de RV. Ce processus est fondé sur un modèle générique des interactions, qui permet de représenter à l'aide d'un nombre limité d'éléments simples la sémantique des tâches et les rendus multimodaux possibles du système. Le cœur de la supervision est un moteur à base de règles logiques, capable de décider, à partir d'une base de connaissances, pour une interaction et dans un contexte donné, quel est le rendu multimodal le plus adéquat.Des évaluations du processus de supervision sont réalisées sur des scénarios concrets de Mécanique des Fluides, de Bio-Informatique et de CAO. Les résultats sont satisfaisants, tant au niveau de la fiabilité et de la qualité des rendus décidés, que de l'adaptabilité du superviseur à des contextes différents et de la rapidité de la décision, compatible avec des interactions de RV en temps réel