From design to exploration of interactive systems combining Mixed Reality, Natural User Interfaces, and the Internet of Things

La réalité mixte, les interfaces utilisateur naturelles et l’internet des objets permettent d'interagir simultanément avec le réel et le virtuel de façon intuitive et ubiquitaire. Leur convergence donne lieu à l'émergence de nouvelles formes de systèmes interactifs. Complexes et hétérogènes, ils requièrent des modèles et méthodologies de conception et d'implémentation unifiés. Nous proposons une approche permettant de maîtriser leur complexité, de simplifier et d'accélérer leur création, d'améliorer leur inter connectivité et leur extensibilité, et d'explorer les capacités d’interaction qu’ils ont à offrir. Cette approche est basée sur un modèle unifié qui modélise les utilisateurs, les interfaces utilisateur naturelles et les objets connectés sous la forme d’entités mixtes interconnectées. Ce modèle détaille également leur capacité à développer des comportements mixtes issus de la relation entre réel et virtuel. Nous proposons un framework basé sur ce modèle permettant de simplifier, factoriser et uniformiser la conception et l'implémentation de ces systèmes. Nous explorons également des techniques d’interaction mono et multisensorielle hybrides.Mixed reality, natural user interfaces, and the internet of things enable simultaneous interaction with the real and the virtual in an intuitive and ubiquitous manner. New forms of interactive systems emerge from their convergence. Complex and heterogeneous, they require models and methodologies dedicated to their conception and their implementation. We propose an approach allowing to manage their complexity, to simplify and accelerate their creation, to enhance their interconnectivity and their scalability, and to explore innovative interaction techniques they enable. This approach is based on our unified model. We model users, natural user interfaces, and connected objects as interconnected mixed entities. Our model details their capability to develop mixed behaviors. We propose a framework based on this model simplifying, factoring, and unifying the design and implementation of such systems. We also explore new mono and multi-sensorial hybrid interaction techniques they offer