Visual Analytics for molecular data in immersive environments

En biologie structurale, l’étude théorique de structures moléculaires comporte quatre activités principales organisées selon le processus séquentiel suivant : la collecte de données expérimentales/théoriques, la visualisation des structures 3d, la simulation moléculaire, l’analyse et l’interprétation des résultats. Cet enchaînement permet à l’expert d’élaborer de nouvelles hypothèses, de les vérifier de manière expérimentale et de produire de nouvelles données comme point de départ d’un nouveau processus.L’explosion de la quantité de données à manipuler au sein de cette boucle pose désormais deux problèmes. Premièrement, les ressources et le temps relatifs aux tâches de transfert et de conversion de données entre chacune de ces activités augmentent considérablement. Deuxièmement, la complexité des données moléculaires générées par les nouvelles méthodologies expérimentales accroît fortement la difficulté pour correctement percevoir, visualiser et analyser ces données.Les environnements immersifs sont souvent proposés pour aborder le problème de la quantité et de la complexité croissante des phénomènes modélisés, en particulier durant l’activité de visualisation. En effet, la Réalité Virtuelle offre entre autre une perception stéréoscopique de haute qualité utile à une meilleure compréhension de données moléculaires intrinsèquement tridimensionnelles. Elle permet également d’afficher une quantité d’information importante grâce aux grandes surfaces d’affichage, mais aussi de compléter la sensation d’immersion par d’autres canaux sensorimoteurs.Cependant, deux facteurs majeurs freinent l’usage de la Réalité Virtuelle dans le domaine de la biologie structurale. D’une part, même s’il existe une littérature fournie sur la navigation dans les scènes virtuelles réalistes et écologiques, celle-ci est très peu étudiée sur la navigation sur des données scientifiques abstraites. La compréhension de phénomènes 3d complexes est pourtant particulièrement conditionnée par la capacité du sujet à se repérer dans l’espace. Le premier objectif de ce travail de doctorat a donc été de proposer des paradigmes navigation 3d adaptés aux structures moléculaires complexes. D’autre part, le contexte interactif des environnements immersif favorise l’interaction directe avec les objets d’intérêt. Or les activités de collecte et d’analyse des résultats supposent un contexte de travail en "ligne de commande" ou basé sur des scripts spécifiques aux outils d’analyse. Il en résulte que l’usage de la Réalité Virtuelle se limite souvent à l’activité d’exploration et de visualisation des structures moléculaires. C’est pourquoi le second objectif de thèse est de rapprocher ces différentes activités, jusqu’alors réalisées dans des contextes interactifs et applicatifs indépendants, au sein d’un contexte interactif homogène et unique. Outre le fait de minimiser le temps passé dans la gestion des données entre les différents contextes de travail, il s’agit également de présenter de manière conjointe et simultanée les structures moléculaires et leurs analyses et de permettre leur manipulation par des interactions directes.Notre contribution répond à ces objectifs en s’appuyant sur une approche guidée à la fois par le contenu et la tâche. Des paradigmes de navigation ont été conçus en tenant compte du contenu moléculaire, en particulier des propriétés géométriques, et des tâches de l’expert, afin de faciliter le repérage spatial et de rendre plus performante l’activité d’exploration. Par ailleurs, formaliser la nature des données moléculaires, leurs analyses et leurs représentations visuelles, permettent notamment de proposer à la demande et interactivement des analyses adaptées à la nature des données et de créer des liens entre les composants moléculaires et les analyses associées. Ces fonctionnalités passent par la construction d’une représentation sémantique unifiée et performante rendant possible l’intégration de ces activités dans un contexte interactif unique.In structural biology, the theoretical study of molecular structures has four main activities organized in the following scenario: collection of experimental and theoretical data, visualization of 3D structures, molecular simulation, analysis and interpretation of results. This pipeline allows the expert to develop new hypotheses, to verify them experimentally and to produce new data as a starting point for a new scenario.The explosion in the amount of data to handle in this loop has two problems. Firstly, the resources and time dedicated to the tasks of transfer and conversion of data between each of these four activities increases significantly. Secondly, the complexity of molecular data generated by new experimental methodologies greatly increases the difficulty to properly collect, visualize and analyze the data.Immersive environments are often proposed to address the quantity and the increasing complexity of the modeled phenomena, especially during the viewing activity. Indeed, virtual reality offers a high quality stereoscopic perception, useful for a better understanding of inherently three-dimensional molecular data. It also displays a large amount of information thanks to the large display surfaces, but also to complete the immersive feeling with other sensorimotor channels (3D audio, haptic feedbacks,...).However, two major factors hindering the use of virtual reality in the field of structural biology. On one hand, although there are literature on navigation and environmental realistic virtual scenes, navigating abstract science is still very little studied. The understanding of complex 3D phenomena is however particularly conditioned by the subject’s ability to identify themselves in a complex 3D phenomenon. The first objective of this thesis work is then to propose 3D navigation paradigms adapted to the molecular structures of increasing complexity. On the other hand, the interactive context of immersive environments encourages direct interaction with the objects of interest. But the activities of: results collection, simulation and analysis, assume a working environment based on command-line inputs or through specific scripts associated to the tools. Usually, the use of virtual reality is therefore restricted to molecular structures exploration and visualization. The second thesis objective is then to bring all these activities, previously carried out in independent and interactive application contexts, within a homogeneous and unique interactive context. In addition to minimizing the time spent in data management between different work contexts, the aim is also to present, in a joint and simultaneous way, molecular structures and analyses, and allow their manipulation through direct interaction.Our contribution meets these objectives by building on an approach guided by both the content and the task. More precisely, navigation paradigms have been designed taking into account the molecular content, especially geometric properties, and tasks of the expert, to facilitate spatial referencing in molecular complexes and make the exploration of these structures more efficient. In addition, formalizing the nature of molecular data, their analysis and their visual representations, allows to interactively propose analyzes adapted to the nature of the data and create links between the molecular components and associated analyzes. These features go through the construction of a unified and powerful semantic representation making possible the integration of these activities in a unique interactive context