Interaction et connaissance : construction d'une expérience dans le monde virtuel

The general area of our research is ‘virtual reality'. This discipline, which communicates with other branches of science, aims to support the creation of virtual environments for human use. It is concerned with their modelling, that is to say the development of simulation models permitting to ‘give life' to virtual objects and beings represented within virtual environments. Further, it studies the interfaces between reality and virtuality, the motor and sensorial interfaces that give the user a perception of his actions. In our work, the objective is to understand how human experience can be at once reinforced, capitalized and re-exploited in a virtual environment. We are particularly interested in activities centred on training, design and collaboration for which on one hand knowledge engineering permits a pertinent level of abstraction and on the other hand virtual reality offers modes of interaction with sensory feedback which are beneficial for the users involved (trainers, students, designers, remote workers, etc.). We are particularly interested in informed virtual environments (EVI), furnished with databases within which it is possible to interact and generate behaviour based on interpretation of static or dynamic representations. Such EVI are powerful tools for system evolution with users use, but can also imply user evolution with system use. An ‘enactive' approach to cognition or ‘enaction' inspires our work with the concept of ‘action guided by perception'. This notion originates from the reflections of Francisco Varela, a neurobiologist who, following his work with Maturana in Chile, sought an alternative to computationalism and connectionism as approaches to understanding cognition. Varela's attempt to introduce concepts from the biological cognitive sciences and his research in neuroscience lead to a concept of ‘embodied cognition'. In this vast region of investigation, we have chosen to focus on a single area: the relationship between interaction and knowledge within informed virtual environments. The corporal and intellectual experiences facilitated by virtual reality are intimately linked with phenomenology and it is this interpretation which has lead us to structure our outlook: - on one hand, how can knowledge be formed from a user's interaction with objects in a virtual environment, his independent exploration and his unique perception of the system? In this case, we investigate the user as the architect of knowledge at the centre of his own activity. As knowledge is created, he can share it via evolved collaborative systems. - on the other hand, how can knowledge represented within the environment – accessible by the user or exploited by the system – orient and guide the user's interaction in the virtual environment? Here, we investigate models of virtual environments in which interaction is increasingly complex, as represented knowledge becomes ‘understood and exploited' within the environment. In our work, we seek generic and re-useable findings. With a strong link between virtual reality and knowledge engineering, our research is oriented by the cognitive sciences. Our approach mixes technology and theory, and thereby promotes the emergence of new concepts, models and methods. We have developed numerous models and information environments for application in design, training and communication.Le cadre général de nos travaux de recherche est la réalité virtuelle. Cette discipline, dialogue entre disciplines scientifiques, a pour objectif la création de mondes virtuels et leur exploitation par l'homme. Elle s'intéresse à leur modélisation, c'est-à-dire aux modèles de simulation permettant de donner de la vie aux objets et êtres virtuels représentés à l'intérieur de ces mondes. De plus, elle étudie les interfaces de réalité virtuelle, c'est-à-dire les interfaces motrices et sensorielles donnant à l'utilisateur une perception de ses actions. Dans nos travaux, l'objectif est de comprendre comment l'expérience humaine peut être à la fois renforcée, capitalisée et ré exploitée en environnement virtuel. Nous considérons plus particulièrement les activités de formation, de conception et de collaboration pour lesquelles d'une part l'ingénierie des connaissances permet de modéliser et de proposer un niveau d'abstraction pertinent, et d'autre part pour lesquelles la réalité virtuelle offre des modes d'interaction avec retour sensoriel qui fait sens pour les acteurs impliqués (formateurs, formés, concepteurs, utilisateurs distants,...). Nous intéressons en particuliers aux environnements virtuels informés (EVI) dotés de modèles à base de connaissance dans lesquels il est possible à la fois d'interagir et de permettre des comportements par interprétation de représentations dynamiques ou statiques. Ces EVI sont des moyens puissants d'autoriser une évolution du système lors de l'activité de l'utilisateur mais aussi une évolution de l'utilisateur au fur et à mesure que le système est utilisé. L'approche énactive de la cognition ou « énaction » inspire nos travaux avec la notion « d'action guidée par la perception ». Cette notion provient à la base des réflexions de Francisco Varela, neurobiologiste qui s'est intéressé à la suite de ses travaux avec Maturana au Chili, à une alternative au computationnalisme et au connexionnisme pour comprendre la cognition. La tentative de F. Varela pour introduire des concepts de biologie en sciences cognitives et ses recherches en neurosciences aboutissent au concept de cognition incarnée (‘embodied cognition' ). Dans ce vaste champ d'investigation, nous avons choisi de nous concentrer sur une seule problématique, le couplage entre interaction et connaissance en environnement virtuel informé. Les expériences corporelles et intellectuelles permises par la réalité virtuelle sont étroitement liée à la phénoménologie et c'est cette grille de lecture qui nous a amenée à structurer notre mémoire : - d'une part, comment le fait d'interagir avec des objets de l'environnement virtuel, d'offrir à l'utilisateur le loisir d'explorer et de comprendre à son rythme et d'avoir à l'instant t une perception singulière d'un système, d'un phénomène ou d'une scène va permettre de construire une connaissance. L'utilisateur est cette fois acteur de cette construction, il est au cœur du processus qui lui est propre. Il peut alors partager cette connaissance construite à travers des systèmes collaboratifs évolués. - d'autre part, les connaissances représentées dans l'environnement, accessibles à l'utilisateur ou exploitées par le système vont l'aider à orienter son interaction, vont le guider, tels des guides virtuels ou des traces de son activité dans le monde virtuel. Nous aborderons ainsi des exemples de modèles d'environnements virtuels dans lesquels l'interaction est de plus en plus complexe, au fur et à mesure que les connaissances représentées sont « comprises » et « exploitées » dans l'environnement. Notre méthode de travail est fondée sur une recherche de généricité et de réutilisabilité, un lien fort entre réalité virtuelle et ingénierie des connaissances, orienté par les sciences cognitives, conduisant à l'émergence de concepts, de modèles et de méthodologies, par une approche mêlant à la fois théorie et technologie. Nous présentons de nombreux résultats au niveau des modèles, et des environnements informatiques pour des applications à la fois en conception, en formation et en communication