Un guide virtuel autonome pour la description d'un environnement réel dynamique: interaction entre la perception et la prise de décision

Augmented reality usually consists in the addition of virtual information to real static objects. Our proposal is to use augmented reality in order to anotate dynamic objects with non-predictable behaviors. We focus on problems related to the dynamic aspect of the environment: 1°/ describing reality (adaptating the explanations provided by the virtual guide to the evolution of the environment) ; 2°/ perceiving reality (the real world using video cameras). The description of the reality is achieved through the generation of the virtual guide's discourse. This generation is based on two aspects: a priori knowledge represented as explanations and the guide's behavior modeled with a hierarchical state machine. We consider the guided tour as the joint evolution of this behavior and the explanations provided to the visitors. An explanation is a graph describing the organisation of a set of discourse elements for a specific subject. Each discourse element represents an atomic unit describing the use of different modalities (e.g. speech, gestures, facial expression) as a script. The execution of an explanation graph is done by the guide's behavior which manages interruptions. When an explanation process is interrupted, the current subject of the guided tour is re-evaluated. This evaluation is based on a set of experts, each one being able to vote for available explanations according to their point of view. This vote takes into consideration the current context of the guided tour (e.g. tour history, elapsed/remaining time) as well as the state of the real environment. The perception of the reality consists in the creation and update of an environment representation. This is achieved in real-time by multiple cooperating perception routines. The complexity of the observed environment (e.g. amount of available information, lighting conditions) prevents us from analyzing the entire video stream provided by the cameras. We propose to overcome this problem by the use of appropriate perception strategies. These strategies are implemented by specific perception routines which are able to select and parameterize computer vision treatments. We present a minimal set of perception routines required to build an environment representation usable by the virtual guide: vigilance schedules detection in space and time; tracking updates spatial attributes of existing entities in the representation; recognition identifies existing entities. The effectiveness of these perception strategies depends on the interaction between the decision process (discourse generation) and the perception (the building of an environment representation) of our autonomous virtual actor. We propose to implement this interaction using the environment representation and requests of the decision process on this representation. Experiments have been carried on in order to show the different aspects of our proposition and validate it in a controlled environment. This work has been applied to a real world dynamic environment in the ANR project SIRENE. This application exhibits problems related to our issue and demonstrates the relevance of our approach in the context of the guided tour for a marine aquarium in Océanopolis.Classiquement la réalité augmentée consiste en l'annotation d'objets fixes pour un utilisateur en mouvement au sein d'un environnement réel. Le travail présenté dans cette thèse porte sur l'utilisation de la réalité augmentée dans le but de décrire des objets dynamiques dont le comportement n'est que peu prévisible. Nous nous intéressons tout particulièrement aux problèmes posés par la nature dynamique de l'environnement en ce qui concerne: 1°/ la description du réel (adapter les explications fournies par le guide virtuel à l'évolution de l'environnement) ; 2°/ la perception du réel (percevoir l'environnement à expliquer en temps réel à l'aide de caméras).La description du réel consiste en la génération d'un exposé par le guide virtuel. Cette génération repose sur deux points: des connaissances a priori sous la forme d'explications et un comportement décrit par un automate hiérarchique. Nous considérons la visite guidée comme l'évolution conjointe du comportement du guide virtuel et des explications qu'il fournit aux visiteurs. Une explication permet de décrire l'enchaînement d'éléments de discours sur un sujet donné à l'aide d'un graphe. Chacun de ces éléments décrit une unité de discours indivisible décrivant l'utilisation des différentes modalités (parole, gestes, expression, ...) sous la forme d'un script. L'exécution d'un graphe d'explication est effectuée par le comportement qui intègre la notion d'interruption. Lorsqu'un processus d'explication est interrompu, il est suspendu et le sujet courant de la visite guidée est réévalué. Cette réévaluation repose sur l'utilisation d'un ensemble d'experts votant pour les différentes explications disponibles selon un point de vue particulier. Ce vote se base sur le contexte courant de la visite guidée (historique, temps écoulé/restant, ...) et l'état de l'environnement réel. La perception consiste en la construction et la mise à jour d'une représentation de l'environnement. Ceci est effectué en temps réel par la coopération de différentes routines de perception. La complexité de l'environnement observé (quantité d'informations et variations des conditions d'éclairage) empêchent une analyse complète du flux vidéo. Nous proposons de surmonter ce problème par l'utilisation de stratégies de prise d'information adaptées. Ces stratégies de perception sont mises en oeuvre par certaines routines au travers du choix et du paramétrage des traitements qu'elles effectuent. Nous présentons un ensemble minimal de routines nécessaires à la construction d'une représentation de l'environnement exploitable dans le cadre de la description de cet environnement. Ce système repose sur la mise en oeuvre de trois stratégies de perception: la vigilance qui coordonne des traitements de détection dans le temps et dans l'espace; le suivi qui se charge de mettre à jour les propriétés spatiales des entités existantes dans la représentation; la reconnaissance dont le rôle est d'identifier ces entités. L'efficacité des stratégies de perception suppose une interaction entre la prise de décision (génération de l'exposé) et la perception (construction d'une représentation de l'environnement) de notre acteur virtuel autonome. Nous proposons de mettre en oeuvre cette interaction au travers de la représentation de l'environnement et des requêtes effectuées par le processus de prise de décision sur cette représentation.Nous avons mené des expérimentations afin mettre en évidence le fonctionnement des différents aspects de notre proposition et de la valider des conditions contrôlées. Ces travaux sont appliqués à un cas concret d'environnement réel dynamique complexe au sein du projet ANR SIRENE. Cette application met en évidence les questions liées à notre problématique et montre la pertinence de notre approche dans le cadre de la présentation d'un aquarium marin d'Océanopolis