Cinématographie virtuelle basée données

Le contrôle automatique de caméra est un composant essentiel en cinématographie virtuelle à la fois pour la sélection des points de vue appropriés dans une scène 3D ou pour passer en revue efficacement le contenu d'un environnement 3D. Les applications de cinématographie virtuelle reposent sur des critères réalisme afin de provoquer un impact positif chez le spectateur. Dans cette thèse, nous présentons deux contributions. Tout d'abord, nous proposons une métrique permettant d'évaluer et de corriger l'équilibre visuel dans les images basée sur un large éventail de caractéristiques visuelles, dont la taille, la silhouette, la position et la saillance d'objets cibles, associés à des métriques liées aux positions et orientations des objets. Le procédé consiste à annoter des images bien équilibrées, pour estimer automatiquement la façon dont chaque caractéristique influence l'équilibre visuel dans chaque image. Nous proposons de créer une base de données d'images annotées de façon à (i) évaluer l'équilibre dans une nouvelle image en comparant ses caractéristiques visuelles à celles de la base de donnée, et (ii) d'optimiser automatiquement les points de vue dans une scène 3D de façon à recréer un équilibre visuel. Deuxièmement, nous présentons les Camera Motion Graph, une technique pour générer facilement et efficacement des séquences cinématographiques en temps réel dans des environnements 3D dynamiques. Un Camera Motion Graph est composé de (i) morceaux de trajectoires de caméra réelles exprimées dans le repère local d'une ou plusieurs cibles, (ii) de transitions continues entre les trajectoires des caméras et (iii) de transitions représentant des sauts directs d'une trajectoire à une autre. Les échantillons de trajectoires sont construits en extrayant des mouvements de caméra à partir de véritables films en utilisant des techniques de vision par ordinateur, ou par capture de mouvement en utilisant un système de caméra virtuelle. Une transformation est proposée afin d'exprimer les trajectoires des caméras dans une représentation normalisée. Le Camera Motion Graph est alors construit par échantillonnage de toutes les paires de trajectoires de caméras et le calcul des possibilités de transitions continues ou directes. Les résultats que nous présentons illustrent la simplicité de la technique, son adaptabilité à différents environnements 3D ainsi que son efficacité.Automated camera control techniques are key components of virtual cinematography systems by providing means to select appropriate viewpoints in a 3D scene and to efficiently review the content of a 3D environment. In this work we present two contributions. First, we propose an example-driven on-screen balance metric which estimates how well balanced is the composition of a shot. Our metric accounts for a large set of visual features including size, silhouette, position and saliency of target objects, together with metrics related to character’s positions, orientations and gaze. The process consists in annotating well balanced images, to estimate automatically how each visual feature influences balance in each image. We then rely on this database of annotated images to (i) estimate how well new images are balanced by comparing their visual features, and (ii) automatically optimize viewpoints in a 3D scene to enforce balance. Second, we present Camera Motion Graphs, a technique to easily and efficiently generate cinematographic sequences in real-time dynamic 3D environments. A camera motion graph consists of (i) pieces of original camera trajectories attached to one or multiple targets, (ii) generated continuous transitions between camera trajectories and (iii) transitions representing cuts between camera trajectories. Pieces of original camera trajectories are built by extracting camera motions from real movies using vision-based techniques, or relying on motion capture techniques using a virtual camera system. A transformation is proposed to recompute all the camera trajectories in a normalized representation, making camera paths easily adaptable to new 3D environments through a specific retargeting technique. The camera motion graph is then constructed by sampling all pairs of camera trajectories and evaluating the possibility and quality of continuous or cut transitions. Results illustrate the simplicity of the technique, its adaptability to different 3D environments and its efficiency