Contributions au recalage et à la reconstruction 3D de surfaces déformables

The goal of this thesis is to propose algorithms for the non-rigid image registration and 3D reconstruction of deformable sufaces from monocular videos. Sheets of paper or faces are typical surfaces we want to deal with. These problems are intrinsically ill-posed. Prior information has to be used. Their degree of specificity to the surface at hand may vary. For example, a paper is a surface with everywhere vanishing Gaussian curvature. This property can not be used for a face. These issues are important for tasks such as video augmentation by texture editing or by adding virtual 3D objects. The first part of this thesis tackles non-rigid image registration. Previous work on warp-based deformation modeling and estimation methods are firstly described. We then present two contributions. The first one is an efficient registration algorithm using a feature-driven parametrization of the warp. This extends compositionnal algorithms to cope with non-rigid warps. Our second contribution is a specific framework for non-rigid image registration in spite of self-occlusions. The main idea is to force the warp to collapse at the self-occlusion boundary. The second part of this thesis is concerned with 3D reconstruction of deformable surfaces.We use the low-rank shape model which represents the 3D shape as a linear combination of unknown shape bases. We propose a new way of looking at the low-rank shape model. Instead of considering it as a whole, we assume a coarse-to-fine ordering of the deformation modes. This allows us to propose a coarse-to-fine reconstruction algorithm which easily incorporates a perspective camera model, automatically selects the number of modes, and drastically reduces the level of ambiguity of the original low-rank shape model. Finally, we study deformation capture of untextured surfaces from 3D data using boundary information.Cette thèse porte sur le développement d'outils permettant le recalage d'images d'une surface déformable et la reconstruction tridimensionnelle de surfaces déformables à partir d'images prises par une seule caméra. Les surfaces que nous souhaitons traiter sont typiquement un visage ou une feuille de papier. Ces problématiques sont mal posées lorsque seule l'information présente dans les images est exploitée. Des informations a priori sur les déformations physiquement admissibles de la surface observée doivent être définies. Elles diffèrent en fonction du problème étudié. Par exemple, pour une feuille de papier, la courbure Gaussienne évaluée en chacun de ces points est nulle, cette propriété n'est pas valide pour un visage. Les applications visées sont l'insertion réaliste de logo 2D, de texte et aussi d'objets virtuels 3D dans des vidéos présentant une surface déformable. La première partie de cette thèse est consacrée au recalage d'images par modèles déformables. Après avoir brièvement introduit les notions de base sur les fonctions de déformation et sur leur estimation à partir de données images, nous donnons deux contributions. La première est un algorithme de recalage d'images d'une surface déformable, qui est efficace en terme de temps de calcul. Nous proposons une paramétrisation par primitives des fonctions de déformation permettant alors leur estimation par des algorithmes compositionnels habituellement réservés aux transformations formant un groupe. La deuxième contribution est la modélisation explicite des auto-occultations, en imposant la contraction de la fonction de déformation le long de la frontière d'auto-occultation. La deuxième partie de cette thèse aborde le problème de la reconstruction tridimensionnelle monoculaire de surfaces déformables. Nous nous basons sur le modèle de faible rang : les déformations sont approximées par une combinaison linéaire de modes de déformation inconnus. Nous supposons que ces derniers sont ordonnés par importance en terme d'amplitude de déformation capturée dans les images. Il en résulte une estimation hiérarchique des modes, facilitant l'emploi d'un modèle de caméra perspectif, la sélection automatique du nombre de modes et réduisant certaines ambiguïtés inhérentes au modèle. Nous explorons finalement la capture des déformations d'une surface peu texturée à partir de données issues d'un capteur 3D. L'information présente au niveau des contours de la surface est notamment utilisée. Nous avons implanté les différentes contributions décrites ci-dessous. Elles sont testées et comparées à l'état de l'art sur des données réelles et synthétiques. Les résultats sont présentés tout au long du tapuscrit