Processing Mesh Surface Signals for Appearance Modeling

De récentes avancées technologiques, et en particulier le développement de la réalité mixte, associées à un besoin urgent pour des applications de téléprésence dans de nombreux domaines, créent une forte demande pour du contenu 3D acquis directement à partir d'observations réelles.Ce type de contenu peut ensuite être manipulé et utilisé pour du rendu interactif depuis n'importe quel point de vue, afin de générer une expérience immersive pour l'utilisateur.Le processus de modélisation implique généralement de reconstruire séparément la forme et l'apparance d'une scène, à partir d'un ensemble de photographies 2D.Il est crucial d'avoir une représentation fidèle de cette apparence, sous peine de briser la sensation d'immersion.Pour autant, il reste de nombreux défis à résoudre, et nous abordons certains d'entre eux dans cette thèse.Il existe de nombreuses méthodes pour calculer, stocker et rendre l'information d'apparence.Compte tenu du fait que ces modèles doivent être stockés et transmis de façon efficace, nous nous focalisons sur le type de représentation le plus compact, qui est sans doute aussi le plus utilisé: un maillage 3D avec une texture de couleur.Nous contribuons à différents aspects du problème de modélisation d'apparence dans ce contexte, notamment à l'échantillonnage, la compression, et la super-résolution d'apparence, ainsi qu'au débruitage de surface.Tout d'abord, la quantité d'information d'apparence disponible en entrée n'est pas uniforme sur la surface.Pourtant, une carte de texture, qui est la méthode ordinaire de paramétrisation de la surface, ne permet pas un échantillonnage non uniforme.En utilisant la paramétrisation propre des maillages, nous proposons une stratégie d'échantillonnage adaptative, qui est plus à même d'acquérir efficacement l'information disponible.Ensuite, comme notre modèle d'apparence ne peut pas être compressé efficacement, nous le dotons d'une méthode de compression avec pertes, ce qui le rend plus efficace que des textures image, en matière de rapport entre débit binaire et qualité visuelle.Plusieurs sources de bruit rendent le problème de modélisation d'apparence particulièrement difficile, parmi lesquelles se trouve le bruit géométrique.Etant donné le succès des réseaux de convolutions pour le débruitage d'images, nous contribuons au domaine du débruitage de maillages avec la première approche d'apprentissage profond de bout en bout, pour du débruitage de normales, basée sur un réseau de convolutions sur graphes.Enfin, nous abordons le problème de super-résolution d'apparence, dont le but est d'extraire une apparence détaillée à partir d'observations basse résolution.Nous présentons une approche innovante, avec une méthode d'apprentissage qui est entrainée pour améliorer l'apparence dans l'espace image, plutôt que dans un espace de texture partagé.Recent technological developments, in particular mixed reality media, combined with a pressing need for telepresence applications, give rise to a growing demand for 3D content that is captured directly from real data.Such content can then be edited and rendered in an interactive manner from any given viewpoint, producing an immersive experience for the user.The modeling process usually involves the separate reconstruction of the shape and the appearance, (or texture), of a scene, given a set of 2D photographs. A faithful representation of the appearance is paramount for a realistic rendering.Yet, it still faces many challenges, that we wish to address in this thesis.There is a wide range of methods used for computing, storing and rendering appearance information.Considering the need for efficient storage and streaming capabilities of such models, we choose to focus on the most compact, and probably the most widely used, type of representation: a 3D mesh with a color texture.We contribute to various aspects of appearance modeling in this context, including sampling,compression, and super-resolution of appearance, and surface denoising.First, the amount of available appearance information is not uniform on the surface.Yet, standard parameterizations of the surface, i.e. texture maps, can only sample it uniformly.Using the inner parameterization of the mesh, we propose an adaptive sampling strategy that isable to more efficiently capture available information.Then, because the appearance model we use cannot be compressed efficiently, we equip it witha lossy compression method, that makes it more efficient than image textures in terms of bit-rate vs. visual quality.Geometric noise is one of several sources of noise that make the problem of appearance modeling particularly challenging.Considering the success of convolutional networks for image denoising,we contribute to the field of mesh denoising, with the first end-to-end deep-learning approach for normals denoising, with a graph convolution network.Finally, we tackle the problem of appearance super-resolution, with the goal of producing a detailed appearance from a set of low-resolution images.We present a novel approach, with a data-driven method that is trained to enhance appearance in image space, rather than in a shared texture space