Compression multi-vues par representation LDI (Layered Depth Images)

This thesis presents an advanced framework for multi-view plus depth video processing and compression based on the concept of layered depth image (LDI). Several contributions are proposed for both depth-image based rendering and LDI construction and compression. The first contribution is a novel virtual view synthesis technique called Joint Projection Filling (JPF). This technique takes as input any image plus depth content and provides a virtual view in general position and performs image warping while detecting and filling cracks and other small disocclusions. A pixel confidence measure is introduced to avoid ghosting artifacts in the rendered views. For intermediate view interpolation, JPF is used in collaboration with a floating texture realignment technique. For virtual view extrapolation, JPF is combined with a novel full-Z depth aided inpainting technique. In order to efficiently encode the proposed LDI representation, a compression scheme based on MVC/AVC standard is adapted to exploit both temporal redundancies and inter-layer redundancies in the LDI sequence. An incremental construction scheme for the LDI is proposed, called I-LDI. This construction scheme reduces the completion rate of additional layers. An object-based layer organization of the LDI is then presented which ensures spatial consistency of each layer, and thus improves compression efficiency in comparison with a standard AVC/MVC scheme in rate-constrained context. Two rendering methods are finally proposed: the first one uses the JPF method, while the second one uses a 3D mesh for real-time rendering on an eight-views auto-stereoscopic display.Cette thèse présente un système de traitement des vidéos multi-vues plus profondeur (MVD), en utilisant le concept d'images multi-couches (LDI). Plusieurs contributions sont proposées, à la fois dans le domaine de la synthèse de vues à partir de cartes de profondeur et dans le domaine de la construction et de la compression des LDI. La méthode de synthèse de vues proposée est basée sur une nouvelle technique de projection (JPF). La projection JPF prend en entrée des données de type image plus profondeur et synthétise un nouveau point de vue quelconque ; elle est conçue pour détecter et remplir les fissures et les petits découvrements pendant la projection. Une mesure de confiance sur les pixels est introduite afin d'éviter les artéfacts fantômes au niveau des contours. Cette projection JPF est utilisée d'une part avec une technique de ré-alignement de textures lors de l'interpolation de vues intermédiaires, et d'autre part avec une nouvelle méthode de synthèse de textures lors de l'extrapolation de vues virtuelles. Afin d'encoder efficacement les séquences de LDI, un schéma de compression multi-vues (MVC/AVC) est adapté pour exploiter à la fois les redondances temporelles et inter-couche. Une construction incrémentale des LDI est proposée, qui réduit le taux de remplissage des couches additionnelles. L'efficacité de la compression est améliorée par une réorganisation des couches par objet, assurant ainsi une meilleure cohérence spatiale. Deux méthodes de rendu sont finalement proposées : la première utilise la projection JPF alors que la seconde utilise des maillages 3D pour un affichage temps réel sur un écran multi-scopiques