Compression and synthesis for representation of immersive content adapted to 6DoF

Une nouvelle norme de codage vidéo immersive a été finalisée par le Moving Picture Experts Group (MPEG). Il s'agit de la norme MPEG Immersive Video (MIV), MPEG-I Part 12. La norme MIV peut être utilisée pour permettre une navigation libre dans une scène. Cependant, il ne faut pas s'attendre à une compression appropriée de la géométrie, car les codecs vidéo 2D largement utilisés ne prennent pas en charge les outils dédiés au codage de la profondeur. En outre, la compression de la géométrie présente plusieurs inconvénients, tels que des exigences plus élevées en termes de débit binaire et de taux de pixel. Dans cette thèse, Decoder Side Depth Estimation (DSDE) est proposé et développé comme un système de codage alternatif au MIV, qui offre un gain de codage significatif, des économies de taux de pixel et une meilleure qualité perceptuelle. Nous proposons en outre plusieurs nouvelles améliorations de DSDE, impliquant la transmission partielle de la géométrie, la transmission d'informations latérales et l'exploitation du flux binaire de la texture afin d'améliorer encore le gain de codage et de réduire la complexité. Enfin, nous montrons que nos propositions peuvent être utilisées pour améliorer les performances de méthodes de rendu plus récentes, basées sur les réseaux neuronaux, comme les images multiplans.A novel immersive video coding standard has been finalized 2022 by the Moving Picture Experts Group (MPEG) denoted as MPEG Immersive Video (MIV), MPEG-I Part 12. The MIV standard can be used to enable free navigation within a scene. However, appropriate compression of the geometry cannot be expected as widely used 2D video codecs do not support dedicated depth coding tools. Furthermore, several disadvantages like higher bit- and pixel rate requirements are connected with the compression of geometry. In this thesis Decoder Side Depth Estimation (DSDE) is proposed and further developed as an alternative coding system to MIV, which provides significant coding gain, pixel rate savings and improved perceptual quality. We further propose various novel improvements of DSDE, involving the partial transmission of geometry, the transmission of side information and the exploitation of the texture bitstream in order to further improve the coding gain and to reduce the complexity. Finally, we show that our proposals can be used to enhance the performance of more recent, neural network-based rendering methods like multiplane images