Sujets sélectionnés dans le codage basé sur l'apprentissage pour l'imagerie en champ lumineux

The current trend in imaging technology is to go beyond the 2D representation of the world captured by a conventional camera. Light field technology enables us to capture richer directional cues. With the recent availability of hand-held light field cameras, it is possible to capture a scene from various perspectives with ease at a single exposure time, enabling new applications such as a change of perspective, focusing at different depths in the scene, and editing depth-of-field.Whereas the new imaging model increases frontiers of immersiveness, quality of experience, and digital photography, it generates huge amounts of data demanding significant storage and bandwidth resources. To overcomethese challenges, light fields require the development of efficient coding schemes.In this thesis, we explore deep-learning-based approaches for light field compression. Our hybrid coding scheme combines a learning-based compression approach with a traditional video coding scheme and offers a highly efficient tool for lossy compression of light field images. We employ an auto-encoder-based architecture and an entropy constrained bottleneck to achieve particular operability of the base codec. In addition, an enhancement layer based on a traditional video codec offers fine-grained quality scalability on top of the base layer. The proposed codec achieves better performance compared to state-of-the-art methods; quantitative experiments show, on average, more than 30% bitrate reduction compared to JPEG Pleno and HEVC codecs.Moreover, we propose a learning-based lossless light field codec that leverages view synthesis methods to obtain high-quality estimates and an auto-regressive model that builds probability distribution for arithmetic coding. The proposed method outperforms state-of-the-art methods in terms of bitrate while maintaining low computational complexity.Last but not least, we investigate distributed source coding paradigm for light field images. We leverage the high modeling capabilities of deep learning methods at two critical functional blocks in the distributed source coding scheme: for the estimation of Wyner-Ziv views and correlation noise modeling. Our initial study shows that incorporating a deep learning-based view synthesis method into a distributed coding scheme improves coding performance compared to the HEVC Intra. We achieve further gains by integrating the deep-learning-based modeling of the residual signal.La tendance actuelle en matière de technologie d'imagerie est d'aller au-delà de la représentation 2D du monde capturée par une caméra conventionnelle. La technologie de champ lumineux, light field, nous permet de capturer des repères directionnels plus riches. Avec la disponibilité récente des caméras portables à champ lumineux, il est possible de capturer facilement une scène sous différentes perspectives en un seul temps d'exposition, permettant de nouvelles applications telles qu'un changement de perspective, la mise au point à différentes profondeurs de la scène et l'édition. profondeur de champ.Alors que le nouveau modèle d'imagerie repousse les frontières de l'immersion, de la qualité de l'expérience et de la photographie numérique, il génère d'énormes quantités de données exigeant des ressources de stockage et de bande passante importantes. Surpasser ces défis, les champs lumineux nécessitent le développement de schémas de codage efficaces.Dans cette thèse, nous explorons des approches basées sur l'apprentissage profond pour la compression du champ lumineux. Notre schéma de codage hybride combine une approche de compression basée sur l'apprentissage avec un schéma de codage vidéo traditionnel et offre un outil très efficace pour la compression avec perte d'images en champ clair. Nous utilisons une architecture basée sur un encodeur automatique et un goulot d'étranglement contraint par l'entropie pour obtenir une opérabilité particulière du codec de base. De plus, une couche d'amélioration basée sur un codec vidéo traditionnel offre une évolutivité de qualité fine au-dessus de la couche de base. Le codec proposé atteint de meilleures performances par rapport aux méthodes de pointe ; les expériences quantitatives montrent, en moyenne, une réduction de débit de plus de 30% par rapport aux codecs JPEG Pleno et HEVC.De plus, nous proposons un codec de champ lumineux sans perte basé sur l'apprentissage qui exploite les méthodes de synthèse de vue pour obtenir des estimations de haute qualité et un modèle auto-régressif qui construit une distribution de probabilité pour le codage arithmétique. La méthode proposée surpasse les méthodes de pointe en termes de débit binaire tout en maintenant une faible complexité de calcul.Enfin, nous étudions le paradigme de codage de source distribué pour les images en champ lumineux. Nous tirons parti des capacités de modélisation élevées des méthodes d'apprentissage en profondeur au niveau de deux blocs fonctionnels critiques du schéma de codage de source distribué : pour l'estimation des vues Wyner-Ziv et la modélisation du bruit de corrélation. Notre étude initiale montre que l'intégration d'une méthode de synthèse de vues basée sur l'apprentissage profond dans un schéma de codage distribué améliore les performances de codage par rapport au HEVC Intra. Nous obtenons des gains supplémentaires en intégrant la modélisation basée sur l'apprentissage en profondeur du signal résiduel