Towards efficient methods for stereo image processing, coding and quality assessment

Les récents développements des technologies de l’imagerie 3D et en particulier la stéréoscopie ont ouvert de nouveaux horizons dans de nombreux domaines d’application tels que la TV 3D, le cinéma 3D, les jeux vidéo et la vidéoconférence. Ces avancées technologiques ont soulevé plusieurs défis aussi bien sur le plan théorique que pratique et en particulier dans le domaine du codage des données 3D. En effet, l’énorme quantité d’information issue des systèmes d’acquisition requiert des solutions efficaces pour la coder et la transmettre. L’objectif de cette thèse est le développement de méthodes pour optimiser les principales étapes de la chaine de traitement et transmission d’images stéréoscopiques. Nous nous limitons dans ce travail au rehaussement de contraste, le codage et l’évaluation de la qualité d’images stéréoscopiques. La première partie de ce travail traite les problèmes d’évaluation et d’amélioration de la qualité d’images stéréoscopiques. Nous nous intéressons d’abord au rehaussement de contraste en s’inspirant des méthodes 2D et en intégrant quelques éléments liés à la perception visuelle. Nous proposons ainsi une première méthode de rehaussement de contraste local basée sur la carte de saillance visuelle. L’aspect qualité est aussi traité selon une approche basée sur les protocoles et méthodes conues pour le cas des images 2D et 3D. Cette méthode exploite les caractéristiques et propriétés connues du système visuel humain (SVH) telles que la non-linéarité, la sensibilité au contraste, la sélectivité directionnelle et fréquentielle ainsi que le seuil de discrimination binoculaire. Nous avons aussi d´eveloppé une méthode de prédiction de la qualité d’images stéréoscopiques sans référence. Cette dernière est basée sur des descripteurs 3D statistiques issus de la scène naturelle afin identifier les distorsions. Ces descripteurs 3D statistiques correspondent aux attributs extraits à partir de la paire stéréo naturelle et de la carte de disparité. L’extraction de ces descripteurs se fait au moyen de l’analyse en ondelettes des images stéréoscopiques. La deuxième partie de cette thèse traite les problèmes de compression d’images stéréoscopiques. Nous avons commencé par l’exploitation de la transformée en cosinus discret unidirectionnel et unidimensionnel pour encoder l’image résiduelle issue de la compensation de disparité. Ensuite, en se basant sur la transformée en ondelettes, nous avons étudié deux techniques pour optimiser le calcul de l’image résiduelle. Enfin, nous avons proposé des méthodes d’allocation de débit pour la compression des images stéréoscopiques. En général, le problème d’allocation de bits est résolu d’une manière empirique en cherchant le débit optimale qui minimise une certaine distorsion. Cependant cette stratégie est complexe. Pour cela, nous avons proposé des méthodes d’allocation de débits, rapides et efficaces appropriées pour le codage en boucle ouverte et en boucle fermée. Cette thèse ouvre des perspectives dans les trois thématiques abordées, à savoir le rehaussement de contraste, le codage et l’évaluation de la qualité d’images stéréoscopiques.Recent developments in 3D stereoscopic technology have opened new horizons in many application fields such as 3DTV, 3D cinema, video games and videoconferencing and at the same time raised a number of challenges related to the processing and coding of 3D data. Today, stereoscopic imaging technology is becoming widely used in many fields. There are still some problems related to the physical limitations of image acquisition systems, e.g. transmission and storage requirements. The objective of this thesis is the development of methods for improving the main steps of stereoscopic imaging pipeline such as enhancement, coding and quality assessment. The first part of this work addresses quality issues including contrast enhancement and quality assessment of stereoscopic images. Three algorithms have been proposed. The first algorithm deals with the contrast enhancement aiming at promoting the local contrast guided by calculated/estimated object importance map in the visual scene. The second and the third algorithms aim at predicting the distortion severity of stereo images. In the second one, we have proposed a fullreference metric that requires the reference image and is based on some 2D and 3D findings such as amplitude non-linearity, contrast sensitivity, frequency and directional selectivity, and binocular just noticeable difference model. While in the third algorithm, we have proposed a no-reference metric which needs only the stereo pair to predict its quality. The latter is based on Natural Scene statistics to identify the distortion affecting the stereo image. The statistic 3D features consist in combining features extracted from the natural stereo pair and those from the estimate disparity map. To this end, a joint wavelet transform, inspired from the vector lifting concept is first employed. Then, the features are extracted from the obtained subbands. The second part of this dissertation addresses stereoscopic image compression issues. We started by investigating a one-dimensional directional discrete cosine transform to encode the disparity compensated residual image. Afterwards, and based on the wavelet transform, we investigated two techniques for optimizing the computation of the residual image. Finally, we present efficient bit allocation methods for stereo image coding purpose. Generally, the bit allocation problem is solved in an empirical manner by looking for the optimal rates leading to the minimum distortion value. Thanks to recently published work on approximations of the entropy and distortion functions, we proposed accurate and fast bit allocation schemes appropriate for the open-loop and closed-loop based stereo coding structures