Temporal noises for video quality : metric and correction

Ces dernières années la diffusion vidéo "de salon" a connu trois transitions majeures : la compression vidéo aévolué de la norme MPEG2 à la norme h.264, les écrans à tube cathodique ont disparu du marché des téléviseurs quiest actuellement dominé par les écrans à cristaux liquides (LCD) et pour nir le format haute-définition (1280x720pixels ou 1920x1080) supplante de plus en plus le format SD (576x720). Ces évolutions ont modifié l'importancedes différents types de défauts de compression pour la perception de la qualité d'une vidéo. Les défauts majeursde compression vidéo sont désormais le ou et les défauts temporels. Le terme défaut temporel regroupe ici lavariation temporelle de défauts spatiaux comme l'effet de bloc et des défauts spécifiquement temporels comme lebruit de moustique.Nous nous sommes tout d'abord focalisés sur la correction du bruit de moustique. Le correcteur que nousproposons, le TVIF, est adapté aux trois caractéristiques de ce défaut : faible amplitude par rapport au contenulocal, proximité des contours et variation temporelle. Nous avons évalué l'efficacité de notre correcteur avec desmétriques objectives mais, celles-ci ne permettant pas de conclure sur les performances de notre ltre, nousavons organisé une expérience subjective de qualité. Les données recueillies lors de cette expérience indiquentque les observateurs perçoivent notre filtre comme une amélioration et que la version spatio-temporelle de notrecorrecteur est préférée à sa version spatiale. Reboucler sur les évaluations objectives nous permet de conclure queles métriques objectives ne mesurent pas adéquatement la correction du bruit de moustique, ni l'apport de lacorrection spatio-temporelle par rapport à la correction spatiale.Nous avons ensuite organisé une expérience couplant évaluation de qualité (globale et temporelle) et enregistrementsdes positions oculaires des observateurs. Cette expérience nous permet de spécifier plusieurs pointsutiles pour réaliser une métrique objective de qualité temporelle. Par exemple, le défaut le plus gênant pour laperception de la qualité globale est la variation d'effet de bloc, qui doit donc être la priorité d'une métrique dequalité temporelle. L'analyse des mouvements oculaires des observateurs en tâche libre, tâche de qualité globaleet tâche de qualité temporelle montre, entre autres, que la qualité de la vidéo diffusée n'a pas d'influence visiblesur les endroits regardés par les participants mais influence fortement la durée des fixations.Home video has gone through three major transitions within the past years: from the MPEG2 videocompression norm to the h.264 one, from cathode ray tube screens to liquid crystal display screens andfrom standard definition (576x720) to High-Definition (1280x720 or 1920x1080). Those changes havemodified the importance of each type of compression artifacts for quality assessment, relatively to oneanother. The two main compression artifacts are currently blur and temporal defects, including under thisterm temporal variations of spatial defects and artifacts specifically temporal such as mosquito noise.We first focused on filtering mosquito noise and presented the TVIF, a corrector adapted to this noise:small amplitude compared to the nearest edge, proximity to edges and variation through time. We firsttried to use objective quality metrics to assess the performance of our corrector. As it proved to beinconclusive, we set up a subjective experiment which showed that observers perceived our corrector asan enhancement and that they preferred the spatio-temporal correction to the spatial one. Going backover objective evaluations with the subjective ones showed that the metrics we used correctly assessneither the correction nor the gain in quality of the spatio-temporal correction over the spatial one.We then set up an experiment combining quality evaluation (both global and temporal) and recordings ofeye movements. The aim of this experiment is to specify some key points for designing an objectivetemporal quality metric. One example is that observers found that temporal variations of blocking effectare the most annoying defect global quality and, as such, should be the main focus of a temporal qualitymetric. Analysis of eye-movements of observers during free task, global quality task and temporal qualitytask shows, among other things, that quality has no visible influence on the places observers watch buthighly influences the duration of fixations. The evolutions over time of all the oculomotor parameters(saccades speed, fixation locations and durations) are similar for the three tasks during the first 1 or 2seconds of the videos and that the differences between tasks appear later on. It seems that the task toassess video quality plays a role afterwards on the deployment of visual attention