An inquiry into image and video deblurring : the details that make a difference

Cette thèse étudie le problème du flou et de sa suppression.Dans la première partie, nous nous concentrons sur la restauration de rafale d'images, en particulier pour le défloutage et la super-résolution.Nous étudions tout d'abord Fourier Burst Accumulation, qui fusionne efficacement les images dans le temps par une moyenne pondérée dans le domaine de Fourier.Ensuite, nous montrons que les récents progrès dans la conception de satellite permettent d'augmenter la résolution spatiale en utilisant des algorithmes de super-résolution multi-images.Nous proposons une méthode basée sur un modèle d'interpolation spline et quantifions le gain de résolution. Nous appliquons la méthode avec succès sur des images brutes Skysat prêtées par Planet.Dans la deuxième partie, nous nous concentrons sur le problème de la déconvolution non aveugle.Alors que la plupart des méthodes supposent un modèle de formation d'image trop simpliste, nous proposons de traiter explicitement la saturation, la quantification et la correction gamma, permettant une amélioration considérable des résultats.Dans la troisième partie, nous abordons le difficile problème du défloutage aveugle, où le noyau de flou n'est plus connu.Nous proposons d'abord une anatomie de la méthode de Goldstein et Fattal qui modélise les irrégularités statistiques dans le spectre de puissance des images naturelles floues afin d'estimer un noyau de flou.Ensuite, nous analysons une méthode d'estimation du noyau de flou qui utilise un a priori L0 sur les gradients de l'image.Bien que la méthode soit efficace dans des conditions idéales, nous montrons que ses performances se dégradent rapidement dans des conditions de bruit élevé.Pour faire face à ce problème, nous proposons d'améliorer la méthode afin de traiter les niveaux de bruit élevés tout en maintenant son efficacité.L'approche proposée donne des résultats équivalents à ceux obtenus avec des méthodes beaucoup plus exigeantes en temps de calcul.Enfin, nous proposons de quantifier la netteté des images de la constellation PlanetScope afin d'éliminer les images de faible qualité ou de déconvoluer celles qui sont floues.This thesis studies the problem of image and video blur and its removal.In the first part we focus on the restoration of image bursts, in particular for deblurring and super-resolution.First we study Fourier Burst Accumulation, which efficiently fuses the frames temporally by a weighted average in the Fourier domain.Then we show that the recent advances in satellite design allow to increase the spatial resolution using multi-frame super-resolution algorithms.We propose a method based on a spline interpolation model and quantify the gain of resolution. We apply the method with success on raw Skysat image bursts lent by Planet.In the second part we focus on the non-blind deconvolution problem.While most methods assume an over-simplistic image formation model, we propose to explicitly handle saturation, quantization, and gamma correction, with considerable improvement of the results.In the third part we tackle the difficult problem of blind deblurring, where the blur kernel is not known.First we propose an anatomy of the Goldstein and Fattal method which models statistical irregularities in the power spectrum of blurred natural images in order to estimate a blur kernel.Then we analyze a blur kernel estimation method that uses an L0 prior on the image gradients.While the method performs well on ideal settings, we show that its performance degrades rapidly under high noise conditions.To cope with this issue, we propose improvements of the method in order to handle high noise levels while maintaining its efficiency.The proposed approach yields results that are equivalent to those obtained with computationally far more demanding methods.Finally we propose to quantify the sharpness of images from the PlanetScope constellation to discard low quality images or deconvolve blurry ones