Synthèse de texture à partir d’exemples : modèles et applications

This dissertation contributes to the problem of exemplar based texture synthesis by introducing the use of local Gaussian patch models to generate new texture images. Exemplar based texture synthesis is the process of generating, from an input texture sample, new texture images that are perceptually equivalent to the input. There are roughly two main categories of algorithms: the statistics based methods and the non parametric patch based methods. The first one aims to characterize a given texture sample by estimating a set of statistics which will define an underlying stochastic process. The results of this kind of methods are satisfying but only on a small group of textures, failing when important structures are visible in the input provided. The second category methods reorganize local neighborhoods from the input sample in a consistent way creating new texture images. These methods return impressive visual results. Nevertheless, they often yield verbatim copies of large parts of the input sample. Furthermore, they can diverge, starting to reproduce iteratively one part of the input sample and neglecting the rest of it, thus growing ``garbage''. In this thesis we propose a technique combining ideas from the statistic based methods and from the non parametric patch based methods. We call it the locally Gaussian method. The method keeps the positive aspects of both categories: the innovation capacity of the parametric methods and the ability to synthesize highly structured textures of the non parametric methods. To this aim, the self-similarities of a given input texture are modeled with conditional multivariate Gaussian distributions in the patch space. In general, the results that we obtain are visually superior to those obtained with statistic based methods while using local parametric models. On the other hand, our results are comparable to the visual results obtained with the non parametric patch based methods. This dissertation addresses another weakness of all patch based methods. They are strongly dependent on the patch size used, which is decided manually. It is therefore crucial to fix a correct patch size for each synthesis. Since texture images have, in general, details at different scales, we decided to extend the method to a multiscale approach which reduces the strong dependency of the method on the patch size. Patch based methods involve a stitching step. Indeed, the patches used for the synthesis process overlap each other. This overlap must be taken into account to avoid any transition artifact from patch to patch. Our first attempt to deal with it was to consider directly the overlap constraints in the local parametric model. The experiments show that for periodic and pseudo-periodic textures, considering these constraints in the parametrization is enough to avoid the stitching step. Nevertheless, for more complex textures it is not enough, and this led us to suggest a new stitching technique inspired by optimal transport and midway histogram equalization.This thesis ends with an extensive analysis of the generation of several natural textures. This study shows that, in spite of remarkable progress for local textures, the methods proposed in the extensive literature of exemplar based texture synthesis still are incapable of dealing with complex and non-stationary textures.Cette thèse s’attaque au problème de la synthèse de texture par l’exemple en utilisant des modèles stochastiques locaux de patchs pour générer de nouvelles images. La synthèse de texture par l’exemple a pour but de générer à partir d’un échantillon de texture de nouvelles images qui sont perceptuellement équivalentes à celle de départ. Les méthodes peuvent se regrouper en deux catégories: les méthodes paramétriques et les non paramétriques à base de patchs. Le premier groupe a pour but de caractériser une image de texture à partir d’un ensemble de statistiques qui définissent un processus stochastique sous-jacent. Les résultats visuels de ces méthodes sont satisfaisants, mais seulement pour un groupe réduit de types de texture. La synthèse pour des images de textures ayant des structures très contrastées peut échouer. La deuxième catégorie d’algorithme découpe, puis recolle de manière consistante des voisinages locaux de l’image de départ pour générer de nouvelles configurations plausibles de ces voisinages (ou patchs). Les résultats visuels de ces méthodes sont impressionnants. Néanmoins, on observe souvent des répétitions verbatim de grandes parties de l’image d’entrée qui du coup peuvent être reproduites plusieurs fois. De plus, ces algorithmes peuvent diverger, reproduisant de façon itérative une partie de l’image de l’entrée en négligeant le reste. La première partie de cette thèse présente une approche combinant des idées des deux catégories de méthodes, sous le nom de synthèse localement Gaussienne. On préserve dans cette nouvelle méthode les aspects positifs de chaque approche: la capacité d’innover des méthodes paramétriques, et la capacité de générer des textures fortement structurées des méthodes non paramétriques à base de patchs. Pour ce faire, on construit un modèle Gaussien multidimensionnel des auto-similarités d’une image de texture. Ainsi, on obtient des résultats qui sont visuellement supérieurs à ceux obtenus avec les méthodes paramétriques et qui sont comparables à ceux obtenus avec les méthodes non-paramétriques à base de patchs tout en utilisant une paramétrization locale de l’image. La thèse s’attache aussi à résoudre une autre difficulté des méthodes à base de patchs: le choix de la taille du patch. Afin de réduire significativement cette dépendance, on propose une extension multi échelle de la méthode. Les méthodes à bases de patchs supposent une étape de recollement. En effet, les patchs de l’image synthétisée se superposent entre eux, il faut donc gérer le recollement dans ces zones. La première approche qu’on a considérée consiste à prendre en compte cette contrainte de superposition dans la modélisation des patchs. Les expériences montrent que cela est satisfaisant pour des images de textures périodiques ou pseudo-périodiques et qu’en conséquence l’étape de recollement peut être supprimée pour ces textures. Cependant, pour des images de textures plus complexes ce n’est pas le cas, ce qui nous a menée à suggérer une nouvelle méthode de recollement inspirée du transport optimal. Cette thèse conclut avec une étude complète de l’état de l’art en génération d’images de textures naturelles. L’étude que nous présentons montre que, malgré les progrès considérables des méthodes de synthèse à base d’exemples proposées dans la vaste littérature, et même en les combinant astucieusement, celles-ci sont encore incapables d’émuler des textures complexes et non stationnaires