Example-Based Synthesis of 2D and Solid Textures

L'objectif des algorithmes de synthèse de textures par l'exemple est d'automatiser la génération de textures. L'exemple est une image 2D qui définit les caractéristiques visuelles à reproduire (couleurs, motifs, arrangements, etc.). Les méthodes dites “2D” génèrent de nouvelles images, typiquement plus grandes, semblables à l'exemple sans être des copies évidentes. Les méthodes de synthèse de textures “solides” quant à elles doivent inférer une structure tridimensionnelle des motifs présents dans l'exemple 2D. Il est attendu que les coupes du solide généré ressemblent à l'exemple 2D correspondant. Dans les deux cas, les textures synthétisées peuvent contenir des artefacts indésirés : manque de structures locales pour les motifs générés, régions floues ou uniformes, ou encore répétition de parties de texture identiques. Dans ce travail nous proposons deux méthodes pour la synthèse de textures 2D et solides. Ces méthodes ont pour objectif d'améliorer l'état de l'art concernant la qualité visuelle et la complexité algorithmique. En comparaison des textures solides, les images sont légères à stocker et manipuler, donc l'aspect le plus important pour la synthèse de textures 2D est la qualité visuelle. Les méthodes par patchs sont typiquement basées sur une affectation au plus proche voisin et reproduisent généralement la structure des motifs dans l'exemple avec succès. Cependant, ces méthodes ne garantissent pas une synthèse exempte de régions floues ou de répétitions non désirées. Dans la première partie de cette thèse, nous proposons un algorithme de synthèse 2D par patchs basé sur l'affectation optimale. L'algorithme proposé reproduit la structure locale et garantit dans une certaine mesure l'absence de régions uniformes ou floues. Nos expériences montrent la capacité du modèle à générer des résultats de haute qualité visuelle pour différents types de textures. De plus, nous proposons des variantes pour réduire la répétition causée typiquement par la formulation par patchs. Nous obtenons des résultats satisfaisants en utilisant un échantillonnage aléatoire des patchs de l'exemple à la place de l'échantillonnage régulier. Finalement nous étudions deux mécanismes de relaxation pour contrôler la répétition des motifs et accélérer les calculs.

Abstract

Example-based texture synthesis algorithms aim at automating the generation of textures. An example is a 2D image defining the visual characteristics that need to be reproduced in the new samples (colors, patterns, spatial arrangements, etc.). 2D texture synthesis methods generate new samples, usually larger, that look like the example without being a noticeable copy. Solid texture synthesis methods, on the other hand, need to infer a plausible threedimensional structure. In this setting, it is usually required that some cross-sections of the generated solid texture look like a corresponding 2D example. In both cases, synthesized textures can suffer from noticeable artifacts that hamper the visual quality: lack of local structure in the generated patterns, blurry or constant regions, and repetitions of identical portions of textures. In this work we propose two new methods for 2D and solid texture synthesis. They aim at improving the current state of the art regarding computational complexity and visual quality. Because 2D images are light and efficient to store and retrieve, the most important aspect of 2D texture synthesis is visual quality. Patch-based methods are usually based on a nearestneighbor matching and achieve a good reproduction of the example's patterns structure. However, they do not guarantee a synthesis free of blurry regions or undesirable repetitions. In the first part of this thesis, we propose a 2D patch algorithm based on optimal assignment, that reproduces the local structures while guaranteeing to some degree the absence of blurry/constant regions. Experiments show the capability of the proposed model for reaching high visual quality for different kinds of textures. Additionally, we explore ways to reduce the repetition commonly caused by patch-based formulations. We show successful results using a random sampling of patches from the example instead of a egular one. We also investigate two relaxing mechanisms to control the repetition of patterns and to accelerate computation.