Appearance of multi-scale surfaces

Le rendu, à la fois réaliste et efficace des scènes complexes, est un défi majeur de l'image de synthèse.Dans le domaine du rendu photo-réaliste, l'image est calculée en simulant les interactions physiques entre la lumière et le contenu de la scène.Mais, aujourd'hui, les studios de production ne créent plus, pour leurs films, de simples scènes, mais des mondes entiers, à la fois gigantesques et détaillés.La complexité a crue de manière exponentielle, entraînant un problème de scalabilité.La masse de données et la complexité des interactions sont telles que le calcul de l'image est devenu déraisonnablement coûteux, et ce, même sur des serveurs de calcul très puissants.Dans le domaine du rendu temps-réel, l'objectif de photo-réalisme est moins poussé.Le problème posé par la complexité est alors celui de la quantité de détails sous-pixel qui sont source d'artefacts visuels comme l'aliasing, le popping, et l'incohérence de l'apparence avec les changements de distance.Les détails sous-pixel ont une influence sur l'apparence au niveau du pixel et ne peuvent donc être simplement omis. De fait, réaliser un rendu multi-échelles en traitant séparément les détails vus de loin comme des matériaux est une solution naturelle à ce problème. Cependant, les modèles multi-échelles existants, souvent empiriques ou analysés avec force approximations, sont peu précis ou, du moins, n'ont pas été conçus pour représenter des situations complexes et échouent à préserver l'apparence des objets et donc à garantir la qualité photo-réaliste de l'image, ce qui les rend inutilisables avec les exigences de qualité en production. Nous soutenons la thèse qu'il est possible, en passant par une modélisation rigoureuse du problème de l'apparence au niveau des pixels, de mettre au point des algorithmes de rendu multi-échelles efficaces qui calculent des images de qualité. Nous explorons cette idée dans le cas des surfaces détaillées pour lesquelles nous utilisons et revisitons la théorie des micro-facettes comme fond théorique.La première partie de ce mémoire est dédiée à la mise au point du modèle physique à micro-facettes qui décrit les interactions entre la lumière et une surface multi-échelles. Nous commençons par revisiter les fondements de la théorie des micro-facettes. En partant de la conservation de l'aire projetée visible des micro-facettes, nous redérivons et unifions les principaux modèles existants. Ensuite, nous étendons la théorie pour la rendre compatible avec un paradigme de rendu multi-échelles. La compréhension acquise sur le modèle nous permet aussi de dériver de nouveaux résultats. En particulier, nous montrons comment certaines propriétés d'invariance permettent de dériver simplement des résultats pour des micro-surfaces anisotropes. Enfin, nous proposons une métrique de validation pour les modèles à micro-facettes, que nous utilisons pour valider les résultats existants ainsi que les nouveaux que nous proposons.Dans la seconde partie, nous montrons comment utiliser ces résultats théoriques pour mettre au point des applications de rendu de surfaces multi-échelles.En pratique, il faut choisir une représentation pour les surfaces multi-échelles et leurs matériaux, et calculer leurs interactions avec l'éclairage.Nous utilisons une représentation mémoire simple et légère pour les surfaces et montrons comment la rendre compatible avec l'animation des modèles, afin de ne pas avoir à la recalculer pour chaque image d'une séquence animée. Lorsque les attributs géométriques et optiques du matériau sont corrélés, ils doivent être représentés et évalués d'une manière qui dépend de leur visibilité, à la fois pour la caméra et pour la lumière. Nous montrons que ce problème peut toujours s'exprimer comme un problème de color mapping dont nous dérivons la solution ainsi qu'une manière efficace de la calculer. Enfin, nous décrivons des algorithmes d'intégration numérique de l'éclairage incident dédiés au rendu temps-réel et offline.Efficient rendering of realistic and complex scenes is a major challenge for image synthesis.In the field of photorealistic rendering, the image is computed by simulating the physical interactions between the light and the content of the scene.Nowadays, production studios don't create simple scenes for their movies, but gigantic and extremely detailed worlds.This exponential rise of complexity is responsible for scalability problems.The amount of data and the complexity of the interactions are such that computing the image has become unreasonably costly, and this even on the most powerful computers.In the field of real-time rendering, the objective of photorealism is less pushed on, but the problem posed by the complexity resides in the amount of subpixel details.They are the source of artefacts like aliasing, popping and inconsistent changes of appearances.Subpixel details influence appearance at the level of the pixel and cannot just be removed.Indeed, the transition from pixel to subpixel during a zoom requires recovering the emerging visual effects with high accuracy.Hence, using a multi-scale strategy, in which subpixel details are represented like surface material, is a natural solution to this scalability problem.However, existing multi-scale models are mostly empirical and approximate.They are not designed to handle complex scenes and fail at recovering the correct appearance; they don't satisfy the requirements for photorealistic quality demanded in production.We claim that it is possible to design efficient and high-quality multi-scale rendering algorithms.This can be done by modeling rigorously the problem of filtering the appearance at the level of the pixels.We explore this idea in the case of detailed surfaces, for which we use and revisit the theoretical background provided by microfacet theory.In the first part of this manuscript, we design the physical microfacet-based model, which describes the interactions between light and a multi-scale surface.We start by revisiting the foundations of microfacet theory.Starting from the conservation of the visible projected area, we derive and unify existing results.Then, we extend the theory and make it compatible with multi-scale rendering paradigms.The understanding acquired from the model also allows us to derive new results.For instance, we show how invariance properties can be used to derive results in the case of anisotropic microsurfaces, for which anisotropy is due to stretched micro-geometry, the typical case which occurs with animated surfaces.We also propose a metric that we use to validate microfacet-based models.In the second part, we show how to use these theoretical results to design multi-scale rendering applications for detailed surfaces.In practice, one needs to choose a representation for multi-scale surfaces and their materials, and compute how they interact with the incident light.We use a lightweight memory representation and show how to make it compatible with the animation of the models, so that there is no need to initialize it again for each image of an animated sequence.When the geometrical and optical attributes of the material are correlated, they have to be represented and evaluated in a way that depends on their visibility for the camera and the light source directions.We show that this problem can always be expressed as a color mapping problem. We derive its solution and an efficient way to evaluate it.Finally, we describe numerical integration schemes for the incident light dedicated to real-time and offline rendering.In particular, we propose a new importance sampling technique for microfacet-based materials that can be used in a typical Monte Carlo renderer