Adaptive Texturing and Geometry Processing for High-Detail Real-Time Rendering

Computer generated images of virtual scenes have become almost omnipresent in media, with applications ranging from print and advertisement to film and television as well as art, engineering and video games. The time to fulfill the ever-increasing demand for more and richer content has become the limiting factor and imposes a major challenge on 3D content creation, tools, and algorithms. Fortunately, special purpose graphics processing units (GPU)s enable interactively displaying three dimensional surfaces in real-time. These surfaces are often enriched with annotations stored in graphics memory such as colors, precomputed lighting, or displacements for providing details and realism beyond the geometric resolution. These annotations are typically stored in textures that are mapped to the surface during rendering. Unfortunately, artistic freedom and detail is often limited by the available graphics memory and processing speed. Compression algorithms provide only a short-term relief as existing texturing schemes are unable to adapt the memory requirements to the content. In this thesis, we introduce novel adaptive algorithms and texturing schemes to overcome existing memory and processing limitations. First, we propose novel texturing schemes that enable efficiently storing and rendering especially lighting and displacement textures by adaptively assigning texture memory exactly where needed. At the same time, we avoid artifacts common to texturing and displacements. In the second part, we introduce memory management to the GPU enabling real-time surface painting and sculpting with unprecedented detail during content creation. In addition, we present an algorithm for computing plausible and highly detailed surface deformations on collisions between scene objects. Finally, we improve upon real-time rendering of subdivision surfaces, the standard modeling primitive in movie productions. We effectively double the performance compared to the state of the art by adapting the amount of processing to the displayed content. All our adaptive algorithms are highly parallel and fully automatic. We believe that future content creation tools and game engines will benefit from our results.Die rasante Verbreitung von Anzeigegeräten in den letzten Jahren hat dazu geführt, dass computergenerierte Bilder nahezu allgegenwärtig geworden sind. Neben Printmedien und Filmen sehen wir diese Bilder zum Beispiel im Internet, im Fernsehen, in der Werbung, in der Wissenschaft und in Computerspielen. Dabei werden immer mehr Inhalte und immer mehr Details in möglichst kurzer Zeit gefordert. Dies stellt eine große Herausforderung an Inhaltsersteller, die Werkzeuge und Algorithmen dar. Um die zeitlichen Anforderungen zu erfüllen, ist es wichtig die virtuellen Szenen interaktiv begutachten zu können. Zu diesem Zweck wurden Grafikbeschleunigungsprozessoren entwickelt, die es erlauben, polygonale 3D Modelle in Echtzeit darzustellen. Neben der eigentlichen Geometrie werden Modelle oft mit Texturen versehen, um Details darzustellen. Dazu gehören zum Beispiel detaillierte Materialfarben, vorberechnete Beleuchtungssituationen oder sogenannte Offsettexturen, die für geometrische Details verwendet werden. Leider ist der Gebrauch von detaillierten Texturen im Echtzeitbereich durch den verfügbaren Grafikkartenspeicher beschränkt. Infolgedessen schränkt dies auch die Möglichkeiten der Designer ein ihre Vorstellung umzusetzen und darzustellen. Daher wurden Kompressionsalgorithmen mit dem Ziel entwickelt, den Speicherverbrauch etwas zu senken. Allerdings stoßen diese bei mehr Details auch schnell an Speichergrenzen. Das liegt vor allem daran, dass existierende Algorithmen die Texturen als Ganzes komprimieren, ohne den Speicherverbrauch an den Inhalt der Textur anzupassen. In der vorliegenden Dissertation präsentieren wir adaptive Algorithmen und Strategien, die es uns ermöglichen, die vorhandenen Ressourcen sehr viel besser zu nutzen und damit erst viel später an Verarbeitungs- und Speicherlimitierungen zu gelangen. Im ersten Teil der Arbeit präsentieren wir neue effiziente Daten– und Speicherstrukturen vor, die entwickelt wurden, um den Speicherverbrauch an die Inhalte anzupassen und Darstellungsartefakte zu vermeiden. In unseren Resultaten zeigen wir, dass besonders für Beleuchtungs- und Offsettetxuren sehr viel mehr Details gespeichert und dargestellt werden können. Im zweiten Teil beschäftigen wir uns mit dynamischer Texturierung, die zum Beispiel für das Malen und Formen von Oberflächendetails benötigt wird. Dazu stellen wir eine adaptive dynamische Speicherverwaltung für die Grafikressourcen vor, die es erlaubt einen Detailgrad zu erreichen, der vorher im Echtzeitbereich nicht möglich war. Zudem stellen wir einen Algorithmus vor, der es erlaubt, plausible und detaillierte Oberflächenverformungen bei der Kollision von Szeneobjekten zu berechnen und darzustellen. Zum Schluss stellen wir einen adaptiven Algorithmus zum Berechnen und Darstellen von Catmull-Clark Unterteilungsflächen vor, die vor allem für 3D Modelle in Filmproduktionen verwendet werden. Unser Algorithmus erlaubt es, die benötigte Zeit gegenüber dem Stand der Technik zu halbieren. Alle entwickelten Algorithmen und Verfahren sind vollautomatisch und darauf ausgelegt, die parallelen Verarbeitungsmöglichkeiten auf aktuellen Grafikkarten zu nutzen. Wir sind davon überzeugt, dass zukünftige Modellierungs- und Visualisierungssoftware sowie Computerspiele von unseren Methoden profitieren werden