Grafikkartenbasierte Beleuchtungs- und Materialrekonstruktion zur fotorealistischen Echtzeitvisualisierung virtueller Objekte im Kontext von Mixed Reality Szenarien

Typische "Mixed-Reality-Systeme" leiden unter einem stetigen Konflikt zwischen visueller Qualität und Rendergeschwindigkeit - wahrscheinlich mehr als jegliche anderen Grafikanwendungen. Um reale und virtuelle Welten erfolgreich miteinander zu vermischen müssen virtuelle Objekte mit der Umgebung in Echtzeit interagieren und dabei gleichzeitig dem Betrachter optisch so gut vermittelt werden, dass dieser sie nicht von echten Objekten trennen kann. In den in der Vergangenheit vorgestellten Systemen wurde oft nur einer dieser beiden Aspekte näher betrachtet, wodurch eine wirkliche "Vermischung" der beiden Welten nie statt fand. Im Rahmen dieser Arbeit wurden Rekonstruktionsmethoden untersucht, die sowohl Licht als auch Materialeigenschaften aus Bilddaten über moderne Grafikhardware ableiten. Dazu wurden Verfahren untersucht, die vor allem in aktuellen Renderframeworks und in der Spieleindustrie eingesetzt werden. Ein Global Illumination Verfahren wird dabei zusammengesetzt aus dynamischem "Ambient Occlusion", Schattenwurf über in OpenSG implementierte Verfahren wie z.B. PCSS und eine Beleuchtungsmethode durch "Irradiance-Mapping". Letztere wird durch den Einsatz von "Spherical Harmonics" massiv beschleunigt und da- zu genutzt, andere Informationen über die realen Lichtverhältnisse wie z.B. die Helligkeit der Umgebung zu ermitteln. Materialeigenschaften realer Oberflächen werden in dieser Arbeit mit einem neuen Ansatz ermittelt. Eine bereits bestehende Methode welche analytisch versucht, mit unvollständigen Daten über die Szene die Rendergleichung rückwärts auszuwerten, benötigt zur Herleitung komplexer Materialeigenschaften nicht-lineare Optimierung. In dieser Arbeit wurde untersucht, ob statt dessen eine einfachere und vor allem allgemeinere Lösung über den Einsatz von genetischen Algorithmen gefunden werden kann. Typical "Mixed-Reality-Systems" suffer from a conflict between high visual quality and rendering speed - probably more than any other graphics application. To successfully merge real and virtual environments, virtual objects must inter- act with the real world surrounding them in real-time and simultaneously have to be presented to the user in such a way that it will be impossible to distinguish them from their real counterparts. Previous systems often concentrated on one of those aspects exclusively, thus a real "mix" of both worlds was never achieved. Within the scope of this thesis a collection of reconstruction methods, capable of deducing lighting and material configurations through modern graphics hardware from image data, have been analyzed. In particular, the focus has been on papers and techniques from current render frameworks and the gaming industry. A global illumination system is assembled with a dynamic ambient occlusion method, shadow-mapping via OpenSG (e.g. the native PCSS implementation) and a lighting model with irradiance-mapping. Generating the latter receives a massive speed boost through the use of spherical harmonics, which also serve to extract more information about the real lighting configuration, for instance the ambient brightness. Material properties of real surfaces are determined with a new approach. A already existing method tries to establish material properties analytically from incomplete information about the real scene by evaluating the rendering equation backwards, which in case of complex materials will result in equations heavily relying on non-linear optimization. A simpler and more general approach to this problem based on genetic algorithms is investigated in this thesis