Coherent augmented reality rendering for mobile and non-mobile devices

The subject of this thesis is the interactive and visually coherent augmentation of live camera images. Considering the dynamic environment, the goal is to embed virtual objects seamlessly into the given image data. For this, it is necessary to precisely acquire the geometry and material properties of the real surfaces in order to subsequently perform illumination simulations in this reconstruction. During the preparation and creation of visual effects in the film industry, this real-world information already plays a significant role and enables a believable combination of virtual and real elements. Since capturing the information is not trivial and a correct lighting simulation is time consuming, a simplified visualization of objects without regard to the real environment is used to achieve interactive display rates in case of augmented reality. In many applications, such as evaluating virtual design prototypes, this simplified visualization is insufficient. The most correct rendering possible, that also considers the real surrounding of the virtual objects, is necessary to serve as a basis for decision-making. Accordingly, this dissertation explores new approaches to capture the realworld environment of virtual objects and, based on this, to realize a coherent interactive visualization. Particular attention is paid to direct and strong indirect light sources, which have a significant influence on the appearance of the virtual objects. The current state of the art is based on differential rendering, in which global light transport simulations are conducted to determine the influence of virtual objects on the real environment. The methods developed in the scope of this dissertation are based on that technique, too. However, they are designed to produce high-quality yet highly performant augmentations that are suitable for interactive use on mobile devices. Because of the development and dissemination of mobile devices, which provide many sensors and interaction possibilities, they became an extremely relevant platform for augmented reality solutions in various areas of our everyday life as well as for professional usage. The methods presented in this dissertation seize the potential of the mobile platform and use it in a way that no other previous publication has demonstrated. The core of the presented work are two physically-based augmented reality rendering frameworks: A distributed system that outsources the acquisition of the environment and the computationally expensive extraction of light sources to a stationary PC. The resulting compact parametrization of a lightweight illumination model is constantly updated and transmitted to mobile devices, which use their own computing capacity for an interactive and individual presentation to the user. The second system is based on a mobile device equipped with a depth sensor. It does not require any additional hardware. The environment is recorded as a three-dimensional point cloud, which is then used as input for light simulation methods. The adaptation of GPU-based Monte Carlo rendering provides a trade-off between quality and performance, and thus interactive display on mobile devices as well as a photorealistic rendering, that is otherwise known only from offline methods. Furthermore, a method for estimating unknown color transformations of cameras is presented, which is used during the scene acquisition to measure surface radiance with high dynamic range. They are also used as a color adjustment between virtual and real objects, making the boundaries harder to perceive and the augmentation more seamless. This dissertation introduces new methods that improve augmented reality rendering on mobile devices in terms of quality and performance. Thus, they improve the current state of the art and offer new possibilities for applications in many fields in which interactive and coherent visualization of virtual elements is of great importance, e.g., for the visualization of design prototypes, architecture, interior design, cultural heritage as well as in museums and exhibitions.Gegenstand dieser Dissertation ist die interaktive und visuell kohärente Erweiterung von Live Kamerabildern um virtuelle Objekte. Unter Berücksichtigung der teils dynamischen Umgebung, besteht das Ziel darin, die hinzugefügten Elemente möglichst nahtlos in die gegebenen Bilddaten einzubetten. Hierfür ist es notwendig, die Geometrie und die Materialeigenschaften der realen Oberflächen genau zu erfassen, um anschließend Beleuchtungssimulationen durchzuführen. Während der Vorbereitung und der Erstellung von visuellen Effekten in der Filmindustrie spielen diese realweltlichen Informationen bereits eine bedeutende Rolle und ermöglichen eine glaubhafte Kombination aus virtuellen und realen Elementen. Da das Erfassen der Informationen alles andere als trivial und eine korrekte Beleuchtungssimulation zeitaufwendig ist, wird im Falle von Augmented Reality häufig auf eine stark vereinfachte Visualisierung von Objekten ohne Berücksichtigung der realen Umgebung zurückgegriffen. Dies ermöglicht das Erreichen der zwingend erforderlichen interaktiven Darstellungsraten. In vielen Anwendungsfällen, wie z.B. dem Evaluieren von virtuellen Design Prototypen, ist diese vereinfachte Visualisierung ungenügend. Eine möglichst korrekte Darstellung der virtuellen Objekte in der aktuellen realen Umgebung ist notwendig, um als Entscheidungsgrundlage zu dienen. Dementsprechend untersucht diese Dissertation neue Ansätze, um das realweltliche Umfeld von virtuellen Objekten zu erfassen und darauf basierend, eine kohärente interaktive Darstellung zu realisieren. Besonderes Augenmerk liegt dabei auf den direkten und starken indirekten Lichtquellen, die einen wesentlichen Einfluss auf das Erscheinungsbild der virtuellen Objekte haben. Eine Beschreibung der Lage und Intensität dieser Lichtquellen ist unabdingbar, um eine korrekte Verschattung zwischen virtuellen und realen Elementen der Szene zu berechnen. Während viele aktuell genutzte Verfahren annehmen, dass sich die Lichtquellen in unendlich weiter Entfernung befinden, ist es Ziel dieser Arbeit ohne diese Annahme auszukommen und damit auch eine korrekte Nahfeldbeleuchtung zu ermöglichen. Der aktuelle Stand der Technik basiert auf Differenziellem Rendering, in dem globale Beleuchtungssimulationen durchgeführt werden, um den Einfluss von virtuellen Objekten auf die reale Umgebung zu bestimmen. Dieser Einfluss beinhaltet neben Verdeckung und Verschattung auch indirekte Beleuchtung, die durch die Reflexion von Licht zwischen realen und virtuellen Elementen entsteht. Auch die im Rahmen der vorliegenden Arbeit entwickelten Verfahren beruhen auf dieser Technik. Sie zielen aber darauf ab, qualitativ hochwertige und gleichzeitig performante Bildsynthesen zu erzeugen, die für den interaktiven Einsatz auf mobilen Geräten geeignet sind. Durch die Entwicklung und Verbreitung von mobilen Endgeräten mit einer Fülle an Sensoren und Interaktionsmöglichkeiten, stellen diese eine äußerst relevante Plattform für die Augmented Reality Lösungen in verschiedensten Bereichen des alltäglichen Lebens und für den professionellen Einsatz dar. Die in dieser Dissertation vorgestellten Beiträge greifen das Potenzial der mobilen Plattform auf und nutzen es in einer Weise, die in bisher keiner anderen Publikation demonstriert wurde. Kern der vorliegenden Arbeit sind zwei physikalisch fundierte AR Rendering Frameworks: Ein verteiltes System, welches das Erfassen der Umgebung und die rechenintensive Extraktion von Lichtquellen auf einem stationären Computer auslagert. Die resultierende kompakte Parametrisierung eines leichtgewichtigen Beleuchtungsmodelles wird permanent aktualisiert und an mobile Geräte übertragen, die die eigenen Rechenkapazitäten für eine interaktive und individuelle Darstellung von virtuellen Objekten nutzen. Das zweite System basiert auf einem mobilen Gerät mit Tiefensensor und kommt ohne zusätzliche Hardware aus. In einer Initialisierungsphase wird die Umgebung als dreidimensionale Punktwolke mit Oberflächennormale und Leuchtdichte für jeden gemessenen Punkt aufgenommen. Diese Rekonstruktion wird im Anschluss als Eingabe für verschiedene Lichtsimulationsverfahren genutzt. Die Adaption von GPU-basiertem Monte Carlo Rendering für die Anwendung in Augmented Reality Szenarien ermöglicht einen Trade-off zwischen Qualität und Geschwindigkeit und damit sowohl interaktive Darstellung auf mobilen Geräten, als auch eine photorealisitische Darstellung, die sonst nur aus Offline-Verfahren bekannt ist. Des Weiteren wird ein Verfahren zur Schätzung von unbekannten Farbtransformationen von Kameras vorgestellt, was während der Aufnahme genutzt wird, um Leuchtdichten mit hohem Dynamikbereich zu messen. Während der Darstellung, wird die geschätzte Transformation als Farbabgleich zwischen virtuellen und realen Objekten genutzt, wodurch beide Teile visuell besser verschmelzen und die Grenzen damit schwerer wahrnehmbar werden. Diese Dissertation stellt damit neue Verfahren vor, die Augmented Reality Darstellungen auf mobilen Endgeräten visuell als auch aus Sicht der Performanz verbessern. Sie ergänzen damit den bisherigen Stand der Technik und bieten neue Möglichkeiten für Anwendungen in vielen Bereichen in denen eine interaktive und kohärente Visualisierung von virtuellen Elementen von großer Bedeutung ist, z.B. Visualisierung von Design Prototypen, Architektur, Inneneinrichtung, Denkmalpflege sowie in Museen und Ausstellungen