Live inverse rendering

The field of computer graphics is being transformed by the process of 'personalization'. The advent of augmented and mixed reality technology is challenging the existing graphics systems, which traditionally required elaborate hardware and skilled artistic efforts. Now, photorealistic graphics are require to be rendered on mobile devices with minimal sensors and compute power, and integrated with the real world environment automatically. Seamlessly integrating graphics into real environments requires the estimation of the fundamental light transport components of a scene - geometry, reflectance and illumination. While estimating environmental geometry and self-localization on mobile devices has progressed rapidly, the task of estimating scene reflectance and illumination from images or videos in real-time (termed 'live inverse rendering') is still at a nascent stage. The challenge is that of designing efficient representations and models for these appearance parameters and solving the resulting high-dimensional, non-linear and under-constrained system of equations at frame rates. This thesis comprehensively explores, for the first time, various representations, formulations, algorithms and systems for addressing these challenges. Starting with simple assumptions on the light transport model - of Lambertian surface reflectance and single light bounce scenario - the thesis expands in various directions by including 3D geometry, multiple light bounces, non-Lambertian isotropic surface reflectance and data-driven reflectance representation to address various facets of this problem. In the first part, the thesis explores the design of fast parallel non-linear GPU optimization schemes for solving both sparse and dense set of equations underlying the inverse rendering problem, and in the next, it applies the current advances in machine learning methods to design novel formulations and loss-energies to give a significant push to the state-of-the-art of reflectance and illumination estimation. Several real-time applications of illumination-aware scene editing, including relighting and material-cloning, are also shown to be made possible for first time by the new models proposed in this thesis. Finally, an outlook for future work on this problem is laid out, with particular emphasis on the interesting new opportunities afforded by the recent advances in machine learning.Das Gebiet der Computergrafik wird durch den Prozess der Personalisierung verändert. Das Aufkommen von Augmented- und Mixed- Reality-Technologie stellt die bestehenden Grafiksysteme vor Herausforderungen, die bisher aufwändige Hardware und geschickte künstlerische Bemühungen erforderten. Fotorealistische Grafiken müssen jetzt auf Mobilgeräten mit minimalem Sensor- und Rechenaufwand gerendert und automatisch in die reale Umgebung integriert werden. Die nahtlose Integration von Grafiken in reale Umgebungen erfordert die Abschätzung der grundlegenden Lichttransportkomponenten einer Szene: Geometrie, Reflektanz und Beleuchtung. Während die Schätzung der Umgebungsgeometrie und die Selbstlokalisierung auf Mobilgeräten rasch Fortschritte gemacht hat, befindet sich die Schätzung der Reflektanz und der Beleuchtung von Szenen anhand von Monokularbildern oder -videos in Echtzeit (als Live-Inverse-Rendering bezeichnet) noch im Anfangsstadium. Die Herausforderung besteht darin, effiziente Darstellungen und Modelle für diese Parameter zu entwerfen und das resultierende hochdimensionale, nichtlineare und unterspezifizierte Gleichungssystem in Echtzeit zu lösen. In dieser Arbeit werden erstmals verschiedene Darstellungen, Formulierungen, Algorithmen und Systeme zur Bewältigung dieser Herausforderungen beim monokularen Inverse-Rendering umfassend untersucht. Ausgehend von einfachen Annahmen zum Lichttransportmodell der Lambertschen Oberflächenreflektanz und Einfachlichtreflexionen geht diese Arbeit in mehrere Richtungen, indem 3D-Geometrie, Mehrfachlichtreflexionen, nicht-Lambertsche isotrope Oberflächenreflektanz und datengestützte Reflektanzmodelle hinzugefügt und damit verschiedene Facetten des Problems berücksichtigt werden. Im ersten Teil der Arbeit wird der Entwurf von schnellen, parallelen, nichtlinearen GPU-Optimierungsschemata untersucht, mit denen sowohl dünnbesetzte als auch dichte Gleichungssysteme gelöst werden können, die dem Inverse-Rendering-Problem zugrunde liegen. Im nächsten Teil werden aktuellen Fortschritte des maschinellen Lernens angewendet, um neuartige Formulierungen und Zielfunktionen zu entwerfen, die den Stand der Wissenschaft bei der Schätzung der Reflektanz und der Beleuchtung deutlich vorantreiben. Mit den in dieser Arbeit vorgeschlagenen neuen Modellen werden auch erstmals Echtzeitanwendungen für die Bearbeitung von Szenen unter Berücksichtigung der Beleuchtung, wie Beleuchtungsveränderung und Materialklonen, realisiert. Schlielich wird ein Ausblick für die künftige Arbeit an diesem Problem gegeben, wobei der Schwerpunkt auf den interessanten neuen Möglichkeiten liegt, die sich aus den jüngsten Fortschritten des maschinellen Lernens ergeben