Electroencephalographics: Eine neuartige Modalität für Grafik-Forschung

Neuroimaging and brain mapping techniques can provide meaningful insights and guidance for graphics related problems. This is particularly true given that most of the output from graphics algorithms and applications is for human consumption. In this thesis I present the application of ElectroEncephaloGraphy (EEG) as a novel modality for investigating perceptual graphics problems. Until recently, EEG has predominantly been used for clinical diagnosis, in psychology, and by the brain-computer interface (BCI) community. Here, I extend its scope to assist in understanding the perception of visual output from graphics applications and to create new methods based on direct neural feedback. My work uses EEG data to determine the perceptual quality of videos and images which is of paramount importance for most graphics algorithms. This is especially important given the gap between perceived quality of an image and physical accuracy. This thesis begins by introducing the fundamentals of EEG measurements and its neurophysiological basis. Following this introduction, I present a novel method for determining perceived image and video quality from a single trial of EEG data in response to typical rendering artifacts. I also explore the use of EEG for direct neural feedback and present a neural-feedback loop for the optimization of rendering parameters for images and videos. I conclude with an outlook on what the future of EEG in graphics may hold.In dieser Arbeit präsentiere ich die Anwendung von Elektroenzephalografie (EEG) als eine neuartige Modalität zur Untersuchung von Wahrnehmungsfragen in der Computergraphik. Bisher wurde EEG vorwiegend für die klinische Diagnostik, in der Psychologie und in der BCI-Community verwendet. Ich erweitere den bisherigen Anwendungsbereich um die Untersuchung von perzeptueller Qualität bildgebender Verfahren auf Basis von neuronalem Feedback. Da die Ergebnisse der meisten graphischen bildgebenden Verfahren für die Betrachtung durch Menschen bestimmt sind, ist bei der Bildsynthese neben der physikalischen Genauigkeit ebenso die durch den Betrachter tatsächlich wahrgenommene Qualität von großer Bedeutung. Um die tatsächliche wahrgenommene Qualität von Videos und Bildern zu ermitteln, setze ich in meiner Arbeit mit EEG gemessene Daten ein. Diese Arbeit beginnt mit einer Einführung der Grundlagen der EEG-Messungen und ihrer neurophysiologischen Basis. Nach dieser Einführung stelle ich eine neue Methode zur Bestimmung wahrgenommener Bild- und Videoqualität vor. In diese Methode ermittele ich ein Maß für die wahrgenommene Bildqualität, in dem die EEG-Daten von Probanden als Reaktion auf typische Rendering-Artefakte aufgezeichnet werden. Weiterhin erforsche ich die Nutzung des EEG für direktes neuronales Feedback und präsentiere eine Neuronale-Feedback Schleife zur Optimierung von Rendering-Parametern für Bilder und Videos. Ich schließe diese Arbeit mit einem Ausblick auf die zukünftigen Möglichkeiten,die das EEG der Computergraphik bereitstellen könnte