The temporal interplay of vision and eye movements

Das visuelle System erreicht enorme Verarbeitungsmengen, wenn wir unsere Augen auf ein Objekt richten. Mehrere Prozesse sind aktiv bevor unser Blick das neue Objekt erreicht. Diese Arbeit erforscht die räumlichen und zeitlichen Eigenschaften drei solcher Prozesse: 1. aufmerksamkeitsbedingte Steigerung der neuronalen Aktivität und sakkadische Suppression; 2. aufmerksamkeitsbasierte Auswahl des Zielreizes bei einer visuellen Suchaufgabe; 3. zeitliche Entwicklung der Detektiongenauigkeit bei der Objekt-Substitutionsmaskierung. Wir untersuchten diese Prozesse mit einer Kombination aus humaner Elektroenzephalografie (EEG), eye tracking und psychophysischen Verhaltensmessungen. Zuerst untersuchten wir, wie die neuronale Repräsentation eines Reizes von seiner zeitlichen Nähe zur Sakkade geprägt wird. Wir zeigten, dass direkt vor der Sakkade erscheinende Reize am meisten durch Aufmerksamkeit und Suppression geprägt sind. In Studie 2 wurde die Sichtbarkeit des Reizes mit der Objekt-Substitutionsmaskierung verringert, und wir analysierten das Verhältnis zwischen sakkadischen Reaktionszeiten und ihrer Genauigkeit. Dazu erfassten wir neuronale Marker der Aufmerksamkeitslenkung zum Zielreiz und eine subjektive Bewertung seiner Wahrnehmbarkeit. Wir stellten fest, dass schnelle Sakkaden der Maskierung entgingen und Genauigkeit sowie subjektive Wahrnehmbarkeit erhöhten. Dies zeigt, dass bereits in frühen Verarbeitungsstadien eine bewusste und korrekte Wahrnehmung des Reizes entstehen kann. Wir replizierten diesen Befund für manuelle Antworten, um eine Verfälschung der Ergebnisse durch sakkadenspezifische Prozesse auszuschließen. Neben ihrer theoretischen Bedeutung liefern diese Studien einen methodischen Beitrag zum Forschungsgebiet der EEG-Augenbewegung: Entfernung sakkadischer Artefakte aus dem EEG bzw. Erstellung eines künstlichen Vergleichsdatensatzes. Die Arbeit stellt mehrere Ansätze zur Untersuchung der Dynamik visueller Wahrnehmung sowie Lösungen für zukünftige Studien dar.The visual system achieves a tremendous amount of processing as soon as we set eyes on a new object. Numerous processes are active already before eyes reach the object. This thesis explores the spatio-temporal properties of three such processes: attentional enhancement and saccadic suppression that accompany saccades to target; attentional selection of target in a visual search task; the timecourse of target detection accuracy under object-substitution masking. We monitored these events using a combination of human electrophysiology (EEG), eye tracking and behavioral psychophysics. We first studied how the neural representation of a visual stimulus is affected by its temporal proximity to saccade onset. We show that stimuli immediately preceding a saccade show strongest effects of attentional enhancement and saccadic suppression. Second, using object-substitution masking to reduce visibility, we analyzed the relationship between saccadic reaction times and response accuracy. We also collected subjective visibility ratings and observed neural markers of attentional selection, such as the negative, posterior-contralateral deflection at 200 ms (N2pc). We found that fast saccades escaped the effects of masking, resulted in higher response accuracy and higher awareness ratings. This indicates that early visual processing can trigger awareness and correct behavior. Finally, we replicated this finding with manual responses. Discovering a similar accuracy timecourse in a different modality ruled out saccade-specific mechanisms, such as saccadic suppression and retinal shift, as a potential confound. Next to their theoretical impact, all studies make a methodological contribution to EEG-eye movement research, such as removal of large-scale saccadic artifacts from EEG data and composition of matched surrogate data. In sum, this work uses multiple approaches to describe the dynamics of visual perisaccadic perception and offers solutions for future studies in this field