Brain-electric correlates of visual word recognition under natural reading conditions

Diese vorliegende Dissertation nutzt Koregistrierung von EEG und Eye-Tracking um neuronale Korrelate der Wortverarbeitung beim natürlichen Lesen zu untersuchen. EKP-Forschung hat unser Verständnis der Wortverarbeitung stark geprägt. Jedoch wird Lesen in EKP-Experimenten üblicherweise im unnatürlichen RSVP Paradigma untersucht. Der Blickbewegungsforschung verdanken wir viele Erkenntnisse über die Koordination von Sprachverarbeitung und Blickbewegungsplanung, allerdings nur auf der Verhaltensebene. Drei Leseexperimente in dieser Arbeit untersuchten a) foveale und parafoveale Wortverarbeitung, b) Wortschwierigkeit in Form von Wortfrequenzeffekten und c) den Einfluss von Blickbewegungen. Ein viertes Experiment untersuchte die Generalisierbarkeit parafovealer Vorverarbeitungs-Effekte (Preview-Effekte), indem diese mit chinesischen Sätzen repliziert wurden. Die Ergebnisse zeigten einen reliablen Effekt parafovealer Vorverarbeitung auf neuronale Korrelate der fovealen Worterkennung in Form eines frühen Effekts auf der N1 Komponente. Interaktionen zwischen dem Preview-Effekt und Wortfrequenz zeigten Wechselwirkungen der Verarbeitung aufeinanderfolgender Worte im fovealen und parafovealen Blickfeld. Preview-Effekte waren schwächer nach Worten mit niedriger Frequenz, was zeigt, wie komplexe foveale Wortverarbeitung Resourcen für parafoveale Information bindet. Andererseits beeinflusste parafoveale Verarbeitung auch die foveale Verarbeitung: Erstens durch den oben beschriebenen Preview-Effekt, zweitens durch eine Verlangsamung der Wortverarbeitungsrate nach schweren Vorschaubedingungen. Außerdem zeigten sich foveale Wortfrequenzeffekte früher nach valider parafovealer Wortvorschau. Der Preview-Effekt war stärker, wenn Blickbewegungen ausgeführt werden mussten. Der Grund hierfür sind verdeckte Aufmerksamkeitsverschiebungen vor einer Sakkade. (EKP-)Forschung zur visuellen Wortverarbeitung sollte zukünftig Blickbewegungen und parafoveale Vorverarbeitung berücksichtigen.The current dissertation uses co-registration of EEG with eye tracking to study the brain-electric correlates of word processing under natural reading circumstances. ERP research has advanced our understanding of the neuronal mechanisms of word processing greatly but traditionally used the RSVP paradigm that is not ecologically valid. Eye tracking research has greatly advanced our understanding of the coordination of linguistic processing with eye movement execution but provides only indirect insight into the actual brain processes during reading. Three reading experiments were conducted to study a) foveal and parafoveal processing, b) word processing in the form of frequency effects, and c) the impact of eye movement planning and execution on a neuronal as well as behavioral level. A fourth experiment tested the generalizability of the preview effects by replicating preview effects in Chinese sentence reading. Results show a robust effect of parafoveal preview on brain-electric correlates of foveal word recognition in the form of an early effect on the N1 component. The preview effect interacted with word frequency in different ways, revealing interactions between the processing of subsequent words in parafoveal and foveal vision. Preview effects were smaller after low frequency words, showing that parafoveal processing is reduced if foveal processing is complex. Also, parafoveal processing also affected foveal processing: Firstly, by providing preview benefit as described above and secondly, by slowing processing rates after a difficult preview (delayed POF effects). Lastly, foveal word frequency effects were found earlier if valid parafoveal preview had been provided. Preview effects were much stronger if eye movements had to be executed, which is most likely due to pre-saccadic attention shifts. Results show the shortcomings of traditional ERP studies and suggest that research on visual word recognition needs to consider eye movements and parafoveal processing