Eye Movements, Memory, and Thinking: Tracking Eye Movements to Reveal Memory Processes during Reasoningand Decision-Making

This thesis investigates the relationship between eye movements, memory and thinking in five studies based on eye tracking experiments. The studies draw on the human ability to spatially index multimodal events as demonstrated by people’s gaze reverting back to emptied spatial locations when retrieving information that was associated with this location during a preceding encoding phase – the so called “looking-at-nothing” phenomenon. The first part of this thesis aimed at gaining a better understanding of the relationship between eye movements and memory in relation to verbal information. The second part of this thesis investigated what could be learned about the memory processes involved in reasoning and decision-making by studying eye movements to blank spaces. The first study presented in this thesis clarified the role of eye movements for the retrieval of verbal information from memory. More precisely, it questioned if eye movements to nothing are functionally related to memory retrieval for verbal information, i.e. auditorily presented linguistic information. Eye movements were analyzed following correct and incorrect retrievals of previously presented auditory statements concerning artificial places that were probed during a subsequent retrieval phase. Additionally, eye movements were manipulated as the independent variable with the aid of a spatial cue that either guided the eyes towards or away from associated spatial locations. Using verbal materials elicited eye movements to associated but emptied spatial locations, thereby replicating previous findings on eye movements to nothing. This behaviour was more pronounced for correct in comparison to incorrect retrievals. Retrieval performance was higher when the eyes were guided towards in comparison to being guided away from associated spatial locations. In sum, eye movements play a functional role for the retrieval of verbal materials. The second study tested if the looking-at-nothing behaviour can also diminish; for example, does its effect diminish if people gain enough practice in a retrieval task? The same paradigm was employed as in the first study. Participants listened to four different sentences. Each sentence was associated with one of four areas on the screen and was presented 12 times. After every presentation, participants heard a statement probing one sentence, while the computer screen remained blank. More fixations were found to be located in areas associated with the probed sentence than in other locations. Moreover, the more trials participants completed, the less frequently they exhibited the looking-at-nothing behaviour. Looking-at-nothing behaviour can in this way be seen to indeed diminish when knowledge becomes strongly represented in memory. In the third and fourth study eye movements were utilized as a tool to investigate memory search during rule- versus similarity-based decision-making. In both studies participants first memorized multiple pieces of information relating to job candidates (exemplars). In subsequent test trials they judged the suitability of new candidates that varied in their similarity to the previously learned exemplars. Results showed that when using similarity, but not when using a rule, participants fixated longer on the previous location of exemplars that were similar to the new candidates than on the location of dissimilar exemplars. This suggests that people using similarity retrieve previously learned exemplars, whereas people using a rule do not. Eye movements were used yet again as a tool in the fifth study. On this occasion, eye movements were investigated during memory-based diagnostic reasoning. The study tested the effects of symptom order and diversity with symptom sequences that supported two or three contending hypotheses, and which were ambiguous throughout the symptom sequence. Participants first learned information about causes and symptoms presented in spatial frames. Gaze allocation on emptied spatial frames during symptom processing and during the diagnostic response reflected the subjective status of hypotheses held in memory and the preferred interpretation of ambiguous symptoms. Gaze data showed how the diagnostic decision develops and revealed instances of hypothesis change and biases in symptom processing. The results of this thesis demonstrate in very different scenarios the tight interplay between eye movements, memory and thinking. They show that eye movements are not automatically directed to spatial locations. Instead, they reflect the dynamic updating of internal, multimodal memory representations. Eye movements can be used as a direct behavioural correlate of memory processes involved in similarity- versus rule-based decision-making, and they reveal rich time-course information about the process of diagnostic reasoning. The results of this thesis are discussed in light of the current theoretical debates on cognitive processes that guide eye movements, memory and thinking. This thesis concludes by outlining a list of recommendations for using eye movements to investigate thinking processes, an outlook for future research and possible applications for the research findings.Diese Dissertation beschäftigt sich mit der Interaktion von Blickbewegungen, Gedächtnis- und Denkprozessen. In fünf experimentellen Untersuchungen, die auf der Messung von Blickbewegungen beruhen, wurde die menschliche Fähigkeit zum räumlichen Indizieren multimodaler Ereignisse untersucht. Diese Fähigkeit manifestiert sich u.a. im sogenannten „Looking-at-nothing“ Phänomen, das beschreibt, dass Menschen beim Abruf von Informationen aus dem Gedächtnis an Orte zurückblicken, die in einer vorhergehenden Enkodierphase mit den abzurufenden Informationen assoziiert wurden, selbst wenn diese räumlichen Positionen keinerlei erinnerungsrelevante Informationen mehr enthalten. In der ersten Untersuchung wurde der Frage nachgegangen, ob Blickbewegungen an geleerte räumliche Positionen den Abruf von Informationen aus dem Gedächtnis erleichtern. Während ein solches Verhalten für den Abruf zuvor visuell dargebotener Informationen bereits gezeigt werden konnte, ist die Befundlage für die Erinnerungsleistung bei auditiv dargebotenen, linguistischen Informationen unklar. Um diesen Zusammenhang zu untersuchen, wurde das Blickverhalten zunächst als Folge von richtigen und falschen Antworten untersucht. In einem weiteren Schritt wurde das Blickverhalten experimentell manipuliert. Dies geschah mit Hilfe eines räumlichen Hinweisreizes, der die Blicke entweder hin zu der Position leitete, die mit dem abzurufenden Stimulus assoziiert war, oder weg von dieser Position. Die Ergebnisse dieser Untersuchung konnten bisherige Befunde zum Looking-at-nothing Verhalten replizieren. Zudem zeigte sich, dass beim korrekten Abruf von Informationen aus dem Gedächtnis vermehrt Looking-at-nothing gezeigt wurde, während das bei fehlerhaften Abrufen nicht der Fall war. Die Blickmanipulation ergab, dass die Gedächtnisleistung besser war, wenn der Hinweisreiz den Blick hin zur assoziierten räumlichen Position leitete. Im Gegensatz dazu war die Erinnerungsleistung schlechter, wenn der Blick von der assoziierten räumlichen Position weggeleitet wurde. Blickbewegungen an geleerte räumliche Positionen scheinen demnach auch den Abruf verbaler Stimuli zu erleichtern. In der zweiten Untersuchung wurde erforscht, ob das Looking-at-nothing Verhalten nachlässt, wenn das experimentelle Material stark gelernt, d.h. stark im Gedächtnis repräsentiert ist. Dazu wurde das gleiche experimentelle Paradigma, wie in der ersten Untersuchung verwendet. Vier verschiedene Sätze wurden während der Enkodierphase mit vier verschiedenen räumlichen Positionen assoziiert. Nach jeder Präsentation aller vier Sätze, wurde einer der Sätze getestet. Diese Prozedur wiederholte sich in zwölf Durchgängen. In den ersten vier Durchgängen sahen die Versuchspersonen beim Abruf häufiger in das Feld, dass mit der getesteten Information assoziiert war, d.h. sie zeigten wie erwartet das Looking-at-nothing Verhalten. Je mehr Durchgänge die Versuchspersonen bearbeiteten, desto seltener blickten sie zu der assoziierten räumlichen Position. Demnach verschwindet das Looking-at-nothing Verhalten, wenn Informationen stark im Gedächtnis repräsentiert sind. In der dritten und vierten Untersuchung wurden Blickbewegungen an geleerte räumliche Positionen als Methode verwendet um Denkprozesse zu untersuchen. In der dritten Untersuchung lernten Versuchsteilnehmer zunächst Informationen über fiktive Bewerber (Exemplare) für eine freie Position in einem Unternehmen. Jedes Exemplar wurde mit seinen Eigenschaften während der Lernphase mit einer distinkten räumlichen Position verknüpft. In einer nachfolgenden Entscheidungsphase beurteilten die Versuchsteilnehmer neue Bewerber. Diese neuen Bewerber variierten in ihrer Ähnlichkeit mit den zuvor gelernten Bewerbern. Versuchsteilnehmer die eine ähnlichkeitsbasierte Entscheidungsstrategie verwendeten, sahen an die geleerten räumlichen Positionen zurück, die in der Lernphase mit den Exemplaren verknüpft wurden. Wendeten sie jedoch eine abstrakte Regel an, um die neuen Bewerber zu beurteilten, so zeigten sie kein Looking-at-nothing Verhalten. Dieses Ergebnis lässt darauf schließen, dass eine ähnlichkeitsbasierte im Gegensatz zu einer regelbasierten Strategie den Abruf zuvor gelernter Exemplare bewirkt. Auch in der fünften Untersuchung wurden Blickbewegungen als Methode eingesetzt, diesmal zur Untersuchung gedächtnisbasierter Schlussfolgerungsprozesse, wie sie beim Finden von Erklärungen für eine Anzahl gegebener Informationen auftreten. Manipuliert wurden die Reihenfolge der präsentierten Informationen und die Diversität der möglichen Erklärungen. Die getesteten Symptomsequenzen unterstützen stets mindestens zwei mögliche Erklärungen. Die Versuchsteilnehmer lernten in einer vorangestellten Lernphase die Symptome und ihre möglichen Erklärungen. Symptome und Erklärungen wurden mit räumlichen Positionen verknüpft. In einer anschließenden Diagnosephase wurden verschiedene Symptomsequenzen getestet. Das Blickverhalten während der Diagnosephase reflektierte die Interpretation der Symptome im Sinne der subjektiv wahrscheinlichsten Erklärung. Die Aufzeichnung und Analyse der Blickbewegungen erlaubte es die Entwicklung dieser Interpretation über die gesamte Sequenz hinweg zu beobachten und Hypothesenwechsel lokalisieren zu können. Insgesamt stützen die Ergebnisse dieser Dissertation die Annahme einer engen funktionalen Verbindung von Blickbewegungen, Gedächtnis- und Denkprozessen. Sie zeigen, dass Blickbewegungen nicht automatisch an alle assoziierten räumlichen Positionen gerichtet werden, sondern dass sie vielmehr den situations- und aufgabenabhängigen Abruf von Informationen aus dem Gedächtnis widerspiegeln. Blickbewegungen können als direktes Verhaltensmaß zur Messung von Gedächtnisprozessen beim ähnlichkeitsbasierten Entscheiden herangezogen werden und liefern wertvolle Prozessdaten über die Integration von Symptominformationen beim diagnostischen Schließen. Die Ergebnisse dieser Dissertation werden im Lichte der aktuellen theoretischen Diskussion über kognitive Prozesse beim Bewegen der Augen, beim Gedächtnisabruf und beim komplexen Denken betrachtet. Abschließend werden Empfehlungen für die Verwendung der Methode der Blickbewegungsmessung als Prozessmaß zur Untersuchung gedächtnisbasierter Denkprozesse gegeben, ein Überblick über zukünftige Forschungsmöglichkeiten präsentiert und Ideen für Anwendungsmöglichkeiten der präsentierten Befunde aufgezeigt