Neuronale Grundlagen des Verstärkungslernens bei unmedizierten, depressiven Patienten

Reinforcement learning has a fundamental impact on motivationally guided behavior and decision-making by allowing one to adjust behavior on the basis of reward and punishment. Anhedonia, as one of the main symptoms of major depressive disorder (MDD), is defined as the reduced ability to experience pleasure from previously enjoyable events. It is known to be accompanied by alterations in reinforcement learning and different neural recruitment patterns for learning processes. Yet, previous studies on this topic are very inconsistent and do not take into account the effect of psychotropic medication. Computational modelling can serve as a methodological approach to investigate dysfunctional learning by depicting prediction error (PE) signals, which represent the difference between the expected and the actual outcome. However, while this approach has been used in healthy individuals, it has so far not been employed in unmedicated patients with MDD. Hence, we implemented a model-based approach using functional magnetic resonance imaging (fMRI) to compare the capacity for reinforcement learning in unmedicated patients with MDD (N=28) and a group of healthy participants (N=30) in an instrumental learning task. Monetary reinforcement was used to model each participant’s behavior in a way of choosing stimuli with a rewarding outcome and avoiding stimuli associated with money loss. A reinforcement learning algorithm was applied to estimate the learning behavior, which were depicted by trial-by- trial generated PE signals. The computed PE signals were then correlated with the observed blood-oxygen-level-dependent (BOLD) responses measured with fMRI. Statistical analyses focused on the point of stimulus and feedback presentation, either reflecting the anticipation or the outcome phase of the experiment. On the behavioral level depressive patients showed the same intact ability of learning the linkage between the presented stimuli with reward and punishment like healthy participants. This finding was supported by strong PE- related activity in the ventral striatum (VS) and the anterior insula for both groups. However, neural PE encoding in the medial orbitofrontal cortex (mOFC) was diminished in the MDD group, and reward PE signals in the mOFC and the VS were negatively correlated with anhedonia severity. Taken together, these findings demonstrate that reinforcement learning in depressive patients appears intact at the behavioral level. At the neural level, however, we found evidence for altered learning mechanisms in the form of reduced PE signaling in the mOFC, thus providing a link between reinforcement learning mechanism and anhedonia in patients with MDD.Verstärkungslernen hat einen grundlegenden Einfluss auf motivationsgesteuertes Verhalten und Entscheidungsfindungen, da es einem ermöglicht sein Verhalten auf Grundlage von Belohnung und Bestrafung anzupassen. Anhedonie, als ein Hauptsymptom von Patienten mit unipolarer Depression, ist definiert als die verminderte Fähigkeit Freude bei Ereignissen zu empfinden, die vorher als angenehm wahrgenommen wurden. Es ist bekannt, dass dies mit Veränderungen im Verstärkungslernen und unterschiedlichen neuronalen Aktivierungsmustern bei Lernprozessen einhergeht. Dennoch sind die Ergebnisse der bereits publizierten Studien sehr inkonsistent und der Einfluss von psychotropen Medikamenten wird nicht berücksichtigt. Die mathematische Modellierung von Lernprozessen kann als methodischer Ansatz dienen, um Dysfunktionen im Lernverhalten durch das Abbilden von Vorhersagefehlern zu untersuchen, welche den Unterschied zwischen erwarteten und tatsächlichen Verhaltenskonsequenzen darstellen. Allerdings wurde dieser Ansatz bisher hauptsächlich bei gesunden Individuen und noch nicht bei unmedizierten Patienten mit unipolarer Depression gewählt. Daher haben wir einen modellbasierten Ansatz mit funktioneller Magnetresonanztomographie (fMRT) implementiert, um 28 unmedizierte, depressive Patienten und eine Gruppe von 30 gesunden Kontrollprobanden in einer instrumentellen Lernaufgabe im Hinblick auf ihre Fähigkeit für Verstärkungslernen zu vergleichen. Monetäre Verstärkung wurde genutzt, um das Verhalten der Teilnehmer so zu beeinflussen, dass möglichst Stimuli gewählt wurden, die mit Geldgewinn verbunden waren und Stimuli zu meiden, die zu einem Geldverlust führten. Ein Lernalgorithmus wurde angewandt, um das Lernverhalten abzuschätzen, welches durch die für jeden Durchgang neu berechneten Vorhersagefehler abgebildet wurde. Die ermittelten Vorhersagefehler wurden dann für eine Korrelation mit den beobachteten fMRT- Signalen verwendet. Die statistische Analyse konzentrierte sich auf den Zeitpunkt der Präsentation des Stimulus und des monetären Feedbacks, welche die Antizipation oder die Belohnungs- bzw. Bestrafungsphase des Experimentes repräsentierten. Auf der Verhaltensebene zeigten depressive Patienten die gleiche intakte Fähigkeit die Kopplung zwischen präsentierten Stimuli mit Belohnung und Bestrafung zu erlernen, wie die gesunde Kontrollgruppe. Diese Beobachtung wird durch die starke neuronale Aktivität im ventralen Striatum (VS) und der anterioren Insel in beiden Gruppen bestätigt. Jedoch waren die Vorhersagefehler-Signale im medialen orbitofrontalen Kortex (mOFC) in der Patientengruppe vermindert und es zeigte sich eine negative Korrelation von Vorhersagefehler-Signalen im mOFC und VS mit zunehmenden Schweregrad der Anhedonie. Zusammengefasst zeigen diese Ergebnisse, dass auf der Verhaltensebene das Verstärkungslernen bei depressiven Patienten zwar intakt erscheint, auf der neuronalen Ebene jedoch Veränderungen von Lernmechanismen in der Form reduzierter Vorhersagefehler- Signale im mOFC nachweisbar sind. Diese stehen mit der klinisch beobachtbaren Anhedonie in Zusammenhang und könnten eine wichtige Rolle bei der Entstehung spielen