Un cadre en boucle fermée sur la prise de décision et l’apprentissage dans les circuits préfrontaux des primates, par modélisation computationnelle et expérimentation virtuelle.

This thesis attempts to build a computational systems-level framework that would help to develop an understanding of the organization of the prefrontal cortex (PFC) and the basal ganglia (BG) systems and their functional interactions in the process of decision-making and goal-directed behaviour in humans. A videogame environment, Minecraft is used to design experiments to test the framework in an environment that could be more complex and realistic, if necessary. The framework, along with virtual experimentation forms a closed-loop architecture for studying the high-level animal behavior.The neural systems framework in this work rests on the network dynamics between the subsystems of PFC and BG. PFC is believed to play a crucial role, in executive functions like planning, attention, goal-directed behavior, etc. BG are a group of sub-cortical nuclei that have been extensively studied in the field of motor control and action selection.Different regions in the PFC and structures within BG are anatomically organized, in parallel and segregated loops (each of them referred as a CBG loop). These loops can be, on a high level, divided into 3 kinds : limbic loops, associative loops and sensori-motor loops.First, a comprehensive framework with the above mentioned parallel loops is implemented. The emphasis rests on the limbic loops. Therefore the associative and sensori-motor loops are modeled algorithmically, taking help of the experimentation platform for motor control. As for the limbic loops, the orbitofrontal cortex (OFC) is the part of a loop for preferences and the anterior cingulate cortex (ACC), for internal needs. These loops are formed through their limbic counterpart in BG, ventral striatum (VS). VS has been widely studied and reported to be encoding various substrates of value, forming an integral part of value-based decision making. Simplistic scenarios are designed in the virtual environment using the agent and some objects and appetitive rewards in the environment. The limbic loops have been implemented according to existing computational models of decision making in the BG. Thus the framework and the experimental platform stand as a testbed to computational models of specific processes that have to fit in a bigger picture. Next, we use this framework to study more closely, the role of OFC in value-guided decision making and goal-directed behavior. As part of this thesis, several outstanding observations about the role of OFC in behavior have been summarized by consolidating numerous experimental evidences and reviews.Lastly, to explain the findings of different roles of lateral and medial regions of OFC, existing computational architecture of CBG loops, pavlovian learning in amygdala and multiple evidences of amygdala-OFC-VS interactions are put together into a single model. The learning rules of reinforcement have been adapted to accommodate the appropriate credit assignment (correct outcome to correct chosen stimulus) and the value difference of the choice options. As a result, several findings from animal experiments studying the separable roles, were replicated. Difference in choice impairments depending on the value difference between the best and the second best option is one of them. Dissociable roles in Pavlovian Instrumental Transfer were also observed.The investigations into the observed evidences around OFC offer great insight into understanding the very process of decision-making, value computation in general. By venturing into a realm of bio-inspired adaptive learning in an embodied virtual agent, describing the principles of motivation, goal-selection and self-evaluation, it is highlighted that the field of reinforcement learning and artificial intelligence has a lot to gain from studying the role of prefrontal systems in decision-making.Cette thèse propose de construire un cadre de travail de modélisation systémique, pour aider à la compréhension de l'organisation des systèmes associant le cortex préfrontal (PFC) et les ganglions de la base (BG) et de leurs interactions fonctionnelles dans les processus de prise de décision et de comportement dirigé par les buts chez les humains. Un environnement de jeu vidéo, Minecraft, est utilisé pour concevoir des expériences. Elles visent à tester le jeu vidéo dans un environnement qui pourrait être plus complexe et réaliste, si besoin. Ce cadre, avec l'expérimentation virtuelle, forme une architecture en boucle fermée pour l'étude de comportements animaux de haut niveau. Le cadre des systèmes neuronaux de ce travail repose sur la dynamique des réseaux entre des sous-systèmes du PFC et des BG. Le PFC joue un rôle crucial dans les fonctions exécutives comme la planification, l'attention, le comportement dirigé par les buts, etc. Les BG sont un groupe de noyaux sous-corticaux qui ont fait l'objet d'études approfondies dans le domaine du contrôle moteur et de la sélection de l'action. Différentes régions dans le PFC et les structures au sein des BG sont organisées anatomiquement, en boucles parallèles et séparées (chacune d'entre elles étant appelée une boucle CBG). Ces boucles peuvent être, à un niveau abstrait, divisées en 3 types : les boucles limbiques, les boucles associatives et les boucles sensorimotrices. Tout d'abord, un cadre global avec ces boucles parallèles a été mis en oeuvre. L'accent est mis sur les boucles limbiques. Les boucles associatives et sensori-motrices sont modélisées de manière algorithmique, à l'aide de la plate-forme d'expérimentation pour le contrôle moteur. Pour ce qui concerne les boucles limbiques, le cortex orbitofrontal (OFC) représente une boucle pour estimer les préférences et la boucle du cortex cingulaire antérieur (ACC) représente les besoins internes. Le substrat correspondant de ces boucles dans les BG est le striatum ventral (VS), beaucoup étudié pour son rôle dans le codage des valeurs. Des scénarios simples sont conçus dans l'environnement virtuel en utilisant l'agent, certains objets et des récompenses appétitives dans l'environnement. Les boucles limbiques ont été implémentées selon des modèles existants de prise de décision dans les BG. Ainsi, le cadre théorique et la plateforme expérimentale servent de banc d'essai pour ces modèles spécifiques qui doivent s'adapter dans une perspective plus large. Ensuite, nous utilisons ce cadre pour étudier de plus près le rôle de l’OFC dans la prise de décision guidée par la valeur et le comportement dirigé par les buts. Dans le cadre de cette thèse, des observations importantes sur le rôle de l’OFC dans le comportement ont été intégrées en consolidant de nombreuses données expérimentales. [...