Bases neuronales de binding dans des représentations symboliques : exploration expérimentale et de modélisation

The aim of this thesis is to understand how the brain computes and represents symbolic structures, such like those encountered in language or mathematics. The existence of parts in structures like morphemes, words and phrases has been established through decades of linguistic analysis and psycholinguistic experiments. Nonetheless the neural implementation of the operations that support the extreme combinatorial nature of language remains unsettled. Some basic composition operations that allow the stable internal representation of sensory objects in the sensory cortex, like hierarchical pattern recognition, receptive fields, pooling and normalization, have started to be understood[5]. But models of the binding operations required for construction of complex, possibly hierarchical, symbolic structures on which precise manipulation of its components is a requisite, lack empirical testing and are still unable to predict neuroimaging signals. In this sense, bridging the gap between experimental neuroimaging evidence and the available modelling solutions to the binding problem is a crucial step for the advancement of our understanding of the brain computation and representation of symbolic structures. From the recognition of this problem, the goal of this PhD became the identification and experimental test of the theories, based on neural networks, capable of dealing with symbolic structures, for which we could establish testable predictions against existing fMRI and ECoG neuroimaging measurements derived from language processing tasks. We identified two powerful but very different modelling approaches to the problem. The first is in the context of the tradition of Vectorial Symbolic Architectures (VSA) that bring precise mathematical modelling to the operations required to represent structures in the neural units of artificial neural networks and manipulate them. This is Smolensky’s formalism with tensor product representations (TPR)[10], which he demonstrates can encompass most of the previous work in VSA, like Synchronous Firing[9], Holographic Reduced Representations[8] and Recursive Auto-Associative Memories[1]. The second, is the Neural Blackboard Architecture (NBA) developed by Marc De Kamps and Van der Velde[11], that importantly differentiates itself by proposing an implementation of binding by process in circuits formed by neural assemblies of spiking neural networks. Instead of solving binding by assuming precise and particular algebraic operations on vectors, the NBA proposes the establishment of transient connectivity changes in a circuit structure of neural assemblies, such that the potential _ow of neural activity allowed by working memory mechanisms after a binding process takes place, implicitly represents symbolic structures. The first part of the thesis develops in more detail the theory behind each of these models and their relationship from the common perspective of solving the binding problem. Both models are capable of addressing most of the theoretical challenges posed currently for the neural modelling of symbolic structures, including those presented by Jackendo_[3]. Nonetheless they are very different, Smolenky’s TPR relies mostly on spatial static considerations of artificial neural units with explicit completely distributed and spatially stable representations implemented through vectors, while the NBA relies on temporal dynamic considerations of biologically based spiking neural units with implicit semi-local and spatially unstable representations implemented through neural assemblies. For the second part of the thesis, we identified the superposition principle, which consists on the addition of the neural activations of each of the sub-parts of a symbolic structure, as one of the most crucial assumptions of Smolensky’s TPR. (...)Le travail présenté dans cette thèse fait partie d’un programme de recherche qui vise à comprendre comment le cerveau traite et représente les structures symboliques dans des domaines comme le langage ou les mathématiques. L’existence de structures composées de sous-éléments, tel que les morphèmes, les mots ou les phrases est très fortement suggérée par les analyses linguistiques et les données expérimentales de la psycholinguistique. En revanche, l’implémentation neuronale des opérations et des représentations qui permettent la nature combinatoire du langage reste encore essentiellement inconnue. Certaines opérations de composition élémentaires permettant une représentation interne stable des objets dans le cortex sensoriel, tel que la reconnaissance hiérarchique des formes, sont aujourd’hui mieux comprises [5]. En revanche, les modèles concernant les opérations de liaisons(binding) nécessaires à la construction de structures symboliques complexes et possiblement hiérarchiques, pour lesquelles des manipulations précises des composants doit être possible, sont encore peu testés de façon expérimentale et incapables de prédire les signaux en neuroimagerie. Combler le fossé entre les données de neuroimagerie expérimentale et les modèles proposés pour résoudre le problème de binding est une étape cruciale pour mieux comprendre les processus de traitements et de représentation des structures symboliques. Au regard de ce problème, l’objectif de ce travail était d’identifier et de tester expérimentalement les théories basées sur des réseaux neuronaux, capables de traiter des structures symboliques pour lesquelles nous avons pu établir des prédictions testables, contre des mesures existantes de neuroimagerie fMRI et ECoG dérivées de tâches de traitement du langage. Nous avons identifié deux approches de modélisation pertinentes. La première approche s’inscrit dans le contexte des architectures symboliques vectorielles (VSA), qui propose une modélisation mathématique précise des opérations nécessaires pour représenter les structures dans des réseaux neuronaux artificiels. C’est le formalisme de Paul Smolensky[10], utilisant des produit tensoriel (TPR) qui englobe la plupart des architectures VSA précédemment proposées comme, par exemple, les modèles d’Activation synchrones[9], les représentations réduites holographique[8], et les mémoires auto-associatives récursives[1]. La seconde approche que nous avons identifiée est celle du "Neural Blackboard Architecture" (NBA), développée par Marc De Kamps et Van der Velde[11]. Elle se démarque des autres en proposant une implémentation des mécanismes associatifs à travers des circuits formés par des assemblages de réseaux neuronaux. L’architecture du Blackboard repose sur des changements de connectivité transitoires des circuits d’assemblages neuronaux, de sorte que le potentiel de l’activité neurale permise par les mécanismes de mémoire de travail après un processus de liaison, représente implicitement les structures symboliques. Dans la première partie de cette thèse, nous détaillons la théorie derrière chacun de ces modèles et les comparons, du point de vue du problème de binding. Les deux modèles sont capables de répondre à la plupart des défis théoriques posés par la modélisation neuronale des structures symboliques, notamment ceux présentées par Jackendo[3]. Néanmoins, ces deux classes de modèles sont très différentes. Le TPR de Smolenky s’appuie principalement sur des considérations spatiales statiques d’unités neurales artificielles, avec des représentations explicites complètement distribuées et spatialement stables mises en œuvre par des vecteurs. La NBA en revanche, considère les dynamiques temporelles de décharge de neurones artificiels, avec des représentations spatialement instables implémentées par des assemblages neuronaux. (...