Toward using innovative memory devices as artificial synapses in neuro-inspired electronics

Les réseaux de neurones artificiels, dont le concept s'inspire du fonctionnement des cerveaux biologiques et de leurs capacités d'apprentissage, sont une approche prometteuse pour répondre aux nouveaux usages informatiques dits « cognitifs », tels que la reconnaissance d'images ou l'interaction en langage naturel. Néanmoins, leur mise en œuvre par des ordinateurs conventionnels est peu efficace. Une solution à ce problème est le développement de puces d'accélération matérielle spécialisées qui comportent :- des neurones, unités de traitement de l'information, pour lesquelles des circuits électroniques efficaces existent ;- des synapses, reliant les neurones mais aussi support matériel de l'apprentissage, par le biais de la modulation de leur conductance électrique (qualifiée de « plasticité synaptique »). Réaliser des synapses artificielles intégrables densément et capables d'apprendre in situ reste aujourd'hui un défi majeur.Ces travaux de thèse portent sur l'utilisation synaptique de nanocomposants mémoires innovants, dont certains comportements plastiques riches et intrinsèques sont analogues aux fonctionnalités que nous recherchons.Nous nous intéressons tout d'abord aux jonctions tunnel magnétiques à transfert de spin, développées dans l'industrie pour concevoir de nouvelles mémoires informatiques non volatiles. Nous montrons qu'il est aussi possible d'en faire des synapses artificielles binaires. Après la modélisation analytique de leur comportement naturellement stochastique, nous présentons comment exploiter ce dernier pour faciliter la mise en œuvre in situ d'une règle d'apprentissage probabiliste. À l'aide d'outils de simulation développés au laboratoire, nous étudions l'influence du régime de programmation sur la robustesse d'un système à la variabilité de telles synapses et sur leur consommation énergétique.Nous nous tournons ensuite vers des cellules électrochimiques métalliques Ag2S, d'autres nanocomposants mémoires innovants fabriqués et étudiés par des collaborateurs de l'Université de Lille I, qui y ont déjà observé plusieurs comportements plastiques. Nous avons découvert une plasticité supplémentaire, proche d'un comportement observé en neurosciences. Grâce à un modèle analytique simple permettant de comprendre les relations entre les différentes plasticités, nous montrons en simulation une preuve de concept d'apprentissage non supervisé qui repose sur l'interaction de ces multiples comportements.Pour finir, nous soulevons des pistes de réflexion sur les défis posés par les circuits nécessaires au bon fonctionnement d'un système utilisant comme synapses artificielles les nanocomposants étudiés, notamment lors de la lecture ou de l'écriture de ces derniers.Les résultats de cette thèse ouvrent la voie à la conception de systèmes neuro-inspirés capables d'apprendre en s'appuyant sur la richesse de comportements plastiques offerte par les nanocomposants mémoires innovants.Artificial neural networks, which take some inspiration from the behavior of biological brains and their learning capabilities, are promising tools to address emerging computing uses known as “cognitive” tasks like classifying images or natural language interaction. However, implementing them on conventional computers is poorly efficient. A solution to this problem is to develop specialized acceleration chips which feature:• neurons, the information processing units, which can be implemented efficienctly with current electronic technologies;• synapses, the connections between the neurons which also support the learning process by adjusting their electrical conductance (“synaptic plasticity”). Implementing artificial synapses with high integration and on-line learning capabilities is still a challenge.This thesis explores the use of innovative memory nanodevices as artificial synapses: some of their rich plastic behaviors naturally implement features that are difficult to access with other devices.First, we investigate spin-transfer torque magnetic tunnel junctions, that are currently develop in industry as a new non volatile memory technology. We show that they can also be used as binary artificial synapses. After modeling their intrinsic stochastic behavior analytically, we describe how to harness this behavior to facilitate the implementation of an on-line probabilistic learning rule. With simulations tools developped in the laboratory, we detail the impact of the programming regime on the resilience of a system that uses such synapses, as well as on the system's power consumptionWe then investigate Ag2S electrochemical metalization cells, another type of innovative memory nanodevices fabricated and characterized by collaborators from Université de Lille I, who had already observed the existence of several plastic behaviors. We discovered an additional plasticity, close to a behavior known in neurosciences. With a simple analytical model that allows a better understanding of the relationships between theses plasticities, we show by simulations means a proof of concept of an unsupervised learning that relies on the interaction of the plastic behaviors theses nanodevices feature.Finally, we consider the challenges arising from the circuits that are required to read and write such artificial synapses in a neuro-inspired system.The results of this Ph.D. work pave the way for the design of neuro-inspired systems that can learn by harnessing the rich plastic behaviors that are featured by innovative memory nanodevices