On the somatosensory and reinforcement bases of human motor learning

Humans have a remarkable capability to adapt and learn new things, including new motor skills. For example, one can learn to play a short sequence of musical notes by navigating one's fingers on a piano or a guitar. Often, motor skill learning involves a goal-directed pointing or reaching to a clearly-defined visual target, such as making a purchase using a touch screen. In cases such as swimming or skiing, however, visual information is often limited or occluded. In order to successfully learn the task, one has to rely primarily on somatosensory information to form sensory goals or targets, or in effect to discover what it feels like to make a successful movement. In search for actions that are successful, one learns through trial and error and exploration, which leads to either unsuccessful or successful movements. Naturally, an efficient way of learning is to avoid committing the same mistakes, and instead, try to perform repeatedly successful actions. Assuming that moment-to-moment sensory information is important, the best possible candidate for such a mechanism would be a working memory store. This thesis examines the role of reinforcement and somatosensory information in the initial phases of motor learning using arm-reaching tasks as a model. The tasks involve making reaching movements to a hidden visual target. Binary positive feedback is provided throughout training as a form of reinforcement. Such learning brings about changes in functional networks in specific brain regions. More specifically, increases in functional connectivity related to reduction of movement error were found in sensorimotor areas of the brain, including supplementary motor area and second somatosensory cortex. In contrast, connectivity increases related to the number of successful trials (and thus, reinforcement) were observed in the ventral striatum and ventromedial prefrontal cortex. Thus, learning involves both sensorimotor and reward-related areas of the brain. Trial-by-trial changes in motor behavior (and hence variability) were also examined in this study, where it was found that variability was less following a successful trial than an unsuccessful trial, presumably reflecting a sign of exploration. Changes in connectivity involving putamen and sensorimotor cortices were observed that varied systematically with the magnitude of trial-by-trial variability. Changes in connectivity that were related to motor exploration following unsuccessful trial were also found in second somatosensory cortex and lateral prefrontal cortex, regions known to be involved in somatic working memory and decision-making. The role of somatic working memory in motor learning was assessed in a second study. In two separate experiments, it was found that individual differences in somatosensory working memory performance were reliably related to the amount of learning. Performance of somatosensory working memory was shown to decay as a function of the number of sequential items in the memory list, where the overall capacity was estimated to be around 2 items. Another experiment measures working memory by using subject's own movements. During learning period, working memory preferentially stores reinforced movements more than non-reinforced ones. The findings point to the critical roles of somatosensory working memory in reinforcement-based in motor learning.Les humains ont une capacité remarquable à s'adapter et à apprendre de nouvelles choses, y compris de nouvelles compétences motrices. Par exemple, on peut apprendre à jouer une courte séquence de notes de musique en bougeant ses doigts sur un piano ou une guitare. Souvent, l'apprentissage d'habiletés motrices implique un pointage ciblé vers un objectif ou une cible visuelle clairement définie, comme effectuer une sélection sur un écran tactile. Dans des cas tels que la natation ou le ski, les informations visuelles ne sont souvent pas disponibles ou occultées. Pour réussir à apprendre la tâche, il faut utiliser les informations somatosensorielles pour former des objectifs ou des cibles sensorielles, ou pour découvrir ce que cela signifie de réussir un mouvement. À la recherche d'actions réussies, on traverse une série d'essais et erreurs ainsi que d'exploration. Ces processus entraînent des mouvements à la fois infructueux et réussis. Naturellement, un moyen efficace d'apprendre est d'éviter de répéter les mêmes erreurs et, au contraire, de ne mener à bien que des actions réussies. En supposant qu'un stockage sensoriel instantané soit impliqué, le meilleur candidat possible pour un tel mécanisme est la mémoire de travail. Cette thèse examine le rôle du renforcement et de l'information somatosensorielle dans les phases initiales de l'apprentissage moteur en utilisant des tâches de mouvement d'atteinte avec le bras. Les tâches impliquent de faire des mouvements vers une cible visuelle cachée. Une renforcement positif binaire a été fournie tout au long de l'entraînement. Il a été constaté que le renforcement positif et les informations somatosensorielles étaient importants pour mener l'apprentissage en l'absence d'une cible visuelle claire. Un tel apprentissage entraîne des changements dans les réseaux fonctionnels de régions spécifiques du cerveau. On a constaté que les augmentations de la connectivité fonctionnelle varient en fonction du nombre d'essais réussis. Un schéma similaire a également été observé avec une augmentation de la connectivité impliquant le striatum ventral et le cortex préfrontal ventromédian. Les modifications du comportement moteur effectuées au cours des essais ont également été examinées en fonction des résultats des essais antérieurs, où, comparativement à un essai infructueux, un essai réussi a entraîné une plus faible variabilité des mouvements successifs. Les changements de connectivité variant avec la quantité de variabilité ont été identifiées comme comprenant le putamen et le cortex sensorimoteur. Aussi, les changements de connectivité variant avec la quantité d'exploration après un essai infructueux ont été identifiées comme comprenant le second cortex somatosensoriel et le cortex préfrontal latéral, régions connues pour être impliquées dans la mémoire de travail somatique et les tâches décisionnelles.Le rôle de la mémoire de travail somatique dans l'apprentissage moteur a été démontré dans une deuxième étude. Dans deux expériences distinctes, il a été constaté que les différences individuelles dans la performance de la mémoire de travail somatosensorielle étaient liées de manière fiable à l'ampleur de l'apprentissage. Pendant l'apprentissage, cette mémoire de travail se souvient préférentiellement des mouvements renforcés par rapport aux mouvements non renforcés. Ces résultats mettent en évidence le rôle critique de la mémoire de travail somatosensorielle dans l'apprentissage par le renforcement du moteur