The role of gesture in Multitouch interaction, on learning, and how it relates to spatial skills

Le Multitouch est le mode d'interaction homme-machine qui nous permet de contrôler nos smartphones et tablettes par la production de gestes. La cognition incarnée est un paradigme qui cherche à montrer que la cognition est basée sur des actions motrices, à caractère spatial, comme les gestes. Les habiletés visuo-spatiales sont un prédicteur de succès dans la compréhension des phénomènes dynamiques en sciences. Le but de ce travail est tout d’abord d'étudier les effets des gestes Multitouch, sur l'apprentissage, lors de l'étude de phénomènes dynamiques sur un simulateur, avec une tablette tactile. La recherche du lien entre les habiletés visuo-spatiales de l’apprenant et la production de gestes est également un objectif de ce travail. Trois expériences ont été menées visant à considérer le geste, soit comme une modalité d’encodage d’informations, soit comme un modulateur de l’attention. Deux de ces expériences portaient sur des tâches scolaires et la troisième portait sur une tâche simplement spatiale. La nature des gestes produits a été testée, ainsi que la nature de l’interaction (Multitouch, clavier, souris). L’effet de l'existence de cette interaction et son rôle selon le niveau d’habiletés visuo-spatiales des participants ont également été testés. Les expériences n’ont pas permis de mettre en évidence d’effet bénéfique du geste sur les résultats d’apprentissage. Cependant les résultats ont permis de montrer que le fait d’interagir avec le contenu pédagogique limitait le rôle joué par les habiletés visuo-spatiales dans les résultats observés. Ces résultats sont interprétés dans une approche visant à questionner le rôle joué par la nature des gestes produits et le type de connaissances à acquérir dans les modèles de la cognition incarnée et de la mémoire de travail.Multitouch is the mode of human-computer interaction that allows us to control our smartphones and tablets by producing gestures. Embodied cognition is a paradigm that seeks to prove that cognition is based on motor actions, with a spatial character, such as gestures. Spatial skills are a predictor of success in understanding dynamic phenomena in science. The aim of this work is first to study the effects of Multitouch gestures on learning when studying dynamic phenomena on a simulator with a touch-sensitive tablet. The research of the link between the learner's spatial skills and the production of gestures is also an objective of this work. Three experiments were conducted to consider gesture either as a modality for encoding information or as an attention modulator. Two of these experiments involved school tasks and the third involved a purely spatial task. The nature of the gestures produced was tested, as well as the nature of the interaction (Multitouch, keyboard, mouse). The effect of the existence of this interaction and its role according to the level of spatial skills of the participants were also tested. The experiments did not reveal any beneficial effect of the gesture on learning outcomes. However, the results showed that interacting with the educational content limited the role played by spatial skills in the observed results. These results are interpreted in an approach aimed at questioning the role played by the nature of the gestures produced and the type of knowledge to be acquired in models of embodied cognition and working memory