Automatic feedback selection and gestural activity modeling for the next kind of interactive learning environments, with an application to calligraphy learning

L'apprentissage de geste est un processus complexe, impliquant de nombreux processus sous-jacents (psychomoteurs, cognitifs, biophysiques). Cet apprentissage peut être divisé en plusieurs grandes phases, définies par la capacité de l'apprenant à produire et à percevoir son geste. A l'instar d'un formateur adaptant son discours et son attitude à l'apprenant, un environnement d'apprentissage doit pouvoir adapter les aides qu'il fournit, d'une part en analysant l'état de l'apprenant, et d'autre part en prédisant les aides qui bénéficieront à son apprentissage. Nous proposons une approche modélisant les interactions entre l'apprenant et l'environnement d'apprentissage; c'est-à-dire l'évolution de l'état de l'apprenant en fonction des configurations successives de l'environnement, permettant une adaptation automatique et dynamique de la sélection d'aides. En s'appuyant sur des travaux portant sur la reconnaissance de gestes et les tuteurs intelligents, nous proposons un cadre formel permettant de représenter la qualité de l'activité gestuelle dans un espace métrique. Cette représentation interprète les résultats issus de modèles probabilistes comme des variables floues illustrant le niveau de l'apprenant sur chacune des dimensions du geste. Nous représentons l'environnement comme l'ensemble des actions possibles, chaque action étant représentée par un vecteur de paramètres estimant la situation dans laquelle l'action est la plus pertinente. Dans un premier temps, ces paramètres sont fixés par des experts, et nous considérons cette expertise comme parfaite. Dans un second temps, nous étudions une problématique omniprésente dans les domaines des environnements d'apprentissage, qui fait état de l'écart entre l’expertise et la réalité. Les domaines "mal définis" sont en effet répandus, du fait du coût et de la difficulté à réunir des experts, et de la complexité inhérente à la définition précise d'un domaine. Ne considérant plus le seul avis des experts, le processus de sélection d 'aides peut alors être vu comme une séquence de décisions dont l'objectif est de proposer à chaque itération l'action qui maximisera le gain en matière d'apprentissage. En s'appuyant sur des travaux récents portant sur les séquences de décisions, notre approche considère le processus de sélection d'aides comme un problème de bandit. Le problème de bandit vise à maximiser un gain lors d'une séquence de décisions, et modélise le compromis entre exploration (choisir une action dont l'influence est inconnue), et exploitation (choisir la meilleure action connue). Nous proposons dans ce cadre une extension des méthodes SoftMax. L'implémentation de notre modèle sur une plateforme d'apprentissage de la calligraphie a été réalisée dans le cadre d'une collaboration avec des experts de ce domaine. Nous montrons, au travers de deux cas d’étude, l'intérêt de notre modèle pour l'apprentissage de la calligraphie. Dans le premier cas d’étude, l'adaptation est construite depuis notre représentation du geste, et un ensemble de règles fixées par des experts. Nous y montrons l'avantage apporté par l'apport d'une diversité d'aides. Dans le second cas d'étude, nous comparons deux types d 'adaptation : une adaptation basée sur des règles, et une adaptation basée sur notre approche dynamique. Nous montrons les différences entre ces deux approches, et illustrons les avantages de l'approche dynamique lorsque les règles sont imprécises.Gesture learning is a complex and multi-step process where trainees are supposed to improve several psychomotor and cognitive skills. This process can be divided into phases depending on trainees’ ability to perform and perceive their gestures. As human tutors adapt their behavior according to their perception and understanding of trainees learning situations' a learning environment should select an appropriate behavior from a representation of trainees’ learning states and a prediction of the potential influence of every possible behavior. The work presented in this document describes an approach modeling the interactions between a trainee and a learning environment: it represents trainees’ consecutive performances and the influence of the environment on these performances. This approach aims at permitting an adaptive selection of the pedagogical actions (i.e. behaviors) implemented in the environment. Relying on related works in the domains of gesture recognition and intelligent tutoring systems, we propose to represent the gestural activity in a metric space. This representation interprets results from a probabilistic mode as fuzzy variables highlighting trainees' level on every aspect of the gesture. We represent the environment as the set of actions it can select, every action being represented by a feature vector describing the learning situation maximizing the action's influence. As a first step, these features are given by a set of experts, and we consider the rules provided as perfect. As a second step, we study an ubiquitous issue in the field of learning environments, which is the difference between the rules provided by experts and the reality of trainees’ needs toward feedback. Ill-defined domains are indeed more and more common, as collecting expert knowledge is difficult and costly, and as studied learning domains are becoming more and more complex and difficult to define. In this second step, the selection process does not rely on expert knowledge, and this process can be seen as a sequence of decisions. At each iteration, the goal is thus to select the action which would maximize the reward in terms of benefits for trainees' learning. The action selection process is represented as a multi-armed bandit problem, where the goal is to compromise between exploration of unknown actions and exploitation of known actions. We present an extension of SoftMax methods which handles multi-dimensional contextual rewards. Taking advantage of the collaboration with calligraphy experts, a calligraphy training platform was implemented as part of this work. Two studies, where participants train on this platform, show the benefits of the proposed approach on calligraphy learning. In a first experiment, action selection is based on expert rules, and we show that providing a diversity of feedback improves skill acquisition. In a second experiment, we compare two configurations of the environment: a selection of actions based on expert rules, and a selection of actions based on the SoftMax method. We describe the difference between the influence of these two approaches on trainees' learning, and we point out the benefits of using dynamic rules