Learning monitoring assistance in online professional training : methods, algorithms and tools

Ce travail de recherche s’intéresse aux formations professionnelles en ligne. Il est réalisé dans le cadre d’un partenariat entre le laboratoire SYMME de l’université Savoie Mont Blanc et l’entreprise Logipro représentée par l’équipe pédagogique de sa filiale Campus26.Cette équipe souhaite disposer d’un tableau de bord d’aide au suivi lui permettant d’appréhender le comportement des apprenants. Une approche centrée sur l’utilisateur (UCD), qui implique l’équipe pédagogique dans toutes les phases du projet, a permis d'identifier trois objectifs de suivi : la détection le plus tôt possible des apprenants en difficulté, le suivi de l’engagement et de la progression des apprenants. Ce travail de recherche traite le premier objectif de suivi considéré comme prioritaire pour l’équipe pédagogique.Les résultats initiaux des expérimentations de plusieurs modèles prédictifs sur les données d’un scénario d’apprentissage libre, caractérisé par l’absence de la notion d’échec et la courte durée des activités d’apprentissage, ont permis de démontrer que le modèle des forêts aléatoires était le meilleur mais que ses performances prédictives devaient être améliorées pour atteindre un seuil minimal satisfaisant pour l’équipe pédagogique qui correspond à un score F1 > 70%.Ainsi, la contribution présentée dans ce manuscrit se focalise sur la proposition d’une approche permettant d’améliorer la détection, le plus tôt possible, des apprenants en difficulté. Cette approche est composée de cinq étapes séquentielles qui ont comme objectif d’identifier les problèmes qui peuvent impacter négativement les prédictions puis de proposer des solutions. Ces problèmes peuvent être liés aux données étudiées ou au modèle prédictif.La première étape de l’approche proposée consiste à analyser les corrélations entre les indicateurs de suivi et les apprenants détectés en difficulté pour s’assurer de la nécessité du modèle prédictif dans le cas étudié et pour éliminer les problèmes de colinéarité.La deuxième étape se focalise sur le traitement des données déséquilibrées en proposant un mécanisme de perturbation permettant de renforcer le poids des observations les plus difficiles à classer et de réduire le problème de sur-apprentissage.La troisième étape consiste à optimiser les valeurs des hyper-paramètres du modèle prédictif.La quatrième étape propose une méthode d'analyse des classifications erronées du modèle prédictif pour permettre à l’utilisateur de comprendre les raisons principales de ces classifications erronées, ce qui peut l’aider à rajouter ou supprimer des indicateurs, normaliser leurs valeurs ou changer la gestion des valeurs manquantes.Enfin, la cinquième étape de l'approche permet d'évaluer la stabilité du modèle prédictif en l’appliquant sur un nouvel ensemble de données inconnu du modèle.L’application de l’approche sur quatre scénarios pédagogiques distincts (trois scénarios associés à des formations professionnelles et un scénario dans le contexte d’une formation initiale universitaire) a permis de démontrer sa pertinence et sa possible généralisation.Ces résultats prometteurs ont motivé la proposition et le développement d’une solution de type tableau de bord d’aide au suivi dans le contexte de la formation professionnelle (le contexte de base de ce travail de thèse). Cette solution est basée sur des composants utilisables avec différents environnements numériques d’apprentissage. Par ailleurs, le tableau de bord proposé permet non seulement d’afficher le plus tôt possible les notifications de la détection des apprenants en difficulté mais aussi d’accompagner ces prédictions des indicateurs les plus importants et d’explications textuelles basées sur ces indicateurs pour présenter à l’équipe pédagogique les raisons de chaque prédiction.Aujourd’hui, d’autres pistes d’amélioration du modèle prédictif sont en cours d’étude et les expérimentations du tableau de bord à grande échelle se poursuivent.This research work focuses on online professional training. It is conducted in a partnership between the SYMME laboratory of the University of Savoie Mont Blanc and the Logipro company represented by the pedagogical team of its subsidiary Campus26.This team would like to have a dashboard to help them monitor and understand the behavior of learners. A user-centered design approach (UCD), which involves the pedagogical team in all phases of the project, made it possible to identify three monitoring objectives: the detection as early as possible of learners in difficulty, the monitoring of the learner engagement and progression. This research work addresses the first monitoring objective considered as a priority for the pedagogical team.The initial results of experiments of several predictive models on the data of an open learning scenario, characterized by the absence of failure and the short duration of the learning activities, shown that the random forest model was the best one but that its predictive performance needed to be improved to reach a minimum threshold satisfactory for the pedagogical team which corresponds to a F1 score> 70%.Thus, the contribution presented in this manuscript focuses on proposing an approach to improve the detection, as early as possible, of learners in difficulty. This approach is composed of five sequential steps that aim to identify problems that may negatively impact the predictions and then to propose solutions. These problems can be related to the data studied or to the predictive model itself.The first step of the proposed approach consists of analyzing the correlations between the indicators and the learners detected in difficulty to ensure the necessity of the predictive model in the studied case and to eliminate collinearity problems.The second step focuses on the treatment of unbalanced data by proposing a perturbation mechanism to reinforce the weight of the most difficult observations and to reduce the problem of overfitting.The third step consists in optimizing the values of the hyper-parameters of the predictive model.The fourth step proposes a method for analyzing the misclassifications of the predictive model to allow the user to understand the main reasons for these misclassifications, which can help him to add or remove indicators, normalize their values or change the management of missing values.Finally, the fifth step of the approach evaluates the stability of the predictive model by applying it to a new dataset unknown to the model.The application of the approach with four distinct pedagogical scenarios (three scenarios in professional training and one scenario in the context of a university course) demonstrated its relevance and its possible generalization.These promising results motivated the proposal and the development of a learning dashboard solution in the context of professional training (the basic context of this research work). This solution is based on components that can be used with different digital learning environments. In addition, the proposed dashboard not only allows to display as early as possible the notifications of the detection of learners in difficulty, but also to supplement these predictions with the most important indicators and textual explanations based on these indicators to present to the pedagogical team the justification of each prediction.Today, other research lines for improving the predictive model are underway and large-scale experiments for the dashboard are in progress