Analysing discourse and text complexity for learning and collaborating

L’apprentissage collaboratif assisté par ordinateur et les technologies d’e-learning devenant de plus en plus populaires et intégrés dans des contextes éducatifs, le besoin se fait sentir de disposer d’outils d’évaluation automatique et d’aide aux enseignants ou tuteurs pour les deux activités, fortement couplées, de compréhension de textes et collaboration entre pairs. Bien qu’une analyse de surface de ces activités est aisément réalisable, une compréhension plus profonde et complète du discours en jeu est nécessaire, complétée par une analyse de l’information méta-cognitive disponible par diverses sources, comme par exemples les auto-explications des apprenants. Dans ce contexte, nous utilisons un modèle dialogique issu des travaux de Bakhtine pour analyser les conversations collaboratives, et une approche théorique visant à unifier les activités de compréhension et de collaboration dans un même cadre, utilisant la construction de graphes de cohésion. Plus spécifiquement, nous nous sommes centrés sur la dimension individuelle de l’apprentissage, analysée à partir de l’identification de stratégies de lecture et sur la mise au jour d’un modèle de la complexité textuelle intégrant des facteurs de surface, lexicaux, morphologiques, syntaxiques et sémantiques. En complément, la dimension collaborative de l’apprentissage est centrée sur l’évaluation de l’implication des participants, ainsi que sur l’évaluation de leur collaboration par deux modèles computationnels: un modèle polyphonique, défini comme l’inter-animation de voix selon de multiples perspectives, un modèle spécifique de construction sociale de connaissances, fondé sur le graphe de cohésion et un mécanisme d’évaluation des tours de parole. Notre approche met en œuvre des techniques avancées de traitement automatique de la langue et a pour but de formaliser une évaluation qualitative du processus d’apprentissage. Ainsi, deux perspectives fortement interreliées sont prises en considération : d’une part, la compréhension, centrée sur la construction de connaissances et les auto-explications à partir desquelles les stratégies de lecture sont identifiées ; d’autre part la collaboration, qui peut être définie comme l’implication sociale, la génération d’idées ou de voix en interanimation dans un contexte donné. Des validations cognitives de nos différents systèmes d’évaluation automatique ont été réalisées, et nous avons conçu des scénarios d’utilisation de ReaderBench, notre système le plus avancé, dans différents contextes d’enseignement. L’un des buts principaux de notre modèle est de favoriser la compréhension vue en tant que « médiatrice de l’apprentissage », en procurant des rétroactions automatiques aux apprenants et enseignants ou tuteurs. Leur avantage est triple: leur flexibilité, leur extensibilité et, cependant, leur spécificité, car ils couvrent de multiples étapes de l’activité d’apprentissage, de la lecture de matériel d’apprentissage à l’écriture de synthèses de cours en passant par la discussion collaborative de contenus de cours et la verbalisation métacognitive de jugements de compréhension, afin d’obtenir une perspective complète du niveau de compréhension et de générer des rétroactions appropriées sur le processus d’apprentissage collaboratif.With the advent and increasing popularity of Computer Supported Collaborative Learning (CSCL) and e-learning technologies, the need of automatic assessment and of teacher/tutor support for the two tightly intertwined activities of comprehension of reading materials and of collaboration among peers has grown significantly. Whereas a shallow or surface analysis is easily achievable, a deeper understanding of the discourse is required, extended by meta-cognitive information available from multiple sources as self-explanations. In this context, we use a polyphonic model of discourse derived from Bakhtin’s work as a paradigm for analyzing CSCL conversations, as well as cohesion graph building designed for creating an underlying discourse structure. This enables us to address both general texts and conversations and to incorporate comprehension and collaboration specific activities in a unique framework. As specificity of the analysis, in terms of individual learning we have focused on the identification of reading strategies and on providing a multi-dimensional textual complexity model integrating surface, word specific, morphology, syntax and semantic factors. Complementarily, the collaborative learning dimension is centered on the evaluation of participants’ involvement, as well as on collaboration assessment through the use of two computational models: a polyphonic model, defined in terms of voice inter-animation, and a specific social knowledge-building model, derived from the specially designed cohesion graph corroborated with a proposed utterance scoring mechanism. Our approach integrates advanced Natural Language Processing techniques and is focused on providing a qualitative estimation of the learning process. Therefore, two tightly coupled perspectives are taken into consideration: comprehension on one hand is centered on knowledge-building, self-explanations from which multiple reading strategies can be identified, whereas collaboration, on the other, can be seen as social involvement, ideas or voices generation, intertwining and inter-animation in a given context. Various cognitive validations for all our automated evaluation systems have been conducted and scenarios including the use of ReaderBench, our most advanced system, in different educational contexts have been built. One of the most important goals of our model is to enhance understanding as a “mediator of learning” by providing automated feedback to both learners and teachers or tutors. The main benefits are its flexibility, extensibility and nevertheless specificity for covering multiple stages, starting from reading classroom materials, to discussing on specific topics in a collaborative manner, and finishing the feedback loop by verbalizing metacognitive thoughts in order to obtain a clear perspective over one’s comprehension level and appropriate feedback about the collaborative learning processes