Sequencing in Intelligent Tutoring Systems based on online learning Recommenders

In dieser Arbeit entwickeln und testen wir Algorithmen für Learning Analytics, die die personalisierte Sequenzierung von Matheaufgaben erlauben. Die Sequenzierung schlägt die nächste Aufgabe einem Schüler vor, die seine Lernbedürfnisse entspricht. Unsere Lösung basiert auf Vygotskys „Zone of Proximal Development“ (ZPD), das die weder zu einfachen noch zu schwierigen Aufgaben für den Schüler bestimmt. Der Sequenzer, auch Vygotsky Policy Sequencer genannt, ist in der Lage Aufgaben im ZPD zu erkennen, dank die von einem Vorhersagealgorithmus geschätzte zukünftige Leistung des Schülers. Die Arbeit enthält folgende Beiträge: (1) Die Evaluation der Anwendbarkeit von Matrix Factorization als Inhaltsdomäne unabhängige Algorithmus für die Vorhersage der Leistung der Schüler. (2) Anpassung und Evaluation eines Matrix Factorization basierenden Algorithmus, der die zeitliche Evolution der Schülerkenntnisse einbezieht. (3) Entwicklung von zwei Ansätzen für die Aktualisierung von Matrix Factorization basierenden Modellen durch den Kalman Filter. Zwei Aktualisierungsfunktionen sind benutzt: (a) eine einfache, die nur die letzte vom Schüler gesehene Aufgabe betrachtet, und (b) eine, die in der Lage ist, seine fehlenden Kompetenzen einzuschätzen. (4) Ein neues Verfahren von Machine Learning gesteuerte Sequenzer zu testen durch die Modellierung einer simulierten Umgebung, die aus simulierte Schülern und Aufgaben mit stetigen erzielten und gebrauchten Fähigkeiten und Schwierigkeitsgraden besteht. (5) Die Entwicklung einer minimal eingreifenden API für die leichte Integration von Machine Learning basierende Komponente in größere Systeme, um das Integrationsrisiko und die Kosten vom Know-How-Transfer zu minimieren. Dank all diesen Beiträgen, wurde der VPS in ein großes kommerzielles System integriert und mit 100 Kinder für einen Monat getestet. Der VPS zeigte Lerneffekte und wahrgenommene Erlebnisse, die mit den von den ITS Sequenzer vergleichbar sind. Infolge der besseren VPS Modellierfähigkeiten konnten die Schüler beendeten die Aufgaben schneller lösen.In this thesis we design and test Learning Analytics algorithms for personalized tasks' sequencing that suggests the next task to a student according to his/her specific needs. Our solution is based on a sequencing policy derived from the Vygotsky's Zone of Proximal Development (ZPD), which denes those tasks that are neither too easy not too dicult for the student. The sequencer, called Vygotsky Policy Sequencer (VPS), can identify tasks in the ZPD thanks to the information it receives from performance prediction algorithms able to estimate the knowledge of the student. Under this context we describe hereafter the thesis contributions. (1) A feasibility evaluation of domain independent Matrix Factorization applied in ITS for Performance Prediction. (2) An adaption and the related evaluation of a domain independent update for online learning Matrix Factorization in ITS. (3) A novel Matrix Factorization update method based on Kalman Filters approach. Two different updating functions are used: (a) a simple one considering the task just seen, and (b) one able to derive the skills' deficiency of the student. (4) A new method for offline testing of machine learning controlled sequencers by modeling simulated environment composed by a simulated students and tasks with continuous knowledge and score representation and different diffculty levels. (5) The design of a minimal invasive API for the lightweight integration of machine learning components in larger systems to minimize the risk of integration and the cost of expertise transfer. Profiting from all these contributions, the VPS was integrated in a commercial system and evaluated with 100 children over a month. The VPS showed comparable learning gains and perceived experience results with those of the ITS sequencer. Finally, thanks to its better modeling abilities, the students finish faster the assigned tasks