Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos

Mención Internacional en el título de doctorLos entornos educativos permiten recoger una gran cantidad de información sobre la actividad de los estudiantes en los cursos. Esta información puede ser utilizada, por ejemplo, para predecir el comportamiento o los resultados de los estudiantes y detectar alumnos en riesgo, de modo que el profesor pueda identificar posibles dificultades y llevar a cabo intervenciones. A pesar de que ha habido muchos trabajos previos de predicción en educación, quedan aún muchos retos pendientes. Por ejemplo, es necesario conocer más sobre variables predictoras nuevas y su relación con otras ya utilizadas (p. ej., de vídeos o ejercicios). También, es importante poder determinar a partir de varios contextos cuál es el momento a partir del cual la predicción puede ser lo suficientemente precisa y cómo los modelos pueden generalizar a otros contextos. Asimismo, hace falta comprender cómo se relacionan diferentes variables de la predicción y si las predicciones de estas variables pueden combinarse para aportar más información. Para contribuir en parte a la solución de estos problemas, esta tesis se centra en el estudio de la predicción en varios escenarios educativos en relación con varios aspectos, en concreto (1) el efecto de algunas variables predictoras, (2) el análisis temporal, (3) el problema de la generalización, y (4) el efecto de algunas variables a predecir. Se utilizan seis escenarios de aprendizaje, en los cuales se realiza un análisis de la predicción para posteriormente extraer conclusiones globales. Estos seis escenarios incluyen Massive Open Online Courses (MOOCs) de edX y Coursera, Small Private Online Courses (SPOCs) en Open edX como apoyo a cursos universitarios y en edX Edge para la preparación de pruebas de acceso universitarias, y datos de alumnos de primaria y secundaria (K-12) en una plataforma propietaria. Las variables dependientes a predecir incluyen el abandono académico, la consecución de objetivos (éxito), y las notas, tras identificar el interés de estas variables, tanto en la revisión de la literatura, como en entrevistas y grupos focales llevados a cabo a líderes institucionales, expertos, profesores y estudiantes. Los resultados muestran que las variables relacionadas con interacciones con ejercicios proporcionan un poder predictivo alto, y este resultado generaliza a los diferentes contextos. Asimismo, las notas sumativas previas consiguen mejorar el poder predictivo cuando están disponibles, y las variables sobre actividad en la plataforma e interacciones con vídeos normalmente ofrecen un buen poder predictivo y son útiles en los modelos. También, las variables de aprendizaje autorregulado pueden contribuir en los modelos y ofrecer un buen poder predictivo por sí mismas, aunque pueden tener menor efecto cuando otras variables principales, como las de ejercicios, están presentes, por su posible relación con las mismas. Sin embargo, otras variables como la actividad en el foro o comportamientos, como la eficiencia, constancia o persistencia no consiguen un alto poder predictivo o mejorar significativamente los modelos. En cuanto al análisis temporal, los resultados muestran que en todos los contextos, independientemente del tipo de curso o si eran síncronos o asíncronos, pueden obtenerse unas buenas predicciones a partir del 13-40% de la duración del curso. Aunque el contexto pueda influir significativamente en el poder predictivo, esto implica que pueden conseguirse predicciones relativamente tempranas. Respecto a la generalización, se analizan tres aproximaciones. En la primera, se estudia la transferencia de un modelo de un curso a otro, y se obtienen buenos resultados cuando se transfiere un modelo a otro curso diferente (aunque con contexto similar) con los mismos estudiantes (mismo cohorte). Además, los resultados pueden ser aceptables al transferir a otra edición del mismo curso. Sin embargo, el poder predictivo puede reducirse considerablemente al cambiar de curso y estudiantes, aunque puede haber contextos concretos (como se identifican en MOOCs) donde no ocurra. La segunda aproximación consiste en un modelo global, entrenado con datos de varios cursos, los cuales pueden tener bastantes diferencias entre ellos. Esta aproximación puede ser útil, por ejemplo, cuando hay cursos nuevos o cursos con muy pocos alumnos para generar modelos específicos. Sobre esta aproximación, se observa que los modelos pueden obtener un alto poder predictivo a nivel global, aunque pueden fallar en cursos concretos. En particular, en torno al 15-18% de los cursos, el Área Bajo la Curva (AUC) disminuye en más de 0.1 y la Raíz del Error Cuadrático Medio (RMSE) es al menos 0.05 mayor. Por ello, debe analizarse en cada caso si el modelo global puede funcionar en cada curso concreto. No obstante, dado que el contexto puede afectar bastante en los modelos, una recomendación es reutilizar y adaptar los modelos a cada contexto, que es la tercera aproximación propuesta. En este caso, se toma un modelo ya existente y se readapta el código para añadir/eliminar variables si es necesario y generar un modelo para cada curso específico. En torno a las variables a predecir, el análisis de los diferentes escenarios muestra que hay diversos aspectos que pueden condicionar la selección y definición de la variable. Por ejemplo, en un curso puede considerarse que un alumno abandona cuando está inactivo durante cierto tiempo, pero en otro, aunque un alumno se conecte a la plataforma, se puede considerar abandono si no está centrado en el curso y no hace las actividades (p. ej., en primaria/secundaria donde los alumnos pueden conectarse a la plataforma en clase, pero no realizar las actividades que se les piden). Además, en torno a las variables a predecir, se observa que se obtiene un mejor poder predictivo al predecir la nota final que la nota del examen final. También, se aprecian variaciones entre el abandono y la nota, ya que, por ejemplo, puede haber estudiantes con alta probabilidad de suspenso porque tengan problemas con los contenidos (y tengan baja probabilidad de abandono) o porque no estén comprometidos con el curso (y también tengan alta probabilidad de abandono). Estas variaciones pueden servir para identificar perfiles más detallados de estudiantes en función de sus dificultades (p. ej., posible falta de motivación, de comprensión, etc.). Una limitación de este trabajo es que los resultados obtenidos pueden depender de los seis escenarios considerados, pudiendo variar en otros contextos. Además, dado que los contextos utilizados son diferentes, las variables utilizadas y los posibles filtrados varían, lo que podría afectar a algunos resultados. No obstante, los resultados de este trabajo pueden servir de ayuda para las futuras implementaciones de los modelos predictivos, de modo que los investigadores puedan conocer mejor los factores relacionados con la predicción, y los técnicos que implementen los sistemas puedan conocer mejor qué variables tomar, en qué momento los sistemas pueden dar resultados precisos o cómo generalizar los modelos. De este modo, se podrán diseñar modelos que puedan ayudar a hacer recomendaciones a alumnos y a mejorar el diseño de los cursos, lo que puede tener un impacto positivo en el aprendizaje.Educational environments allow retrieving a vast amount of information about students’ activity in the courses. This information can be used, for example, to predict students’ behaviors and performance, and to detect students at risk, so that instructors can identify possible difficulties and carry out interventions. Despite the fact that there have been many previous works related to prediction in education, there are many challenges to be addressed. Among them, it is necessary to explore new predictor variables and their relationship with other well-known variables (e.g., variables related to interactions with videos and exercises). Furthermore, it is important to determine, based on several contexts, what the right moment to start predicting is so that predictions are good enough, and how predictive models can generalize to other contexts. Moreover, it is relevant to understand how dependent variables are related to and whether or not predictions of those variables can be combined to provide further information about students’ behaviors. In order to contribute in part to these issues, this thesis focuses in the analysis of different factors related to prediction in different scenarios. Particularly, this thesis analyzes (1) the effect of some predictor variables, (2) the temporal analysis, (3) the generalizability issue, and (4) the effect of some prediction outcomes. For the analyses, six scenarios are considered, so that they can be used to extract global conclusions from all of them. These scenarios include Massive Open Online Courses (MOOCs) in edX and Coursera, Small Private Online Courses (SPOCs) in Open edX to support university courses and SPOCs in edX Edge to support the preparation of university admission tests, and data from a proprietary platform that collects data from primary and secondary (K-12) students. The dependent variables used in this thesis include dropout, academic achievement (success), and grades. These variables have been identified as relevant in the literature, and some interviews and focus groups that were carried out involving institutional leaders, experts, professors and students. Results show that variables related to interactions with exercises can achieve a high predictive power, and this result generalizes to different contexts. Moreover, previous summative grades can improve the predictive power whenever they are available, and variables related to activity in the platform and interactions with videos normally offer a good predictive power and they are useful in the models. In addition, variables about self-regulated learning can contribute to the predictive models and they offer a high predictive power by themselves, although their relevance in the models is lower when other main variables (e.g.., variables related to exercises) are included, probably because self-regulated learning variables can be related to other main variables. However, other variables, such as variables related to forum activity and students’ behaviors, including efficiency, constancy and persistence, do not achieve a high predictive power and they cannot significantly improve the predictive models. In relation to the temporal analysis, results show that it can be possible to obtain accurate predictions from 13-40% of the course duration. This result is consistent in all the scenarios of this thesis, regardless the kind of course and the instruction mode (synchronous or asynchronous). Despite the fact that course context can significantly influence the predictive power, this result implies that it can be possible to achieve early predictions. With regard to the generalizability issue, three different approaches are considered. In the first approach, predictive models are transferred from one course to another. Using this approach, accurate results can be obtained when the model is transferred to a different course with similar context and the same students (same cohort). Moreover, results can also be acceptable when transferring a model to a different edition of the same course. However, the predictive power is considerably reduced when changing the course and cohort, although there can be some specific cases (they are identified in MOOCs) where this issue does not apply. The second approach consists on developing a global model trained with data from several courses, which do not necessarily share a similar context. This approach can be useful, for example, when models want to be used in new courses and courses with few students to generate specific models. Using this approach, it is observed that it is possible to achieve a high predictive power at global level, but the model can fail at some specific courses. Particularly, the Area Under the Curve (AUC) decreases more than 0.1 and the Root Mean Square Error (RMSE) increases more than 0.05 in about 15-18% of the courses. Because of that, it is important to analyze each individual case to identify whether or not the global model fits each specific course. Nevertheless, given that the context can significantly affect the models, one recommendation is reusing and adapting models to each context, which is the third proposed approach. In this case, an existing model is taken, and software is adapted to add/remove variables if needed and generate an specific model for another course. As for the variables to predict, the analyses in different scenarios show that there can be many aspects to consider when selecting and defining the dependent variable. For example, dropout can be considered as a lack of activity in a certain period in one course, while it can be considered a lack of completion of activities in another. For example, in primary/secondary education, students may access to the platform in class, but they may not be engaged with the exercises and they could be considered as dropout. Furthermore, in relation to the dependent variables, it is observed that better results can be achieved when predicting the final grade than when predicting the final exam grade. In addition, some variations between dropout and grades were identified. For example, there can be some students with high probability of failure because they do not understand the contents (but they do not necessarily have a high dropout probability), and there can be other students at risk of failure because they are not engaged (and they can also be at risk of dropout). These variations can be used to identify more detailed students’ profiles depending on their possible difficulties (e.g., lack of motivation, understanding, etc.). One limitation of this work is that the obtained results can depend on the six analyzed scenarios, and they could vary in other contexts. In addition, given that the contexts are different, the variables used and filtering criteria vary in each context, and that can affect some results. Nevertheless, results can serve to guide future implementations of predictive models, so that researchers can better understand factors related to prediction, and technicians can implement systems using these results to better select the variables, determine when accurate predictions can be provided and how models can be generalized. This way, models can help to provide recommendations to students and improve to the design of the courses so as to achieve a positive impact on learning.Programa de Doctorado en Ingeniería Telemática por la Universidad Carlos III de MadridPresidente: Baltasar Fernández Manjón.- Secretario: Mario Muñoz Organero.- Vocal: Roberto Martínez Maldonad