Aplicación de técnicas de usabilidad sobre cursos MOOCs

Los Massive Open Online Course (MOOC) son cursos masivos de aprendizaje en línea, que cada vez son más populares por la ventaja que en ellos ven proveedores y estudiantes. Al ser una modalidad nueva de enseñar, no existen muchos estudios de usabilidad al respecto. Son evidentes varios problemas para estudiar tal característica en un contexto de proveedores, plataformas y modelos de cursos heterogéneos, y de usuarios diversos, dispersos y cambiantes. Una cuestión que parece fundamental es la adaptación de las técnicas existentes para estudiar la usabilidad en este contexto. El objetivo de este trabajo es integrar técnicas adecuadas de usabilidad propias de IPO (Interacción Persona-Ordenador) para el desarrollo software en el proceso de desarrollo de MOOCs, adaptándolas de forma apropiada al correspondiente contexto, con el fin de evaluar y mejorar la usabilidad y tratar así de reducir la deserción de estudiantes que actualmente caracteriza a dichos cursos. Se propone una aproximación para la solución del problema, y se presenta un ejemplo de adaptación de técnicas de usabilidad a un caso práctico de evaluación de MOOCs reales. Analizando con una búsqueda sistemática la literatura actual existente sobre la aceptación de la usabilidad de los MOOCs, se llega a la conclusión de que no existen artículos relacionados con la temática de interés, por lo que se realizan búsquedas sobre el tema en documentaciones de congresos y otras fuentes menos formales de Internet. Los resultados obtenidos en estas segundas exploraciones fueron igual de infructuosas que las primeras, por lo que se puede afirmar que no hay trabajos académicos ni otras referencias sobre usabilidad y MOOC. Una vez verificado que no hay literatura relacionada con la usabilidad de los MOOCs, se plantea realizar un estudio de usabilidad sobre alguna de las plataformas existentes más comunes, para lo que se analizan las características más importantes de las plataformas MOOC existentes y las técnicas de usabilidad aplicables. Para ello se seleccionan las plataformas más populares a la hora de realizar MOOCs. Se lleva a cobo un análisis exhaustivo de los cursos impartidos y del número de estudiantes en cada uno ellos, para compararlos después. Además, se establecen las características que se tendrán en cuenta para el análisis de usabilidad posterior, generando una caracterización de plataformas y cursos según una de las clasificaciones de MOOCs más extendida, que considera dos tipos cMOOC y xMOOC. En este trabajo, se han revisado también las técnicas de usabilidad para actividades IPO, que se han clasificado teniendo en cuenta tipos genéricos de actividades de la disciplina Ingeniería del Software (IS): ingeniería de requisitos, diseño y evaluación. Posteriormente, se han seleccionado y propuesto adaptaciones a varias de esas técnicas para poder aplicarlas sobre MOOCs, teniendo siempre en cuenta que se trata de cursos masivos y realizados a través de internet. Las técnicas adaptadas de ingeniería de requisitos son: card sorting, perfiles de usuario y Personas, brainstorming, prototipos online. La técnica de usabilidad de diseño adaptada para MOOCs es: análisis de impacto. Dentro de las técnicas de usabilidad de evaluación existen tres grandes grupos de técnicas para evaluar la usabilidad: evaluación por expertos, pruebas de usabilidad y estudios de seguimiento de los sistemas instalados. Las técnicas del último tipo que se adaptado para MOOCs son: pensar en voz alta, grabación de vídeo y grabación de audio, uso de registros, focus groups, evaluación a distancia, cuestionarios y encuestas. Para probar la eficacia de algunas de las técnicas adaptadas, se han seleccionado dos que se han aplicado en cinco cursos MOOC implementados e impartidos por la Universidad Autónoma de Madrid a través de UAMx utilizando la plataforma de edX durante el segundo cuatrimestre del curso académico 2015-2016. Los cursos sobre los que se han aplicado las técnicas adaptada son: Equidad, Renal, Química, Idealismo y Seguridad Alimentaria. Las técnicas de análisis de la usabilidad escogidas son la técnica de cuestionario y la técnica de encuesta, en este caso la denominada SUS, dado que se trata de técnica fáciles de adaptar y aplicar, cortas, claras, concisas y que se aplican sobre sistemas instalados. Considerando los resultados de la aplicación de las técnicas sobre los cursos MOOCs mencionados, se comprueba que todos los cursos tienen una usabilidad aceptable, aunque se identifican ciertas mejoras a realizar en futuras ediciones de los cursos analizados. Estas mejoras se relacionan con el rediseño de la interfaz y con el diseño de la interacción, y se manifiestan con independencia de las características de los usuarios participantes. Según los resultados de la encuesta de evaluación de usabilidad realizada a todos los estudiantes que llegaron hasta el final del curso y se prestaron a ello, los valores promedios obtenidos son aceptables por lo que se considera que los todos los cursos son usables. Con todo ello se consigue el objetivo general de este TFM que es integrar técnicas de usabilidad propias de IPO para el desarrollo software en el proceso de desarrollo de los MOOCs, adaptándolas de forma adecuada al correspondiente contexto, con el fin de evaluar y mejorar la usabilidad de tales cursos e intentar reducir con ello la deserción de estudiantes que los caracterizan. De forma que para conseguirlo se ha: investigado el estado del arte, los antecedentes y el estado actual respecto a MOOCs, Interacción Persona-Ordenador y Usabilidad; analizado los tipos de MOOCs, plataformas para su implementación y cursos ofrecidos desde ellas, caracterizando dichos cursos; estudiado las técnicas de usabilidad aplicables al desarrollo de MOOCs; adaptado algunas de ella para su utilización práctica; y aplicado algunas de las técnicas sobre cursos reales de ese tipo.Massive Open Online Course (MOOC) are massive online learning courses, which are becoming more popular by the advantage seen in them by suppliers and students. As a new teaching mode, there are not many usability studies about it. Several problems are evident to study such a feature in a context of vendors, platforms and heterogeneous models courses and diverse, scattered and changing users. One issue that seems fundamental is the adaptation of existing techniques to study the usability in this context. The aim of this work is to integrate appropriate techniques from HCI (Human Computer Interaction) for software development in the MOOCs development process, adapting appropriately to the right context, in order to assess and improve usability and so try to reduce the dropout students that currently characterizes such courses. An approach to solving the problem is proposed, and an example of adaptation of usability techniques in a case study to evaluate real MOOCs. Analysing with a systemic search the actual existing literature on the acceptance of usability on MOOCs nowadays, we reach the conclusion that there are no studies related with the subject that is being carried out, so searches about the subject were done through congress documentations and other less formal sources on the Internet. The results obtained in these second scans were as fruitless as the first, so we can say that there are no academic papers or other references about usability and MOOC. Once verified that there is no literature regarding the usability of MOOCs, we propose to conduct a usability study on some of the most common existing platforms, for which the most important features of existing MOOC platforms and usability techniques applicable are analysed. To do this, the most popular platforms to take MOOCs are selected. A thorough analysis is done about the number of courses and the number of students in each one of them, later to be compared. In addition, the features that will be considered for further analysis of usability are established, generating a characterization of platforms and courses according to the most extended MOOC classification, that considers two types cMOOC and xMOOC. In this work, we have also reviewed the usability techniques for IPO activities, which have been fitted considering generic types of activities Software Engineering discipline (SE): requirements engineering, design and evaluation. Later, the usability techniques have been selected and proposed the following technical adjustments to be applied on MOOCs, always taking into account that courses are massive and made through the Internet. The modified techniques are engineering requirements: card sorting, user profiles and Persona, brainstorming, online prototyping. The usability technique of design adapted to MOOCs is: impact analysis. Within the usability evaluation techniques there are three major groups of techniques to evaluate the usability: expert evaluation, usability testing and follow-up studies of installed systems. The techniques of the latter type, which have been adapted for MOOCs are: thinking aloud, video recording and audio recording, use of records, focus groups, remote evaluation, questionnaires and surveys. To test the effectiveness of some of the techniques adapted, we selected two of them, which have been implemented in five MOOC courses implemented and delivered by UAM (Universidad Autónoma de Madrid) institution through UAMx using edX platform during the second semester of the academic year 2015-2016. The courses on which adapted techniques have been applied are: Equidad, Renal, Química, Idealismo and Seguridad Alimentaria. The analysis techniques picked are questionnaire and survey, in this case SUS, since they are easy to apply, short, clear, concise, and are applied on installed systems. Considering the results of the application of the aforementioned techniques MOOCs courses, it is checked that all courses have an acceptable usability, although certain improvements are identified to be made in future editions of related courses. These improvements are related to the redesign of the interface and interaction design, and manifest themselves regardless of the type of user. According to the results of the evaluation survey conducted usability to all users that completed the course, the mean values obtained are acceptable so it is considered that the courses are still usable. Therefore, the general aim of this work is achieved, that is to integrate the usability techniques proper of HCI software development in the process of MOOC development, adapting them to the context in the right way, with the aim to evaluate an improve the usability of the courses and reduce the abandon rates of this type of courses. To achieve this: the state of the art about MOOCs, HCI and Usability has been investigated, the MOOC types, platforms to implement them and courses offered have been analysed and characterized; studying the usability techniques applicable to the development of MOOCs, adapting some of them to use them in practice, and apply some of the techniques on real courses of these type