Applying usability criteria in e-Learning gamification elements to improve the user experience

User engagement in applications requires motivation. Gamification, in particular, is widely used in educational software systems to try to improve student performance and well-being because it includes motivational benefits. However, the effectiveness of gamification has been called into question because a variety of research experiments using the same gamification elements could produce contradictory results. Although well-established usability inspection methods could maintain the effectiveness and efficiency of the pragmatic attributes of the user experience, motivational systems inherently contain hedonic values, which are the concern of well-being. Nevertheless, the effectiveness and efficiency of the hedonic attributes have received little attention. It is necessary to maintain the usability of hedonic values. Advances in motivational psychology enable us to relate how perceptions are predictors of well-being and performance, potentially paving the way for this purpose. Explicit motive dispositions are the psychological needs that drive behavior and play a predictive role in goal selection. And the selection of the agent’s achievement goal predicts intrinsic motivation, competence expectations, and performance. In the presence of situational incentive cues, the variables of explicit motive dispositions may arouse/suppress, and eventually the subsequent choice of achievement goal changes, affecting the agent’s intrinsic motivation and performance on a given activity. Predictions among the variables of motivational theories could lead to pathways leading to increased well-being and performance, and thus usability metrics for motivational systems could be derived. However, (1) the relationship between gamification elements and their effects on explicit motives has not been thoroughly investigated, and (2) in the presence of motivational cues, the effects of explicit motive variables on subsequent achievement-goal orientation and, consequently, effect on well-being and performance have not been thoroughly investigated. First, the relationship between gamification elements and their effect on explicit motive disposition was investigated. Gamification elements (such as leaderboards, points, badges, and so on) provide motivational affordances that either increase or decrease performance and engagement depending on the agent’s perception, similar to incentive cues that arouse/suppress explicit motives. A field study was conducted with students interacting with the DRACO gamification system to observe this similarity. The DRACO’s gamification elements (leaderboard and points) have been redesigned to stimulate students’ explicit motive dispositions, and a controlled experiment has been conducted. The results of the field study revealed that the experiment group had significantly lower fear of failure and power motives (both hope and fear), fewer performance-avoidance goals, and performed better in theory exams and course grades than the control group. Thus, it supports the hypothesis that gamification elements can stimulate explicit motive dispositions and influence subsequent achievement goal selection, and that the design of the gamification elements can influence this behavior change. Because there was a significant relationship between explicit motive disposition and gamification elements, further research could be conducted to address the second issue. For that purpose, relevant motivational psychology studies have been investigated directing the user toward well-being and performance. Finally, a checklist for usability of Motivational Information Systems has been developed. The checklist was then used to evaluate the DRACO gamification system using experiments based on perception questionnaires and student performance. The results of the field study validated the applicability of the checklist since the predictions were consistent with the literature. The main findings of this thesis are as follows: (1) The gamification elements could influence explicit motive dispositions, (2) by designing the gamification elements, the explicit fear of failure and the power motives could be reduced, and subsequent performance-avoidance goal selection could be minimized (3) through the design of the gamification elements, the agent’s performance on the determined topic could be affected and (4 ) a checklist for usability of motivational affordances. These outcomes provide a link between motivational theories, gamification, and usability studies, which could serve as a first step for the usability of hedonic attributes of UX and lead to a solution for aforementioned issue of gamification systems. RESUMEN La implicación del usuario con las aplicaciones requiere motivación. La gamificación, en particular, ha sido extensamente usada en sistemas software con fines educativos con el objetivo de mejorar el rendimiento del estudiante y su bienestar, dado que posee beneficios motivacionales. Sin embargo, la efectividad de la gamificación ha sido cuestionada en ocasiones debido a que distintos experimentos de investigación, usando los mismos elementos de gamificación, pueden producir resultados contradictorios. A pesar de que existen métodos de inspección de usabilidad bien fundados para evaluar la efectividad y la eficiencia de los atributos pragmáticos de la experiencia de usuario, los sistemas motivacionales contienen inherentemente valores hedónicos, que son la principal preocupación del bienestar. En cualquier caso, la efectividad y la eficiencia de los atributos hedónicos han recibido poca atención. Se pone de manifiesto la necesidad de mantener la usabilidad de los valores hedónicos. Los avances en la psicología motivacional permiten establecer en qué medida las percepciones son predictoras del bienestar y el rendimiento, allanando potencialmente el camino de este propósito. Las disposiciones motivacionales explícitas son las necesidades psicológicas que guían el comportamiento y juegan un rol predictivo en la selección de metas. Y la selección de las metas a alcanzar por el agente predice la motivación intrínseca, las expectativas competenciales y el rendimiento. En presencia de indicadores de incentivos situacionales, las variables de disposiciones motivacionales explícitas pueden activarse/suprimirse y, eventualmente, la subsecuente elección de las metas a alcanzar puede cambiar afectando a la motivación intrínseca del agente en una actividad dada. Las predicciones entre las variables de las teorías motivacionales podrían conducir a mecanismos para incrementar el bienestar y el rendimiento, con lo que podrían obtenerse métricas de usabilidad para los sistemas motivacionales. Sin embargo, (1) la relación entre los elementos de gamificación y sus efectos en las motivaciones explícitas no ha sido investigada en profundidad, y (2) en presencia de indicadores motivacionales, los efectos de las variables motivacionales explícitas en la subsecuente orientación a la consecución de metas y, consecuentemente, el efecto en el bienestar y en el rendimiento, tampoco han sido investigados profundamente. Por tanto, en primer lugar, se ha investigado la relación entre los elementos de gamificación y su efecto en la disposición motivacional explícita. Los elementos de gamificación (tales como tablas de clasificación, puntos, insignias, etc.) proporcionan aproximaciones motivacionales que incrementan o decrementan el rendimiento y la adherencia en función de la percepción del agente, de forma similar a los indicadores incentivadores que activan/suprimen motivaciones explicitas. En este sentido, se ha llevado a cabo un estudio de campo con estudiantes que han interactuado con el sistema de gamificación DRACO para observar esta similitud. Los elementos de gamificación de DRACO (tabla de clasificación y puntos) han sido rediseñados para estimular las disposiciones motivacionales explícitas de los estudiantes, y un experimento controlado ha sido desarrollado. Los resultados de este estudio revelaron que el grupo experimental sufrió un miedo al fracaso y motivaciones de poder (esperanza y miedo) significativamente menores que el grupo de control. Obtuvieron también menor procrastinación a la hora de alcanzar metas y alcanzaron mejores calificaciones tanto en los exámenes de teoría como en el curso en global. Estos resultados confirman la hipótesis de que los elementos de gamificación pueden estimular las disposiciones motivacionales explícitas e influir la subsecuente selección de metas a alcanzar. Aún más, permiten afirmar que el diseño de los elementos de gamificación puede influir en este cambio de comportamiento. Dado que hubo una relación significativa entre las disposiciones motivacionales explícitas y los elementos de gamificación, fue posible extender la investigación para afrontar el segundo aspecto. Con ese propósito, se han revisado los estudios de psicología motivacional más relevantes que dirigen al usuario hacia el bienestar y el rendimiento. Por último, se ha desarrollado una lista de comprobación para Sistemas de Información Motivacionales. La lista de comprobación fue usada para evaluar el sistema de gamificación DRACO mediante experimentos basados en cuestionarios de percepción y el rendimiento de los estudiantes. Los resultados de este nuevo estudio de campo validaron la aplicabilidad de la lista de comprobación, dado que las predicciones fueron consistentes con la literatura. Las principales aportaciones de esta tesis son: (1) se ha demostrado que los elementos de gamificación pueden influir en disposiciones motivacionales explícitas; (2) mediante el diseño de elementos de gamificación, las motivaciones de miedo al fracaso y de poder se pueden reducir y, consecuentemente, la procrastinación a la hora de la selección de las metas puede minimizarse; (3) mediante el diseño de los elementos de gamificación, el rendimiento de los agentes en determinados aspectos puede verse afectado; y (4) se ha obtenido una lista de comprobación para prestaciones motivacionales. Estos resultados proporcionan un puente entre las teorías motivacionales, la gamificación y los estudios de usabilidad que puede servir como un primer paso para la mejora de la usabilidad de los atributos hedónicos y conducir a una solución para el problema mencionado anteriormente que afecta a los sistemas de gamificación