Evaluación de la Usabilidad en Términos de Eficiencia, Eficacia y Satisfacción de la Herramienta INTEGRANOVA

Cada día la usabilidad es más importante en el desarrollo y uso de distintos tipos de productos software. En el caso de las herramientas de desarrollo de software dirigido por modelos (en inglés, Model-Driven Development, MDD), a pesar de los beneficios que aportan tales como la reducción de costos y de tiempo de desarrollo, existen estudios que determinan que éstas todavía no poseen una amplia aceptación debido a la falta de usabilidad de las herramientas de MDD. El objetivo de este trabajo es la evaluación de la usabilidad de la herramienta de MDD INTEGRANOVA con respecto a los atributos de eficacia, eficiencia y satisfacción global. En concreto, se realiza un estudio empírico para analizar la usabilidad del editor del modelo de objetos de INTEGRANOVA, desde el punto de vista del desarrollador de software orientado a objetos (OO) y considerando diferentes niveles de experiencia con herramientas de MDD. La evaluación que se lleva a cabo en esta investigación se realiza desde dos puntos de vista complementarios siguiendo las recomendaciones de la disciplina de la Interacción Persona-Ordenador (IPO): desde el punto de vista de la evaluación con expertos, mediante la técnica de evaluación heurística de INTEGRANOVA, que ha permitido identificar problemas y mejoras de usabilidad para la interfaz de esta herramienta, y desde el punto de vista de la evaluación con usuarios finales a través de la técnica de observación directa. En este último tipo de evaluación, este trabajo incorpora un aspecto normalmente ausente en la IPO, que es la realización de un estudio empírico mediante el diseño de un cuasi experimento para obtener evidencias empíricas sobre si los usuarios con experiencia en el uso de herramientas de MDD similares a INTEGRANOVA (pero no con INTEGRANOVA) realizan un conjunto de tareas de modelado de clases con diferente dificultad interaccionando con INTEGRANOVA con mayor eficacia, eficiencia y satisfacción global que los usuarios sin experiencia. Una vez realizada la observación directa con ocho sujetos expertos y ocho sujetos novatos, que llevan a cabo 18 tareas de modelado OO de dificultad fácil, media y difícil, y obtenido los valores de eficacia, eficiencia y satisfacción global, se establece un estudio estadístico donde se analizan los estadísticos descriptivos básicos y los diagramas de caja para las diferentes combinaciones de factores. Además, para la variable dependiente eficiencia, al disponer de datos suficientes, se ha planteado un test ANOVA para cada una de las dos medidas en las que se descompone dicha variable: eficiencia propiamente dicha (tiempo que un sujeto necesita para completar la tarea) y eficiencia relativa (porcentaje de completitud de la tarea realizada en relación con el tiempo empleado en dicha tarea), considerando los dos grupos de sujetos y los tres niveles de dificultad de las tareas. Los resultados permiten afirmar que existen diferencias estadísticamente significativas entre los expertos y novatos y la eficiencia relativa al realizar las tareas de modelado con diferentes niveles de complejidad, obteniendo mejores valores los expertos en completar las tareas difíciles, de dificultad media y fáciles que los novatos. Sin embargo, en el tiempo empleado para la realización de las diferentes tareas no se observa un efecto significativo del nivel de experiencia de los usuarios, aunque los expertos son mucho más rápidos en la ejecución de los distintos tipos de tareas. vi Además, los expertos realizan cerca del 95% de las tareas tanto fáciles como medias y del 45% de las tareas difíciles frente a un porcentaje similar para las tareas fáciles, del 70% para las tareas medias y 10% para las tareas difíciles realizadas por los novatos. Por último, los resultados de satisfacción obtenidos para los sujetos partícipes tanto novatos como expertos revelan cierta insatisfacción durante la realización de las tareas con la aplicación, que presenta un nivel de usabilidad marginal. Los resultados obtenidos indican diferencias apreciables entre sujetos expertos y novatos así como también en las dificultades de las tareas (fácil, media y difícil). Sin embargo, el estudio refleja una mayor diferencia entre la dificultad de las tareas que el efecto de ser experto o novato.The importance of usability as part of the development and use of all sorts of software products is growing every day. Some studies have suggested that, despite its benefits like the reduction of development costs and time, model-driven development (MDD) is not widely accepted because MDD tools are not usable. The aim of this paper is evaluate the usability of one MDD tool, namely INTEGRANOVA, with respect to the attributes of effectiveness, efficiency and overall satisfaction. In fact, we conduct an empirical study to analyse the usability of the INTEGRANOVA object model editor from the viewpoint object-oriented (OO) software developers with different levels of expertise with respect to MDD tools. Following human-computer interaction (HCI) guidelines, the evaluation carried out in this research takes into account two complementary viewpoints: expert evaluation using the heuristic evaluation technique to evaluate INTEGRANOVA and end user evaluation using the direct observation technique. By means of heuristic evaluation, we were able to identify usability problems and improvements for the tool interface. Through the application of direct observation, this research took up an issue that is not usually addressed within HCI. To be exact, we conducted an empirical study with a quasi-experimental design in order to gather empirical evidence about whether users experienced in the use of MDD tools similar to INTEGRANOVA (but not INTEGRANOVA) interact more effectively and efficiently with INTEGRANOVA to perform a set of class modelling tasks of varying difficulty and are generally more satisfied with the tool than inexperienced users. The direct observation technique was applied to eight expert subjects and eight novice subjects. These subjects carried out 18 easy, medium and hard OO modelling tasks. A statistical study was conducted on resulting values for effectiveness, efficiency and overall satisfaction, analysing the basic descriptive statistics and the box plots for the different combinations of factors. Additionally, as there were sufficient data for the efficiency dependent variable, an ANOVA was conducted for each of the two measures into which this variable is decomposed: efficiency (time that it takes a subject to complete the task) and relative efficiency (percentage of the task completed with respect to the time spent on the task), considering the two subject groups and the three task difficulty levels. The results suggest that there are statistically significant differences between experts and novices with respect to their relative efficiency in performing the modelling tasks of different complexity levels. Experts were better at doing the difficult, medium and easy tasks than novices. However, user experience level was not found to have a significant effect on the time taken to complete the different tasks, although experts are much faster in performing such tasks. Additionally, experts perform nearly 95% of easy and medium tasks and 45% of the difficult tasks, whereas novices complete a similar percentage of easy tasks, 70% of medium tasks and 10% of difficult tasks. viii Finally, the results with respect to the overall satisfaction of both the novice and expert participants reveal some dissatisfaction during task performance using the application, which is found to have a low usability level. The results suggest that there are appreciable differences between both experts and novice subjects and with regard to task difficulty (easy, medium and difficult). Then again, the study indicates that task difficulty has a bigger effect than expertise