Assessing the awareness mechanisms of a collaborative programming support system

The learning and teaching of Programming can benefit from the principles of Computer Supported Collaborative Learning (CSCL). With that purpose in mind, the COLLECE system was created to support synchronous collaborative programming in learning settings. Unlike other systems with similar objectives, COLLECE incorporates many elements to support group awareness. This article presents anempirical study in which the usefulness of some of the awareness mechanisms included in this system is evaluated. One of the main contributions of this work is the combination of different techniques to evaluate interactive systems, such as questionnaires, laboratory testing, heuristic evaluation, automatic logging and eye tracking techniques. The joint use of these techniques (of both a subjective and objective nature) allows us to carry out a more complete analysis of the system under study and, in particular, about its support of awareness.El aprendizaje/enseñanza de la programación puede beneficiarse de los principios del Aprendizaje Colaborativo soportado por Computador(CSCL). Con el objetivo de soportar tareas de programación colaborativa distribuida síncrona se creó el sistema COLLECE. A diferencia de otros sistemas con objetivos similares, COLLECE incorpora una gran cantidad de elementos de soporte al awareness. En este artículo se describe un estudio empírico en el que se evalua la utilidad de algunos de los mecanismos de awareness incluídos en este sistema. Una de las principales aportaciones de este trabajo es la combinación de varias técnicas de evaluación de sistemas interactivos (cuestionarios, testing en laboratorio, evaluación heurística, logging automático y técnicas de seguimiento ocular). El uso conjunto de todas estas técnicas (algunas objetivas y otras subjetivas) permite realizar un análisis más completo del sistema objeto de estudio y, en particular, de su soporte al awareness