Assessing the creativity of mobile applications in computing education

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2023.A criatividade é uma habilidade importante do século XXI. Embora seja tradicionalmente associada às artes e à literatura, ela também pode ser desenvolvida como parte do ensino da computação. Uma das formas de estimular a criatividade é por meio do ensino de desenvolvimento de aplicativos móveis com o App Inventor, um ambiente de programação baseado em blocos tipicamente usado na Educação Básica. Nesse contexto, a avaliação desempenha um papel crucial na avaliação da aprendizagem e do progresso dos alunos. Embora existam modelos de avaliação da criatividade, sua avaliação enfocando aplicativos móveis na educação em computação permanece relativamente inexplorada. Nesse contexto, esta tese apresenta um modelo de avaliação da criatividade de aplicativos móveis desenvolvidos com o App Inventor. De acordo com a definição de criatividade, o modelo inclui as dimensões de originalidade, flexibilidade e fluência. Essas dimensões são avaliadas em relação às funcionalidades, componentes, programação, tópicos e tags, computando suas frequências dentro do aplicativo e comparando-as com um universo de referência de aplicativos existentes. Com o objetivo de analisar a capacidade do modelo em avaliar a criatividade de aplicativos móveis foram realizadas diversas análises estatísticas. Os resultados demonstram que o modelo é capaz de diferenciar aplicativos considerados criativos de acordo com avaliadores humanos, indicando a eficácia do modelo. Além disso, as análises estatísticas confirmaram a confiabilidade, a validade de construto e a qualidade do modelo de avaliação. O uso de um universo de referência pelo modelo fornece uma base padronizada e objetiva para medir a criatividade, facilitando comparações e interpretação dos resultados. Ao introduzir um modelo de avaliação da criatividade de aplicativos móveis desenvolvidos com o App Inventor, visa-se estimular e nutrir a criatividade entre os estudantes no contexto do ensino da computação. O modelo desenvolvido contribui para o estabelecimento de uma ferramenta de avaliação para avaliar a criatividade, beneficiando tanto educadores como estudantes.Abstract: Creativity is an important skill of the 21st century. Although it is traditionally associated with arts and literature, it can also be developed as part of computing education. Creativity can be stimulated by teaching students to develop their mobile applications with App Inventor, a block-based programming environment typically used in K-12. As an essential component of effective teaching, assessment plays a crucial role in gauging student learning and progress. While there exist established assessment models for creativity, the assessment of creativity of mobile applications in computing education remains relatively uncharted. This work introduces a comprehensive assessment framework for assessing the creativity of mobile applications developed with App Inventor. In accordance with the definition of creativity, the proposed framework assesses the originality, flexibility, and fluency of mobile applications. These dimensions are assessed with regard to the functionalities, components, programming blocks, topics, and tags, by computing their frequencies within the mobile application and comparing them to a reference universe of existing mobile applications. Statistical analyses were conducted to evaluate the framework's capability in assessing the creativity of mobile applications. The results demonstrate that the framework is capable of differentiating mobile applications considered creative according to human raters, indicating its effectiveness. Furthermore, the statistical analyses confirmed the reliability, construct validity, and quality of the assessment framework. The framework's use of a reference universe provides a standardized and objective basis for measuring creativity, facilitating meaningful comparisons and interpretation of results. By introducing a comprehensive assessment framework for assessing the creativity of mobile applications developed with App Inventor, this model aims to stimulate and nurture creativity among students in computing education, benefiting both educators and students