Feedback through the comparison of codes in support of the teaching-learning process of introduction to programming

A atividade de codificar programas é uma das mais utilizadas no ensino de programação. Uma das dificuldades na realização desta atividade está em ser capaz de obter informação sobre os códigos produzidos. A atividade manual de análise de códigos é lenta, especialmente quando se pensa em observar um conjunto de programas como um todo. Ao observar o conjunto de códigos, professores e alunos podem refletir sobre as estratégias tentadas para uma determinada questão ou identificar relações entre as diferentes questões de uma lista de exercícios. Este trabalho de doutorado utilizou estratégias automáticas para a comparação de códigos de uma população de programas. Tais técnicas foram avaliadas e,a partir delas, foram criadas visualizações que possibilitam explorar tal informação. A metodologia inicial para fazer essa investigação consistiu em um experimento avaliando como professores comparam códigos e como esta comparação se assemelha a técnicas automáticas de comparação de código. Posteriormente, os algoritmos de comparação de código foram usados para a criação de uma visualização em grafo de tais comparações. Esta visualização teve seu uso testado pelos alunos em uma atividade de avaliação de códigos entre-pares. Por fim, foi criada uma visualização através de um mapa-de calor para comparar diferentes questões de uma lista de exercícios, bem como a indentificação dos tópicos que cada questão explorava. Como resultados, foi possível identificar que os professores podem não ter apresentado alta concordância entre si (mínimo de 62%) em como códigos se relacionam, mas ainda assim foi possível capturar a noção de similaridade entre a forma em que alguns professores e estratégias automáticas comparam códigos (mínimo de 75%). No entanto, para atingir tal concordância, é preciso considerar um parâmetro que define quando uma estratégia deve considerar duas soluções como muito próximas. Além disso, observou-se que a avaliação de código pelos próprios alunos guiada pela comparação entre artefatos não alterou a qualidade da avaliação de soluções de um problema, mas melhorou a percepção que o estudante tem sobre o processo de avaliação de códigos entre-pares,bem como a percepção da sua própria capacidade de revisar o que foi produzido pelos colegas. Os estudantes também consideraram que a visualização era simples de ser utilizada. O útimo estudo apontou que é possível construir uma visualização para comparar diferentes questões, bem como identificar tópicos explorados numa lista de exercícios. Em um estudo qualitativo, foi possível refletir sobre a produção de exercícios durante a disciplina e sobre a intensidade com que determinados tópicos foram praticados ao longo do semestre.In introductory programming courses it is common to ask students to solve exercises that require code as solution. When evaluating a code, a teacher or student often compare how that solution relates to other codes. This comparison gives insight about different strategies to solve a problem or information about what students are doing for a given problem. It is a costly task to evaluate codes and understand how they are related. We propose a novel approach to use automatic code comparison strategies to compare a pool of programs. Using the result from this approach we created visualizations for this given data. First, we present a study on how automatic code comparison strategies are related to the way that teachers compare codes. Then we use the code similarity information to create a graph visualization that was later used by students during a peer assessment task. Finally we create a heatmap that show how different questions are related and which topics each of those questions explore. Then we do aqualitative study on how that information can be used and is useful for a teacher. Our first experiment shows that teachers may not have a high agreement among themselves while comparing codes, but is possible to have a personalized fined tuned algorithm that has a great similarity score with some teachers. Code comparison doesn’t seem to improve the technical quality of feedback created by the students during the peer assessment task, but that visualization improves the student’s confidence in their peer assessment capability. The last study shows that we can have information about how different exercisesare related and how some topics are being used in suc