Uma meta-avaliação de questões de escolha múltipla em estatística

Mestrado em Matemática e AplicaçõesTestes constituídos de questões de escolha múltipla são diversamente utilizados por professores na avaliação dos seus alunos. Porém, os resultados desses testes dizem mais do que a classificação final do aluno: aprovado ou reprovado. Neste estudo, recorrendo à Teoria Clássica de Teste (TCT) e à Teoria de Resposta ao Item (TRI), avaliamos testes constituídos por questões de escolha múltipla, considerados na unidade curricular de Bioestatística. Os objetivos foram: (i) verificar, por um lado, a qualidade global do conjunto dos 5 mini testes aplicados e, por outro lado, dos 37 itens individualmente; e (ii) analisar o nível de habilidade dos 111 alunos avaliados. As estatísticas produzidas pela TCT permitiram concluir que o conjunto dos 5 mini testes tinha boa consistência interna (com possibilidades de aumentar, eliminando uma questão tida como má) e que era composto por itens com diferentes níveis de dificuldade (28,83% - 95,50%) e de discriminação (0,0357 - 0,6586). Três modelos da TRI foram testados sendo o modelo logístico de dois parâmetros (2PL) o que apresentou melhor ajuste. Os parâmetros do modelo 2PL foram estimados pelo método de estimação da máxima verosimilhança marginal. As curvas características dos itens contribuíram para a identificação de questões com diferentes níveis de dificuldade e de discriminação. As curvas de informação de itens apresentaram o nível de contribuição de cada questão na estimação das habilidades dos alunos e, a curva de informação de teste mostrou que a discriminação máxima é atingida para alunos abaixo da média na escala de habilidade, isto é, o teste mostrou ser mais eficaz para estudantes com nível de habilidade baixa a média. Espera-se que este estudo demonstre a importância de avaliar as avaliações e motive a elaboração de testes com questões cujas características se adequem aos níveis de habilidades dos alunos, sem nunca esquecer contudo, os objetivos educacionais e as competências a fornecer. A parametrização de exercícios corresponde a uma técnica que permite considerar o mesmo conteúdo curricular sem usar, taxativamente, o mesmo enunciado. Neste trabalho ilustramos alguns exercícios parametrizados que podem ser incorporados num banco de questões.Tests consist of multiple choice questions are variously used by teachers in assessing their students. However, the results of these tests tell more than the final grade of the student: pass or fail. In this study, using Classical Test Theory (CTT) and Item Response Theory (IRT), we evaluate tests consisting of multiple choice questions, considered in the course of Biostatistics. The objectives were: (i) to determine, on one hand, the overall quality of all given five mini-tests, and, on the other hand, the 37 individual items; and (ii) to analyse the ability level of the 111 assesed students. The statistics produced by TCT showed that the set of 5 mini-tests had good internal consistency (with the possibility of increasing, eliminating a question seen as bad) and was composed of items with different levels of difficulty (28.83% to 95 50%) and discrimination (0.0357 to 0.6586). Three IRT models were tested and the two-parameter logistic model (2PL) presented the best fit. The 2PL model’ parameters were estimated by the method of marginal maximum likelihood estimation. The items characteristic curves contributed to identify questions with different levels of difficulty and discrimination. The items information curves showed the level of contribution of each question to the estimation of students’ ability and the test information curve showed that the maximum discrimination is achieved for students below average in ability’s scale, that is, the test was more effective for students with ability level between low and medium. It is hoped that this study demonstrates the importance of assessing the evaluations and motivate the development of tests with questions whose characteristics suited to students’ ability levels, never forgetting, however, the educational objectives and skills to provide. The parameterization exercises correspond to a technique that allows to consider the same curriculum content without using, exclusively, the same statement. In this paper we illustrate some parameterized exercises which can be incorporated into a bank questions