Avaliação educacional sistêmica na perspectiva dos testes de desempenho e de seus resultados : estudo do saeb

Tese (doutorado)—Universidade de Brasília, Instituto de Psicologia, Departamento de Psicologia Social e do Trabalho, Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, 2007.Este estudo está fundamentado em uma análise crítica descritiva do Sistema Nacional de Avaliação da Educação Básica (SAEB), realizada com base em pesquisa bibliográfica e documental. Teve por principal objetivo analisar a avaliação empreendida por esse sistema na perspectiva do instrumento que estima o desempenho dos alunos. Os dados do SAEB que foram objeto deste estudo foram os testes de Língua Portuguesa e Matemática, 4ª série, aplicados nas edições do SAEB no período de 1995 a 2003, as matrizes de referência, as escalas de proficiência e os relatórios publicados referentes a esse período. Os testes que avaliam o desempenho dos alunos são os principais instrumentos de informação que subsidiam os múltiplos propósitos dos sistemas de avaliação hoje em curso, e que orientam o alcance da superação dos problemas. A realização deste estudo implicou, em primeiro lugar, contextualizar a avaliação educacional por meio de sua trajetória histórica. Em seguida, pesquisar a constituição dos testes, os tipos de análises utilizadas na atualidade e os tipos de descrições mais comuns dos resultados dos testes. Em seguida, foi realizada pesquisa do processo de avaliação brasileiro na perspectiva do modelo norte-americano, cujo sistema se constitui como nossa referência. O passo seguinte foi proceder a uma análise crítica das avaliações do SAEB, no período de 1995 a 2003, considerando-se as habilidades aferidas e publicadas na forma de escalas e dos níveis de desempenho. Essa análise redundou a (re)descrição de todas as escalas, com a intenção de mostrar a redução apresentada na descrição das escalas publicadas. O procedimento seguinte foi a análise crítica dos relatórios de resultados publicados pelo SAEB e, por fim, pesquisou-se políticas implementadas com base nos resultados do SAEB, nas secretarias de educação de estado e no Ministério da Educação e Cultura (MEC). Concluiu-se que é premente a necessidade de revisão das matrizes de referência; que os testes de desempenho deverão ser constituídos com maior cuidado; que as escalas de proficiência devem descrever de modo mais amplo as habilidades demonstradas pelos alunos brasileiros; que as publicações de resultados devem ser dirigidas, com linguagem adequada a diferentes públicos (pesquisadores, elaboradores de políticas, educadores e comunidade em geral) e que o SAEB deveria orientar ações que pudessem ser transformadas em políticas pelos estados e por secretarias do MEC, além de manter diálogo com essas instituições. Contudo, ressalta-se o importante papel que o SAEB representa para o país na disseminação da cultura avaliativa, no avanço das análises psicométricas e no incentivo do desenvolvimento de instituições especializadas em avaliação. _________________________________________________________________________ ABSTRACTThis study is based on a descriptive critical analysis of the National System for Basic Education Evaluation (Sistema Nacional de Avaliação da Educação Básica - SAEB) carried through on the basis of documentary bibliographical research. It took in consideration the tools applied to measure the achievement of fourth-grade students in Mathematics and Portuguese Language, during the period from 1995 to 2003, and the matrices of reference, the scales of proficiency and the reports published referring to this period. The tests that evaluate the performance of the pupils are the main instruments of information that today subsidize the multiple intentions of the systems of evaluation in course, and that they guide the reach of the overcoming of the problems. The accomplishment of this study implied, in first place, to contextualize the educational evaluation by means of its historical trajectory. This study also researched the modeling of the achievement tests, the types of analyses used in the present time and the types of more common descriptions of the results of the tests. After that, a research of the Brazilian process of evaluation in the perspective of the North American model was carried through, whose system constitutes as our reference. The following step was to proceed to a critical analysis of the evaluations of the SAEB, in the period above mentioned, considering the abilities surveyed and published in the form of scales and the levels of performance. As a result of the evaluation this work presents a new array of skills and achievement, in order to show the reduction attained in the description of the published scales. The following procedure was critical analysis of the reports of results published by SAEB. Also, it investigated which policies were based on the results of SAEB. Finally, it was considered the influence of SAEB reports on policymakers, the Ministry of Education (MEC) and Education Secretariats in the states. The conclusion reveals that it is urgent to review the reference matrices, that the performance tests will have to be constituted with well-taken care to attune the achievement tests; that the proficiency scales must describe in ampler way the abilities demonstrated for the Brazilian pupils; that the publications of results must be addressed with adequate language to different types of public (researchers, policymakers, teachers and members of the general public); and that SAEB would have to guide actions which could be transformed into policy for the states and secretariats of the MEC, beyond keeping dialogue with these institutions. The role that SAEB represents for the country is emphasized in relation with the dissemination of the assessment culture, the advance of psychometric analysis and in relation with the incentive of the development of institutions specialized in evaluation