Measurement erros of Prova Brasil 2013 and your influence over the IDEB of schools of the department of education of São Paulo City: a study about the final years of middle school and yours repercussions for educational policies

Este trabalho tem como objetivo estudar os erros de medida na estimativa das proficiências de leitura e resolução de problemas da Prova Brasil 2013 e suas influências no cálculo do Ideb para os anos finais do ensino fundamental das escolas da Rede Municipal de Ensino de São Paulo. O Ideb, criado em 2007, é um dos indicadores de maior influência nas políticas educacionais brasileiras sobre a qualidade da educação com base na medição de proficiências. No desenvolvimento do trabalho, questionase o conceito de qualidade da educação e, especialmente, a influência dos erros das medidas utilizadas, ainda que parcialmente, para se avaliar a qualidade de escolas e redes de ensino. O erro de uma medida significa o quanto essa medida pode variar em torno de um determinado valor, sobretudo, quando se trata de medida de traços latentes, não diretamente observáveis e condicionados pelo próprio instrumento de coleta das informações. Para investigar o erro de medida da Prova Brasil 2013, procedeu-se um estudo dos resultados de cada um dos alunos do 9º ano do ensino fundamental dessa Rede para dimensioná-lo na estimativa de suas proficiências e, consequentemente, calcular o erro do Ideb de cada escola, admitindo-se a taxa de aprovação divulgada pelo Inep. Adicionalmente, o tratamento dos dados estendeu-se às metas projetadas para cada escola com a realização de algumas comparações entre escolas que com o mesmo Ideb possuem erros de medida diferentes, permitindo questionar a precisão deste indicador e apontando para a necessidade de estudos mais apurados quanto a indicadores de qualidade da educação. Acredita-se que este estudo possa contribuir para o aprimoramento das avaliações externas para que seus resultados sejam melhor utilizados pelas políticas educacionais.The present paper aims to study the measurement errors in the proficiency estimation in reading and in the resolution of problems of Prova Brasil 2013 and theirs influences over the calculation of Ideb for the final years of middle school of the Department of Education of São Paulo City. The Ideb, created in 2007, is one of the most influential indicators in Brazilian educational policies about the quality of education based on proficiency measurement. In the development of this paper, the concept of quality of education is questioned as well as the influencies of measurement erros used, in special, although partially, for evaluate the quality of schools and the quality of educational networks. A measurement error means how much this measure can vary around a certain value, especially when it is a measure of latent traits which are not directly observable and conditioned by its own instrument of information collection. In order to investigate the measurement error of Prova Brasil 2013, it was developed the analysis of the proficiencies of each student of the final year of the middle school of this educational network in this measurement to dimension, and, consequently, to calculate the Ideb error of each school, assuming the approval rate disclosed by Inep. In addition, the data treatment was extended to the projected goals for each school from the realization of some comparisons between schools which had the same Ideb but had at the same time different measurement errors, allowing to question the precision of this indicator, pointing out to the need for a more accurated study in relation to Indicators of quality of education. It is supposed that this study could contribute to the improvement of the external evaluations for their results will be used as better as they could by educational policies