Uma re-análise dos resultados do PISA: problemas de comparabilidade Un reanálisis de los resultados del PISA: Problemas de comparabilidad A re-analysis of PISA results: comparability problems

Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as séries, tornando os universos não comparáveis. Analisa-se com detalhes o caso do Brasil e mostra-se que os universos de 2000 e 2009 não são comparáveis. Analisa-se também alguns outros países, entre eles Luxemburgo e Chile, que, juntos com o Brasil, foram destacados como tendo a maior evolução de desempenho desde 2000. Em Luxemburgo, não houve melhoria de desempenho de 2003 para 2009 e é preciso investigar porque os resultados de 2000 e 2003 são tão diferentes. O Chile apresenta melhoria de desempenho, mas provavelmente não tão grande quanto o apontado.En este artículo se presenta un problema de comparabilidad de resultados entre las aplicaciones del PISA en algunos países, en diversos años y entre los países. Ese problema ocurre porque no se considera la edad escolar de cada uno de los países ni tampoco existe una regla para la fecha de aplicación de la prueba con relación a los años lectivos de cada país. El cambio de fecha de la aplicación en un determinado país modifica la composición del alumnado entre los grados, tornando los universos incomparables. Se analiza con detalles el caso de Brasil y se muestra que los universos de 2000 y 2009 no se pueden comparar. Se analiza también algunos otros países, entre ellos Luxemburgo y Chile, que, juntos con Brasil, se destacaron por tener la mayor evolución de desempeño desde 2000. En Luxemburgo no hubo mejora de desempeño de 2003 para 2009 y es necesario investigar porque los resultados de 2000 y 2003 son tan distintos. Chile presenta mejora de desempeño, pero quizás no tanto como lo señalado.In this paper it is shown a comparability problem in Pisa results of some countries among years and among countries. This problem occurs because the school age of each country is not considered and because there is no rule for the application date of the test in relation to the school year of each country. The case of Brazil is analyzed with detail. There are analysis of some other countries too, among them Luxembourg and Chile, that together with Brazil, were pointed out as having the biggest evolution in performance since 2000. It is shown that this evolution of performance may not be real