Differential functioning of PISA science items in Brazil and Japan

O Programa Internacional de Avaliação dos Estudantes (PISA) é uma avaliação comparada, aplicada a uma amostra de estudantes de 15 anos de idade. Juntamente com vários outros países, Brasil e Japão participam desde a primeira edição, em 2000. Com o objetivo de identificar fatores capazes de explicar as diferenças de resultados encontradas no Letramento em Ciências, entre alunos brasileiros e japoneses, na edição de 2006, foi utilizada a análise de DIF (Differential Item Functioning), que possibilitou extrair, dos resultados dos testes, padrões de efeitos diferenciados. Para identificar os itens que apresentaram funcionamento diferencial entre Brasil e Japão, empregou-se o modelo bayesiano integrado que, além de confirmar a ocorrência, também pode explicar o DIF. Encontramos DIF em todas as covariáveis elegidas, embora nem sempre esse comportamento diferencial tenha privilegiado um dos dois países. Há competências que discriminam mais os alunos brasileiros e áreas de aplicação dos itens ora mais fáceis para o Brasil, ora para o Japão.Palavras-chave: Differential Item Functioning – DIFF; PISA; Letramento Científico; Ciências. Funcionamento diferencial de los ítems de ciencias del PISA: Brasil y JapónEl Programa Internacional de Evaluación de Estudiantes (PISA) es una evaluación comparada, aplicada a una muestra de estudiantes de 15 años de edad. Junto con varios otros países, Brasil y Japón participan desde la primera edición, en el 2000. Con el objetivo de identificar factores capaces de explicar las diferencias de resultados encontradas en el Letramento en Ciencias entre alumnos brasileños y japoneses en la edición de 2006, se utilizó el análisis de DIF (Differential Item Functioning), que hizo posible que se extrajera de los resultados de las pruebas patrones de efectos diferenciados. Para identificar los ítems que presentaron funcionamiento diferencial entre Brasil y Japón se utilizó el modelo bayesiano integrado que, además de confirmar la ocurrencia, también puede explicar el DIF. Encontramos DIF en todas las covariables elegidas, aunque no siempre este comportamiento diferencial privilegie uno de los dos países. Hay competencias que discriminan más a los alumnos brasileños y a las áreas de aplicación de los ítems, que a veces son más fáciles para Brasil y otras para Japón.Palabras-clave: Differential Item Functioning – DIFF; PISA; Letramento Científico; Ciencias. Differential functioning of PISA science items in Brazil and JapanThe Programme for International Student Assessment (PISA) is an international comparative assessment program applied to samples of 15-year-old students. Together with other countries, Brazil and Japan have participated in this program since its first edition in 2000. DIF (Differential Item Functioning) analysis was used to identify factors that could explain performance differences in scientific literacy between Brazilian and Japanese students, in the 2006 edition. Based on the test results, this analysis showed patterns of differentiated effects. To identify the items that showed differential functioning between Brazil and Japan, we used the Bayesian integrated model. In addition to confirming this occurrence, this model may also explain the DIF. DIF was found in all covariates selected. However, differential functioning did not always favor either of the two countries. There are competencies that discriminate more against the Brazilian students and areas of application of the items that sometimes were easier for Brazilian and sometimes for Japanese students.Keywords: Differential Item Functioning – DIFF; PISA; Scientific Literacy; Sciences.El Programa Internacional de Evaluación de Estudiantes (PISA) es una evaluación comparada, aplicada a una muestra de estudiantes de 15 años de edad. Junto con varios otros países, Brasil y Japón participan desde la primera edición, en el 2000. Con el objetivo de identificar factores capaces de explicar las diferencias de resultados encontradas en el Letramento en Ciencias entre alumnos brasileños y japoneses en la edición de 2006, se utilizó el análisis de DIF (Differential Item Functioning), que hizo posible que se extrajera de los resultados de las pruebas patrones de efectos diferenciados. Para identificar los ítems que presentaron funcionamiento diferencial entre Brasil y Japón se utilizó el modelo bayesiano integrado que, además de confirmar la ocurrencia, también puede explicar el DIF. Encontramos DIF en todas las covariables elegidas, aunque no siempre este comportamiento diferencial privilegie uno de los dos países. Hay competencias que discriminan más a los alumnos brasileños y a las áreas de aplicación de los ítems, que a veces son más fáciles para Brasil y otras para Japón.The Programme for International Student Assessment (PISA) is an international comparative assessment program applied to samples of 15-year-old students. Together with other countries, Brazil and Japan have participated in this program since its first edition in 2000. DIF (Differential Item Functioning) analysis was used to identify factors that could explain performance differences in scientific literacy between Brazilian and Japanese students, in the 2006 edition. Based on the test results, this analysis showed patterns of differentiated effects. To identify the items that showed differential functioning between Brazil and Japan, we used the Bayesian integrated model. In addition to confirming this occurrence, this model may also explain the DIF. DIF was found in all covariates selected. However, differential functioning did not always favor either of the two countries. There are competencies that discriminate more against the Brazilian students and areas of application of the items that sometimes were easier for Brazilian and sometimes for Japanese students