Avaliação de impacto de uma política pública em educação: análise do programa de intervenção pedagógica / alfabetização no tempo certo no período 2008/2012

This study evaluates an education public policy in the state of Minas Gerais in the period 2008-2012, called "Programa de Intervenção Pedagógica – PIP”. We used the databases of SIMAVE and administrative records from the State Department of Education of Minas Gerais - SEE/MG to assess the impact of that public policy in raising the level of proficiency of students in the 3th and 5th year of elementary school, measured by the external evaluation conducted at the state level. We used the method of differences and differences and the method of propensity score. The results show that the schools in the 3rd year of primary education that received the educational intervention (state schools of Minas Gerais) had a mean treatment effect in the intervention of 23,32 points in the grade to 0,35 standard deviations with a confidence level of 95%, using the method of the first nearest neighbor weighted by the calculated propensity score. The results obtained by the method of differences in differences weighted by different ways of pairing on propensity score were very similar to each other. This indicates the robustness of the results, which was expected due to the relatively large size of sample, which should thus converge. The impact achieved by the method of differences in differences weighted by pairing the kernel method was 23,44 points in the grade to 0,35 standard deviations and the nearest neighbor with replacement was 26,24 points in the score to 0,40 standard deviations. On the other hand, when using the Radius method the impact was 26,22 points in the grade to 0,40 standard deviations. The schools in the 5th year of primary education that received the intervention had a mean effect in the intervention of 0,6 points in Portuguese proficiency to 0,03 standard deviations using the first nearest neighbor method weighted by the calculated propensity score, not significant at a 95% confidence level. The impact achieved by the method of xii differences in differences weighted by the weights generated by pairing the kernel method was 1,4 points in the Portuguese Language proficiency grade to 0.06 standard deviations, not significant at a 95% confidence level. The impact achieved by the method of differences in differences weighted by the weights generated by the nearest neighbor method with replacement was 1,3 points in Portuguese proficiency to 0,06 standard deviations, not significant at a 95% confidence level. The impact achieved by the method of differences in differences weighted by the weights generated by pairing using "Radius" or "calibration" by imposing a distance of 0,001 was 1,8 points in Portuguese proficiency to 0,08 standard deviations, significant at a 90% confidence level.Este trabalho analisa uma política pública na área educacional no âmbito do estado de Minas Gerais, no período entre 2008-2012, a qual foi denominada como “Programa de Intervenção Pedagógica – PIP/Alfabetização no Tempo Certo”. Para avaliar o impacto desta política pública na elevação do nível de proficiência dos alunos do 3° e do 5° ano do ensino fundamental foram analisados os dados do Sistema Mineiro de Avaliação da Educação Pública – SIMAVE e os registros administrativos da Secretaria de Estado de Educação de Minas Gerais – SEE/MG, utilizando-se o método de escore de propensão e diferenças em diferenças. Os resultados encontrados mostram que no 3° ano do ensino fundamental as escolas que receberam a intervenção pedagógica (escolas da rede estadual) apresentaram efeito médio do tratamento nos tratados de 23,32 pontos na nota para 0,35 desvios-padrão ao nível de confiança de 95% utilizando-se o método do primeiro vizinho mais próximo ponderado pelo escore de propensão calculado. Os resultados obtidos pelo método de diferenças em diferenças ponderados por diferentes formas de pareamento por escore de propensão foram muito semelhantes entre si, o que indica a robustez dos resultados encontrados, o que era esperado em função do tamanho da amostra, a qual é relativamente grande e, por isso, deveriam convergir. O impacto obtido pelo o método de diferenças em diferenças ponderados pelo pareamento pelo método de Kernel foi de 23,44 pontos na nota para 0,35 desvios-padrão e do vizinho mais próximo com reposição foi de 26,24 pontos na nota para 0,40 desvios-padrão. Já pelo método Radius o impacto foi de 26,22 pontos na nota para 0,40 desvios-padrão. Para o 5° ano do ensino fundamental as escolas que receberam a intervenção apresentaram efeito médio do tratamento nos tratados de 0,6 pontos na proficiência em Língua Portuguesa para 0,03 desvios-padrão utilizando-se o método do primeiro vizinho mais próximo ponderado pelo escore de propensão calculado, não significativo ao nível de x confiança de 95%. O impacto obtido pelo método de diferenças em diferenças ponderados pelos pesos gerados pelo pareamento pelo método de Kernel foi de 1,4 pontos na nota de Língua Portuguesa para 0,06 desvios-padrão, não significativo ao nível de confiança de 95%. O impacto obtido pelo método de diferenças em diferenças ponderados pelos pesos gerados pelo método do vizinho mais próximo com reposição foi de 1,3 pontos na proficiência em Língua Portuguesa para 0,06 desvios-padrão, não significativo ao nível de confiança de 95%. E o impacto obtido pelo método de diferenças em diferenças ponderados pelos pesos gerados pelo pareamento pelo método “Radius” ou “Calibrado” impondo uma distância de 0,001 foi de 1,8 pontos na proficiência em Língua Portuguesa para 0,08 desvios-padrão, significativo ao nível de confiança de 90%.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorCNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológic