Applying dea to academic performance evaluation: a study on mechanical and production engineering graduate programs in Brazil

Esta Tese de Mestrado explora a avaliação de desempenho acadêmico de programas de pós-graduação em universidades brasileiras através da utilização de Análise de Envoltória de Dados -DEA (Data Envelopment Analysis). Os dados foram obtidos junto à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e analisados pelos métodos de CCR orientado a produtos, CCR orientado a produtos com Região de Garantia (Assurance Region), e esta última com Análise de Janelas para o triênio 20012003. Os principais resultados mostram que a adoção direta do CCR tem o inconveniente de gerar pesos com valor zero, o que não é apropriado na medida em que um Programa de Pós-Graduação teria seu escore máximo zerando um dos produtos, o que não faz sentido. A adoção da Região de Garantia e de Janela mostraram-se satisfatórias e as análises sugerem que os Programas de Engenharia Mecânica e Engenharia de Produção possuem diferentes funções de transformação, e em decorrência aponta para que se realize a análise em separado. Em termos de comparação com o método da CAPES, os resultados apontam importantes inconsistências, com programas bem avaliados com escores baixos e viceversa. Mostrou em alguns casos consistência no caso da Engenharia Mecânica, onde um Programa com nota 6 é destacadamente um outstanding em seu conjunto, mas o inverso ocorreu na Engenharia de Produção, onde um outstanding teve nota 5 pelo método da CAPES. O trabalho aponta para a utilidade de adotar a DEA como metodologia complementar para avaliação de desempenho pela CAPESThis Master of Science Thesis deals with applying DEA (Data Envelopment Analysis) to the academic performance evaluation of graduate programs in Brazil, exploring it on a Mechanical and Production Engineering Program 2001-2003 data. The data used is that of the national assessment carried by CAPES, the governmental body in charge for graduate program assessment and certification. It is used the CCR output oriented DEA model, the CCR-Output with Assurance Region, and Window Analysis. The main findings are first that the CCR has the concerning problem of zero values of weights of outputs that is not appropriate in a sense that a graduate program has the higher efficiency score zeroing some output (e.g., number of academic papers published). Secondly, the Assurance Region method proved useful. Third, the Window Analysis also gave some light to the consistency of the performance in the time frame analysed. Also, the analysis results in the understanding that the Mechanics and Production Engineering should not be assessed jointly like currently applied by CAPES and rather should be assessed in its own field separately. Finally, the result of the DEA analysis showed some serious inconsistencies with the CAPES method. Graduate programs considered excellent has got low performance score and vice versa. This Thesis provides a strong argument in order to use DEA at least as a complimentary methodology for graduate program performance evaluation in Brazi