Evaluation of federal institutions of higher education in Brazil: a theoretical and empirical analysis

A Constituição Federal de 1988, em seu artigo 205, descreve que a educação é um direito de todos e dever do Estado. Dentre os diversos níveis e modalidades do ensino definidos pela Lei de Diretrizes e Bases da Educação (LDB), destaca-se a educação superior que tem, cada vez mais, importância estratégica no desenvolvimento econômico e social dos países. Tendo em vista o anseio da sociedade pela oferta de um ensino superior público de qualidade, o processo de avaliação das Instituições Federais de Ensino Superior (IFES) tem se aperfeiçoado ao longo da história para servir como ferramenta de gestão da qualidade. A expansão das IFES, principalmente a que ocorreu a partir de 2006 com a criação do Programa REUNI, trouxe mudanças significativas por meio de seus investimentos nas gestões acadêmicas e administrativas das universidades públicas. Assim sendo, em termos gerais, essa pesquisa busca analisar o processo avaliativo das Instituições de Ensino Superior (IES) e investigar a relação existente entre o investimento no ensino superior público e a mudança na eficiência técnica das IFES. Para isso, buscou-se conhecer o histórico do processo de avaliação das IES e a eficiência relativa das IFES na alocação de recursos públicos durante o período em que houve investimentos por parte do REUNI. O estudo se torna relevante em função dos debates em torno de como devem ser alocados os recursos públicos na educação superior para que haja melhoria na qualidade do ensino. Para avaliar a eficiência relativa das IFES, a pesquisa utilizou como variáveis dados oriundos dos Relatórios de Gestão destas instituições, nos anos de 2007 e 2011, adotando o método da Análise Envoltória de Dados (DEA). Como resultados, identificou-se que devido à complexidade do sistema educacional superior, principalmente com relação aos procedimentos formais e legais que envolvem o processo da avaliação, é necessário que haja uma ferramenta mais eficaz para o planejamento da gestão universitária com intuito de se garantir o caráter transparente do processo. No tocante à análise dos dados, os resultados demonstraram que nenhuma IFES atingiu a meta do REUNI na elevação da relação entre alunos por professor e apenas 1 IFES atingiu a meta de elevação da Taxa de Sucesso na Graduação. Com relação à eficiência relativa, observou-se que 25% do total foram consideradas eficientes no ano de 2007 e 32% em 2011. Este maior grau de ineficiência entre as IFES deriva da falta de rigor na gestão de recursos públicos sem levar em consideração sua diversidade. Quanto ao efeito da aplicação de recursos nos anos de 2007 e 2011 proporcionado pelo REUNI, os resultados confirmam o menor aproveitamento na alocação destes recursos, uma vez que a taxa média de mudança na eficiência técnica das IFES foi de 0,2%. A aplicação de recursos públicos deveria influenciar uma melhoria significativa no desempenho destas instituições públicas, o que não foi confirmado pela pesquisa. Diante disto, são necessárias ações que garantam a eficiência na alocação de recursos públicos nas IFES com o objetivo de se melhorar a qualidade da educação superior pública.The 1988 Constitution, in its Article 205, states that education is a right of all people and a duty of the Government. Higher education stands out among the various levels and types of education defined by the Law of Guidelines and Bases of Education (LDB). It has increasingly achieved strategic importance in the economic and social development of countries. Given the desire of society to have good quality public higher education, the process of evaluation of the Federal Institutions of Higher Education (IFES) has been perfected throughout history to be used as a tool for quality management. The expansion of IFES, mainly from 2006, with the creation of the REUNI program, brought significant changes through its investments in academic and administrative management of public universities. Thus, in general, this research aims to investigate the process of assessment of Higher Education Institutions (IES) and the relationship between investments in public higher education and changes in the technical efficiency of IFES. For such, we investigated the history of the process of assessing the IES and the relative efficiency of IFES in the allocation of public funds while receiving investments from the REUNI Program. This study is relevant because of the discussions about the use of public resources in higher education so as to obtain improvement in teaching quality. To evaluate the relative efficiency of IFES, the research used data from the 2007 and 2011 Management Reports of these institutions as variables, and adopted the Data Envelopment Analysis method (DEA). As a result, it was found that due to the complexity of the higher education system, particularly in relation to formal and legal procedures involving the evaluation process, there should be a more effective tool for the planning of university management in order to ensure transparency to the process. Regarding the data analysis, the results showed that no IFES reached the goal of the REUNI for increased ratio of students per professor and only one IFES reached the goal of raising the Graduation Success Rate. With respect to relative efficiency, it was observed that 25% of the total were efficient in 2007 and 32%, in 2011. This higher degree of inefficiency between IFES results from the inneficient management of public resources, without considering their diversity. Regarding the effect of the use of resources provided by REUNI in 2007 and 2011, the results corroborate the lower utilization in the allocation of these resources, since the average rate of the change in technical efficiency of the IFES was 0.2%. The application of public resources should have led to a significant improvement in the performance of these institutions, which was not confirmed by this research. Therefore, actions are needed to ensure the efficient allocation of public resources in IFES, so as to improve the quality of public higher education