Brazilian graduate evaluation: analysis of items used by CAPES and the criticism of the academic community

Esta pesquisa discute a avaliação da pós-graduação no Brasil, analisando, de um lado, o sistema de avaliação da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) e, de outro, a opinião da comunidade científica sobre esse sistema, focando especificamente nos critérios e instrumentos utilizados para esse fim. Pretendeu-se, com esta abordagem, contribuir para o aprimoramento do sistema de avaliação nacional da pós-graduação, tornando a avaliação um processo pactuado entre a CAPES e os programas de pós-graduação no Brasil. Para isso, foram confrontados os procedimentos utilizados no sistema de avaliação expressos nos documentos da CAPES e documentos das áreas de avaliação, com as opiniões da comunidade acadêmica apresentadas em artigos de periódicos e monografias. Foram estabelecidos como referenciais teóricos da pesquisa os conceitos de campo científico de Bourdieu e o de avaliação de Dahler- Larsen. O corpus da pesquisa foi coletado em três fontes: documentos criados pela CAPES, que contextualizam a pós-graduação e sua avaliação (PNPG 2011-2020); os Documentos de área elaborados pelas 48 áreas de avaliação e as críticas da comunidade acadêmica publicados em artigos de periódicos científicos. O corpus foi analisado e sistematizado por meio do método de Análise de Conteúdo. A análise teve como fio condutor os seis quesitos de avaliação de programas de pós-graduação da CAPES: Proposta do programa, Corpo docente, Corpo discente, teses e dissertações, Produção intelectual, Inserção social, e Internacionalização, bem como a Avaliação como um todo. Buscou-se identificar os comentários positivos, os comentários negativos e as sugestões da comunidade acadêmica. O quesito Produção intelectual foi o que recebeu a maior quantidade de críticas, identificando-se, portanto, como o foco das dúvidas e comentários da comunidade acadêmica. Os quesitos Proposta do programa, Corpo docente, Corpo discente, teses e dissertações, Inserção social, e Internacionalização receberam menor quantidade de comentários. Os resultados mostram que a avaliação, como um todo, apesar das críticas, é reconhecida como necessária pela comunidade acadêmica. Como contribuição final, foram feitas sugestões para aprimorar a enunciação dos quesitos e critérios de avaliação, de forma a promover sua melhor compreensão e transparência.This research discusses the graduate evaluation in Brazil, analyzing, on the one hand, the evaluation system of CAPES (Higher Education Personnel Training Coordination) and, on the other, the opinion of the scientific community about this system, specifically focusing on criteria and instruments used for this purpose. It was intended, with this approach, contribute to the improvement of the national evaluation system, in order to make evaluation a process agreed between CAPES and graduate programs in Brazil. For this, they were confronted the procedures used in evaluation system expressed in the Capes documents and documents of the evaluation areas, with the views of the academic community presented in journal papers and monographs. The concepts of scientific field (Bourdieu) and evaluation society (Dahler-Larsen) were used as theoretical background of this research. The corpus of the research was collected from three sources: the documents created by CAPES which contextualize the evaluation process (PNPG 2011-2020), the documents prepared by the 48 evaluation areas and criticisms of the academic community published in scientific journals. The corpus was analyzed and systematized through the method of Content Analysis. The analysis was to thread the six evaluation items of graduate programs of CAPES: Program proposal, Faculty, Students, Theses and dissertations, Intellectual production, Social insertion, and Internationalization. One tried to identify the positive comments, negative comments and suggestions of the academic community. The item Intellectual Production has received the highest amount of criticism, becoming therefore the focus of the questions and comments of the academic community. The items Program proposal, Faculty, Students, Theses and dissertations, Social insertion, and Internationalization received fewer comments. The results show that evaluation, despite criticism, is recognized as necessary by the academic community. As a final contribution, suggestions were made to enhance the formulation of the evaluation criteria in order to promote their better understanding and transparency