Methodological proposal for analysis of the undergraduate courses evaluation results

This research is part of the institutional evaluation field, in particular, the evaluation of undergraduate courses, aiming the development of a methodology for analyzing the results of the evaluation process as a way to subsidize on a broad perspective the decision-making, and more specifically, the reformulation processes. The proposed methodology seeks to integrate information from different evaluation processes related to undergraduate programs, with emphasis on those established by the Sistema Nacional de Avaliação da Educação Superior (National Higher Education Evaluation System, SINAES) to analyze them critically. In this case, the report of the institutional self-assessment, the report of the Commissions assessment in loco of the Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira” (National Institute of Educational Studies and Research “Anísio Teixeira”, INEP), coming from the regulatory processes of recognition and renewal of recognition of undergraduate courses and the course report of the Exame Nacional de Desempenho de Estudantes (National Examination of Student Performance Report, ENADE). In addition to these, it will be exemplified other internal and /or external indicators that may be included when they’re relevant to the course. The objective is to stimulate analysis of the results of evaluation processes which underwent certain undergraduate courses, organizing information and making it accessible to those involved with the course, especially the academic bodies responsible for formulating a critical and systemic diagnosis on the implementation of the Educational Project Course and, when appropriate, for proposing modifications. The theoretical framework proposed for this analysis is based on the concept of emancipatory evaluation, whose basic principle is the pursuit of transformation of a given reality from a participatory assessment process. The preparation of the methodological proposal was preceded by bibliographical and documentary research that theoretically grounded it and then was developed experimentally in an undergraduate degree at UFSCar. The methodology we used for the development of the proposal was the action-research, and in order to validate it, it was held the meeting of the focus group with the teachers of the course. The central idea of the proposal is to collect, organize and analyze the indicators resulting from internal and external evaluation processes of undergraduate courses, organizing the information into large dimensions for a critical comparison of results from different sources. In this paper, a pilot spreadsheet was developed in twelve dimensions that organizes the extracted results from different sources of information, thus contributing with a comparative analysis and critique of each dimension evaluated. The results showed that this methodological approach proved to be appropriate to support the analysis performed by teachers on the results of evaluations to which the course has been submitted. The authors emphasize the importance of the multiple evaluation processes for the construction of a broad diagnosis of the current situation; More than that, it was found that the process of analyzing the information organized as proposed favors collective discussion on the Pedagogical Project of the Course and encourages educational evaluation culture in its formative and emancipatory sense; It showed up, too, the importance of an education expert who has knowledge of the methodological approach and on the evaluation processes.Não recebi financiamentoEsta pesquisa insere-se no campo da avaliação institucional, em específico, a avaliação dos cursos de graduação, tendo como objetivo o desenvolvimento de uma proposta metodológica para análise dos resultados de processos de avaliação, como forma de subsidiar em uma perspectiva ampla a tomada de decisão e, mais especificamente, os processos de reformulação curricular. A metodologia proposta procura integrar informações de diferentes processos avaliativos relacionados aos cursos de graduação, com ênfase naqueles estabelecidos pelo Sistema Nacional de Avaliação da Educação Superior (SINAES) para analisá-las criticamente. No presente caso, foram utilizados o relatório da autoavaliação institucional, o relatório das Comissões de Avaliação in loco do Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira” (INEP), oriundos dos processos regulatórios de reconhecimento e de renovação de reconhecimento dos cursos graduação, e o Relatório de Curso do Exame Nacional de Desempenho de Estudantes (ENADE). Além desses, serão exemplificados outros indicadores internos e/ou externos que poderão ser incluídos sempre que pertinentes ao curso. Objetiva-se estimular a análise dos resultados de processos avaliativos aos quais foi submetido determinado curso de graduação, organizando as informações e tornando-as acessíveis aos envolvidos com o curso, especialmente às instâncias acadêmicas responsáveis pela formulação de um diagnóstico crítico e sistêmico sobre a execução do Projeto Pedagógico de Curso e, quando for o caso, pela proposição de modificações. O referencial teórico proposto para esta análise fundamenta-se no conceito de avaliação emancipatória, cujo princípio básico é a busca de transformação de uma dada realidade a partir de um processo de avaliação participativo. A elaboração da proposta metodológica foi precedida de pesquisa bibliográfica e documental que a fundamentou teoricamente e, em seguida, foi desenvolvida em caráter experimental em um curso de graduação da UFSCar. Como metodologia para o desenvolvimento da proposta foi utilizada a pesquisa-ação, e como forma de validá-la foi realizada a sessão do grupo focal com os docentes do curso. A ideia central da proposta consiste em coletar, organizar e analisar os indicadores resultantes de processos avaliativos internos e externos de cursos de graduação, organizando as informações em grandes dimensões para um confronto crítico dos resultados oriundos de diversas fontes. Neste trabalho, foi desenvolvida uma planilha piloto que organiza em doze Dimensões os resultados extraídos de diferentes Fontes de Informação, contribuindo assim com uma análise comparativa e crítica sobre cada dimensão avaliada. Os resultados demonstraram que esta proposta metodológica mostrou-se apropriada para subsidiar a análise realizada pelos docentes sobre os resultados das avaliações às quais o curso foi submetido. Ficou evidenciada a importância da multiplicidade de processos avaliativos para a elaboração de um diagnóstico amplo da situação do curso; mais do que isso, verificou-se que o processo de análise das informações organizadas da forma proposta favorece o debate coletivo em torno do Projeto Pedagógico de Curso e incentiva a cultura da avaliação educativa no seu sentido formativo e emancipatório; evidenciou-se, também, a importância da participação de especialista em educação que tenha conhecimento sobre a proposta metodológica e sobre os processos avaliativos