Global rating for medical students in clinical clerkship : comparison between self, faculty and peer assessment

Orientadores: Eliana Martorano Amaral, Angelica Maria Bicudo ZeferinoTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciencias MedicasResumo: Objetivo: Relacionar o Conceito Global Itemizado com o Conceito Geral dos alunos do 4º ano de Medicina, atribuídos por três tipos de avaliadores (docentes, colegas e próprio aluno) e compará-lo com os outros métodos de avaliação das competências esperadas no atendimento em unidade de atenção primária. Sujeitos e métodos: Foram estudadas as notas atribuídas a estudantes do 4º ano (n=106), por docentes (n=19), pelos próprios alunos e por colegas, ao final de um módulo de ensino que se desenvolve em 6 unidades básicas de saúde, sob supervisão de docentes e tutores de Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped). Os docentes forneceram uma nota (0 a 10) que resumia as competências do aluno no semestre, cuja média foi definida como Conceito Geral (CG). Depois de duas semanas, os mesmos docentes preencheram o formulário pré-testado do Conceito Global Itemizado (CGI) para os mesmos alunos, que continha 6 domínios de competências técnicas (CGIt) e 7 de competências humanísticas (CGIh). Os alunos preencheram formulários iguais (de CG e de CGI) para realizar sua auto-avaliação e apenas a parte das competências humanísticas (CGIh) para anonimamente avaliar 3-4 colegas que compunham o seu grupo. Por meio de um instrumento auto-respondido, também expressaram sua opinião sobre o exercício de se auto-avaliar e de avaliar seus colegas. As notas de CGI foram comparadas com notas provindas de outros métodos de avaliação: Provas Teóricas (Pt), Portfólio (Pf) e Avaliação Estruturada (AE). A análise estatística incluiu estatísticas descritivas, análise fatorial, coeficientes de Cronbach, testes de Friedman e de Wilcoxon para dados emparelhados, coeficientes de correlação de Pearson e de Spearman, modelos de análise de variância (ANOVA) e distâncias Euclidianas. Assumiu-se o nível de significância de 5%. Foi utilizado o programa SPSS Versão 10.0. O projeto foi aprovado pelo Comitê de Ética e Pesquisa da instituição. Resultados: Houve predominância de notas elevadas e discriminação reduzida entre os alunos. A consistência interna do questionário de CGI foi elevada para todos os avaliadores (alfa de Cronbach > 0,881). As notas de CG dos alunos foram significativamente inferiores às dos docentes (diferença de medianas = 0,41). As notas de CG foram significativamente inferiores às notas do CGI na avaliação docente (diferença de medianas = 0,13), mas não na auto avaliação e tiveram maior concordância e correlação com as notas de CGIt (r= 0,873 docente, r= 0,715 auto-avaliação) do que com as de CGIh (r= 0,614 docente, r= 0,481 auto-avaliação). As notas de CGIh foram significativamente mais elevadas do que as de CGIt, tanto na auto-avaliação (diferença de medianas = 0,17) quanto na avaliação docente (diferença de medianas = 0,19), com modestas correlações entre elas (r= 0,62 docentes, r= 0,61 auto-avaliação). Os alunos atribuíram notas significativamente mais baixas para os colegas do que para si mesmos (CGIh, diferença de medianas = 0,36). As correlações entre as notas dos três tipos de avaliadores para todos os domínios do CGI foram muito pobres e, em geral, não significativas. As notas dos docentes de Ped foram significativamente inferiores às dos docentes de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02 0.881). Students' GOR ratings were significantly lower than faculties' (median difference = 0.41). GOR ratings were significantly lower than GIR ratings for faculty (median difference = 0.13), but not for self, and showed stronger agreement and correlation with GIRt (r= 0.873 for faculty and r= 0.715 for self) than with GIRh (r= 0.614 for faculty and r= 0.481 for self). GIRh ratings were significantly higher than GIRt (median difference = 0.17 for self and 0.19 for faculty), with modest correlations between them (r= 0.62 for faculty and r= 0.61 for self). Learners attributed lower mean ratings to their fellow students than to themselves (CGIh median difference = 0.36). Correlations between faculty, self and peer scores were very poor in all domains, and generally non significant. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.02<r