Performance markers on the admission exam for candidates to both basic areas and direct access specialties from 2009 to 2016

Introdução: Múltiplas estratégias de avaliação podem ser utilizadas em exames de seleção. É importante a compreensão de como as características pessoais podem influenciar na performance de cada tipo de avaliação. Nosso estudo avaliou a associação entre as características pessoais (sexo, ano de graduação, programa de residência de interesse) e da escola médica de graduação (ano de fundação da escola, localização, privado/pública) com a performance em oito anos do exame de admissão de residência médica de acesso direto Hospital das Clínicas da Universidade de São Paulo. Metodologia: Foram analisados 19.699 candidatos que realizaram as questões dissertativas de respostas curtas (DRC) e 5.475 candidatos que realizaram tanto os DRC quanto a avaliação de habilidades em estilo OSCE (Objective Structured Clinical Examination). Para melhor comparação, as principais análises foram realizadas no último grupo. As notas dos candidatos foram padronizadas em cada ano utilizando z-escores. Utilizamos modelos de regressão logística ordinal para verificar se (a) o desempenho na prova DRC; (b) o desempenho na prova OSCE e (c) a diferença no desempenho entre as provas estavam associados a características individuais e/ou da escola de origem. Resultados: Nos modelos ajustados principais, candidatos do sexo masculino (odds ratio [OR]:1,36; 95% intervalo de confiança [95% IC]:1,23-1,50), graduado no mesmo ano da avaliação (OR:1,61; 95% IC:1,45-1,80), de escolas fundadas antes de 1953 (OR:1,91; 95% IC:1,70-2,15), públicas (OR:2,48; 95% IC:2,16-2,84) situadas em cidades capitais (OR:1,96; 95% IC:1,74-2,21) tiveram performance melhor nos DRC. Candidatos graduados no mesmo ano da avaliação (OR:1,33; 95% IC:1,20-1,48), de escolas antigas (OR:1,83; 95% IC:1,63-2,05), públicas (OR:1,84; 95% IC:1,61-2,10) situadas em capitais (OR:1,49; 95% IC:1,33-1,67) também tiveram melhor performance na prova OSCE, porém, neste caso, a performance não foi afetada pelo sexo do candidato. Após ajuste para o desempenho na prova DRC, candidatos de escolas antigas fundadas antes de 1953 (OR:1,47; 95% IC:1,31-1,66) e públicas (OR:1,19; 95% IC:1,04-1,36) tiveram desempenho melhor na prova OSCE comparado à prova DRC. Conclusões: Foram encontradas diferenças significativas na performance dos candidatos na prova tipo DRC e OSCE de acordo com as características pessoais e da escola médica de graduação. Candidatos que se graduaram no mesmo ano da avaliação, de escolas antigas, públicas e situadas em capitais tiveram melhor performance tanto em DRC quanto em OSCEContext: Multiple strategies of evaluation are used in high-stake exams. It is important to understand which personal characteristics influence the performance of each test strategy. We aimed to study the association between personal (sex, year of graduation, residency program of interest) and medical school (year of medical school foundation, medical school legal status and medical school location) characteristics with test performance in Hospital das Clínicas of Faculdade de Medicina da Universidade de São Paulo, during an eight-year period. Methods: We analyzed data from 19,699 candidates who presented to the short-answer question (SAQ) tests and 5,475 candidates who presented to both SAQ and the Objective Structured Clinical Examination like (OSCE-like) test. For better comparison, main models considered data from the latter. We standardized candidates\' scores within each year to corresponding z-scores. We built ordinal logistic regression models checking if (a) SAQ score, (b) OSCE-like score and (c) the difference in performance between tests was associated to personal and/or medical school characteristics. Results: In main adjusted models, candidates of male sex (odds ratio [OR]:1.36; 95% confidence interval [95%CI]:1.23-1.50), graduated in the same year of the test (OR:1.61; 95% CI:1.45-1.80), funded before 1953 (OR:1.91; 95% CI:1.70-2.15), public schools (OR:2.48; 95%CI:2.16-2.84) in state capitals (OR:1.96; 95% CI:1.74-2.21) had better SAQ performance. Candidates graduated in the same year of the test (OR:1.33; 95% CI:1.20-1.48), from older (OR:1.83; 95% CI:1.63-2.05), public schools (OR:1.84; 95% CI:1.61-2.10) in state capitals (OR:1.49; 95%CI:1.33-1.67) also had better OSCE-like test performance, but, in this case, performance did not differ by sex. When adjusting by the SAQ performance, candidates from schools funded before 1953 (OR:1.47; 95% CI: 1.31-1.66) and public schools (OR:1.19; 95% CI: 1.04-1.36) had better performance on OSCE like test comparing to SAQ test. Conclusions: We found significant differences in candidates\' performances in SAQ and OSCE-like tests according to personal and medical school characteristics. Candidates who graduated in the same year of the test, from older, public schools in state capitals had better performance scores in both SAQ and OSCE-like test