Difficultés de correction d’une épreuve d’analyse critique d’article scientifique : une étude exploratoire

Contexte : L’apprentissage de la lecture critique d’article est évalué dans notre faculté par une épreuve comportant la réalisation d’un résumé d’article. Les résultats obtenus par les étudiants lors des premières éditions de cette épreuve n’étaient apparemment pas corrélés à leur niveau et n’étaient pas reproductibles d’une épreuve à l’autre. Ceci nous a fait suspecter des difficultés de correction de l’épreuve. Méthode : 20 copies ont été tirées au sort et évaluées par 5 correcteurs à l’aide d’une même grille. Nous avons calculé, pour chaque copie, la moyenne des 5 scores obtenues et calculé un pourcentage de variation. Nous avons comparé les 5 correcteurs en calculant pour chacun d’eux la moyenne des 20 scores qu’ils avaient attribués. La concordance entre les différents examinateurs a été étudiée grâce au test de Kendall. Les analyses ont été réitérées avec une deuxième grille de correction plus détaillée. Les pourcentages de variation observés avec chacune des deux grilles ont été comparés par un test du X2. Résultats : Les scores varient de 45 % (extrêmes 17 à 88 %) selon le correcteur avec la première grille, et de 32 % (10 à 60 %) avec la deuxième grille. Les correcteurs sont cependant concordants dans le classement des copies (p < 0,001). Le pourcentage de variation inter-correcteur des scores est significativement réduit avec la deuxième grille (p < 0,01). Conclusion : La réalisation d’un résumé à partir d’un article est une épreuve difficile à corriger. L’utilisation d’une grille de correction, même si elle est détaillée, laisse persister des variations entre correcteurs