Script Concordance Test: a new method to measure development of competencies in critcal clincal thinking of medical students in pediatrics

Einleitung Die Prüfungen im universitären Umfeld bestehen in der studentischen Ausbildung zum großen Teil aus Multiple-Choice-Fragen. Dieses Format überprüft medizinisches Faktenwissen. Medizinische Handlungspraxis basiert neben dem theoretischen medizinischen Fachwissen auf unterschiedlichen Kompetenzen. Eine davon ist das klinisch-differentialdiagnostische Denken. Das Ziel dieser Studie ist die Überprüfung der Eignung des Skript Konkordanz Tests (SKT) als neues Prüfungsinstrument für die Messung der Kompetenz des klinisch- differentialdiagnostischen Denkens, im Fach der Kinderheilkunde bei Studierenden der Humanmedizin. Es soll überprüft werden inwiefern eine Beziehung zwischen dem Grad der Ausprägung klinischen Experten_innen-Wissens der Dozierenden und dem Abschneiden der Studierendengruppen dieser Dozierenden im SKT besteht. Methodik In einem Workshop wurde ein Fragenkatalog mit 150 Fragen aus den elf Fachbereichen des OHCs für Studierende des Blockpraktikums im sechsten klinischen Semesters (Regelstudiengang) entwickelt. Im Wintersemester 2008/2009 wurde eine prospektive Kohortenstudie durchgeführt. Alle 50 Dozierenden haben die Fragen freiwillig beantwortet. Die Ergebnisse des SKT wurden mit den Ergebnissen der MC-Klausur (Sommersemester 2008) verglichen. Die Ergebnisse der Dozierenden wurden korreliert mit den Ergebnissen der von Ihnen betreuten Gruppen. Ergebnisse 287 Studierende nahmen an der semesterübergreifenden auf Multiple Choice Fragen basierenden Abschlussklausur des fünften klinischen Semesters im Sommersemester 2008 teil. Von diesen nahmen 232 am Skript-Konkordanz Test des folgenden sechsten klinischen Semesters teil (Wintersemester 2008/2009). 64% von ihnen waren weiblich, 36% männlich. Alle 51 Dozenten, die im Blockpraktikum des Wintersemesters 2008/2009 unterrichteten nahmen freiwillig teil. Die SK- Testergebnisse der Studierenden lagen zwischen 49 und 95 Prozent der erreichbaren Punkte, mit einem Mittelwert von 80,4 Prozent. In der MC- Klausur erreichten die Studierenden Werte zwischen 12 und 38 von 39 erreichbaren (Mittelwert 30 Punkte) Punkten. Die Dozierenden erreichten Ergebnisse zwischen 63 und 96 Prozent im SKT (Mittelwert 82,5 Prozent). Der SKT erreichte bei den Studierenden einen optimierten Realiabilitätskoeffizienten, ausgedrückt durch den Faktor Cronbach Alpha von 0,72. (MC-Klausur 0,76). Die Korrelationskoeffizienten (r=0,11 r=0,04) der MC-Klausur und dem SKT waren statisch nicht signifikant. Der Vergleich der Mittelwerte der Dozierenden und Studierenden ergab einen statistisch signifikanten Unterschied, insbesondere unter Berücksichtigung des Einflusses der Dozierenden auf das Ergebnis ihrer Gruppe (r=0,55, p<0,001). Schlußfolgerung Der SK-Test erfüllt durch seine hohen Reliabilitäts- und Validitätswerte die Anforderungen, die an eine notengebenden Prüfung gerichtet werden. Der SKT unterscheidet zudem signifikat zwischen Studierenden und Dozierenden. Die schwache Korrelation zwischen den Ergebnissen der MC-Klausur und dem SKT ist ein Hinweis auf die unterschiedlichen Wissensdomänen sein, die von den beiden Formaten gemessen werden.Introduction Examinations in undergraduate medical education consist to a large extent of Multiple Choice Questions. Clinical reasoning represents one core competency addressed by undergraduate medical education. Aim of this study is to approve the appropriateness of a tool to assess clinical reasoning competence, the Script Concordance Test (SCT). It aims to find validity for the test as a tool to assess clinical reasoning competency by a large group of medical students related to the grade of competence of clinical experts from the same department. Methods A workshop was held to define a pool of 150 SCT- questions was developed, based on the learning objectives in eleven pediatric subspecialities. A prospective cohort study was conducted with all students of the sixth clinical semester during winter semester 2008/2009. Scores of the SCT were compared to student’s MCQ-scores. Scores of the teachers’ group were compared to those of their students to analyze their influence on the development of clinical reasoning competence during the course. Results 287 students took part in the obligatory MC-assessment in summer semester 2008 of whom 232 took part in the SCT in winter semester 2008/2009 at the end of the “Blockpraktikum Pädiatrie” course (64 percent female, 36 percent male). All 51 teachers of the course took part in SCT test. The SCT results of all students were correlated to their MC-test results (summer semester 2008) and to the results of their groups’ teachers results. The scores on the SCT of the students ranged from 49 to 95 percent (mean 80,4 percent). Teachers scores ranged from 63 to 96 percent (mean 82,5 percent). The optimized reliability of the SCT scores, using Cronbach’s alpha, was 0.72, of the MC test 0,76. The student’s correlations between the scores of the SC-Test and the MC-Test results were with r= 0,11 and r=0,04 statistically non-significant. Correlation between students’ and teachers’ mean scores was significant (r=0,55, p