Evaluation der ärztlichen Ausbildung [Evaluation of medical education]

[english] Background: The importance of evaluation is increasing, not only in medical education. Apart from giving feedback to the teachers the results of evaluations can be used for allocation of educational funds. At the medical faculty of the University of Hamburg the evaluation of medical education has been performed since ten years. Results: An analysis of the Hamburg experience in the standardized evaluation of medical education shows a series of problems. 1. The cumulative evaluation of curriculum parts tends to turn out different than the detailed evaluation of its consisting parts. 2. Theoretical courses tend to be assessed worse than clinical courses - irrespective of their real quality. The reason for this "handicap" of theoretical courses is that students tend to rate their benefit for clinical practice lower. 3. There are differences between prompt and delayed assessments of the same courses. 4. Students' assessment also depends on the stage of their training and on the didactic type of the evaluated course. Conclusion: Ranking of courses should be performed with caution. To improve reliability and validity of results the following suggestions are made: 1. Results of cumulative evaluation of curriculum parts should be interpreted with care. 2. Unequal opportunities of theoretical and clinical courses to gain good results should be considered. 3. Repeated assessments and longitudinal comparisons are essential. 4. Comparisons should be made only between similar didactical types of courses. 5. Results should be analysed with respect to their possible causes, preferably by mixed evaluation commissions. 6. It is recommended to evaluate aspects of process quality rather than of result quality. [german] Hintergrund: Die Evaluation von Lehrveranstaltungen und curricularen Abschnitten durch Studierende nimmt nicht nur in der ärztlichen Ausbildung zu. Neben der Rückmeldung an die Dozenten können die Ergebnisse eine wichtige Basis für budgetäre Allokationsentscheidungen in der Lehre bilden. An der Medizinischen Fakultät der Universität Hamburg wurden seit zehn Jahren Erfahrungen mit der Evaluation von Lehrveranstaltungen gesammelt. Ergebnisse: Eine Analyse der Hamburger Erfahrungen zeigt, dass die Ergebnisse standardisierter Evaluationen der ärztlichen Ausbildung eine Reihe von Problemen in sich bergen: 1. Die Gesamtbeurteilung eines Studienabschnitts scheint anders auszufallen als die Beurteilung der darin enthaltenen einzelnen Veranstaltungen. 2. Theoretische bzw. patientenferne Fächer werden - in der Regel unabhängig von deren tatsächlicher Qualität - insgesamt negativer beurteilt als klinische Fächer. Grund dafür ist wahrscheinlich der als geringer eingeschätzte Nutzen der patientenfernen Fächer für die klinische Berufstätigkeit. 3. Es zeigen sich Unterschiede zwischen zeitnahen und zeitfernen Veranstaltungsevaluationen. 4. Die Bewertung durch Studierende ist weiterhin abhängig von deren Studiendauer sowie von der Veranstaltungsform. Schlussfolgerung: Beim Ranking von Fächern und Veranstaltungen ist Vorsicht geboten. Zur Verbesserung der Interpretationssicherheit können folgende Empfehlungen gegeben werden: 1. Aus Gesamtbeurteilungen sollte nur mit Vorsicht auf die einzelnen Veranstaltungen geschlossen werden. 2. Beim Ranking sind "Handicaps" der theoretischen bzw. patientenfernen Fächer zu bedenken. 3. Mehrfachmessungen und Längsschnittvergleiche sind unerlässlich. 4. Vergleiche sollten nur bei vergleichbaren Einheiten (z.B. Veranstaltungstypen) vorgenommen werden. 5. Empirisch gefundene Unterschiede sind immer auf ihre Ursachenbündel zu untersuchen, am besten von gemischten Evaluationskommissionen. 6. Erhebungen zur Prozessqualität von Veranstaltungen sind brauchbarer als solche zur Ergebnisqualität