Bedarf und Entwicklung eines interaktiven Assessment-Tools für die Kompetenzentwicklung von Studierenden der Medizin im Praktischen Jahr (PJ)

Hintergrund: Die vorliegende Arbeit mit dem Thema „Bedarf und Entwicklung eines interaktiven Assessment-Tools für die Kompetenzentwicklung von Studierenden der Medizin im Praktischen Jahr (PJ)“ betrachtet den letzten von drei Ausbildungsabschnitten im Medizinstudium. In diesem Studienabschnitt sind zuvor erworbene theoretische Grundlagen mit praktischen Erfahrungen zu verknüpfen, um daraus die erforderlichen Kompetenzen für die spätere eigenverantwortliche Berufsausübung zu erlangen. Aktuelle Datenerhebungen zeigen, dass sich Studierende bzw. junge Ärzt:innen nach dem PJ oft nicht gut auf ihre zukünftige Rolle vorbereitet fühlen. Studierenden fehlt es häufig an einer reflektierenden Begleitung durch Ärzt:innen in den Kliniken. Für die Kompetenzentwicklung ist jedoch eine stetige Reflexion des eignen Handelns und ein Abgleich mit den Anforderungen der Umwelt unerlässlich, um die Studierenden zu bestärken bzw. dort, wo es erforderlich ist, in ihrem Handeln zu korrigieren. Hierfür bedarf es eines regelmäßigen und konstruktiven Feedbacks. Mit der verbindlichen Einführung des „Nationalen Kompetenzbasierten Lernzielkatalog Medizin“ (NKLM) im Rahmen der neuen Approbationsordnung, voraussichtlich im Jahr 2026, soll die Medizinausbildung kompetenzorientierter werden. In dem Rahmen gilt es neben der Lehre an den Fakultäten auch das PJ in Kliniken und Praxen für eine kompetenzorientierte Ausbildung der Studierenden zu sensibilisieren, fortzubilden und zu begleiten. Mit der vorliegenden Arbeit soll ein Schritt in diese Richtung gemacht werden. Fragestellung/Hypothese: Mit einer Bedarfsanalyse werden zunächst aus der Sicht der Studierenden erforderliche Verbesserungen erhoben. Dazu werden folgende Fragestellungen überprüft: 1. Wünschen sich Studierende im PJ mehr Möglichkeiten für Feedback und Reflexion? 2. Welche Intervalle halten Studierende für Feedback und Reflexion im PJ für angemessen? 3. Wie oft haben Studierende in den Tertialen Feedback erhalten? 4. Wie wichtig stufen Studierende das im PJ erhaltene Feedback für ihre berufliche Entwicklung ein? 5. Wie gut fühlen sich Studierende nach dem PJ auf ihre zukünftige Rolle als Arzt/Ärztin vorbereitet? Mit den Schlussfolgerungen, die sich aus der Bedarfsanalyse und Literaturrecherchen zu dem Thema ergeben, wird ein Online-PJ-Assessment-Tool (O-P-A-T) entwickelt, welches die Kompetenzentwicklung im PJ durch Reflexion und Feedback steigern soll. Ob dem so ist, wird durch folgende Fragestellungen überprüft: 1. Erfüllen die vom NKLM abgeleiteten Items des O-P-A-T die Kriterien der Itemanalyse? 2. Misst das O-P-A-T reliabel und objektiv? 3. Misst das O-P-A-T valide die Kompetenzentwicklung im PJ? 4. Wird das O-P-A-T den aus der Analyse der gescheiterten Vorgängerversuche abgeleiteten Anforderungen an ein Kompetenz-Assessment-Tool, welche aus der inhaltlichen, der prozessualen, der kulturellen und der wirtschaftlichen Akzeptanz bestehen, gerecht? Material und Methode: Für die Bedarfsanalyse wurde eine Online-Umfrage in der Befragungssoftware Evasys durchgeführt. Nach einer ersten Erhebung 2021 an der Medizinischen Fakultät der Technischen Universität in Dresden (MFD) folgten 2022 neben einer weiteren Umfrage an der MFD ebenfalls Erhebungen an der Ludwig-Maximilians-Universität München (LMU) und der Albert-Ludwigs-Universität Freiburg (ALU). Das aus dem erhobenen Bedarf sowie grundsätzlichen Akzeptanzanforderungen abgeleitete O-P-A-T wird auf der technischen Plattform von eSurvey realisiert. Es basiert auf den NKLM-Kompetenzrollen, die in 13 Items auf einer Skala von 0 bis 100 Prozent eingeschätzt werden können. Studierende haben hiermit die Möglichkeit, ihre Kompetenzentwicklung über das PJ regelmäßig zu reflektieren und Ärzt:innen über das Tool zur Fremdeinschätzung einzuladen. Die Ergebnisse der Selbsteinschätzung werden dem/der Studierenden per E-Mail durch das Tool automatisch zugesandt, die Fremdeinschätzung geht über das Tool an den Arzt/die Ärztin und den/die Studierenden. Aufbauend auf der Selbst- und der Fremdeinschätzung soll ein konstruktives Feedbackgespräch erfolgen, welches durch eine Terminvereinbarungsoption im Rahmen der Fremdeinschätzung ebenfalls durch das O-P-A-T gefördert wird. Die Validierung des O-P-A-T erfolgt über eine Item- und eine Testanalyse. Zudem wird geprüft und diskutiert, inwiefern das O-P-A-T den aufgestellten Anforderungen an ein Kompetenz-Assessment-Tool gerecht wird. Für die Validierung werden die Daten aus der Selbst- und Fremdeinschätzung analysiert sowie Ergebnisse aus den Staatsexamina herangezogen. Zur Feststellung, ob die Anforderungen an ein Kompetenz-Assessment-Tool erfüllt sind, werden Expertenbefragungen, Aussagen aus Studierenden-Umfragen und Evaluationsergebnisse von betreuenden Ärzt:innen, die im Rahmen von Feedbackschulungen erhoben werden, herangezogen und diskutiert. Ergebnisse: Die Bedarfsanalyse (Ngesamt=191) verdeutlicht, dass sich 60,3 % der Studierenden nach dem PJ auf einer Skala von1 (sehr schlecht) bis 5 (sehr gut) nur sehr schlecht bis mittelmäßig auf ihre zukünftige Rolle als Arzt/Ärztin vorbereitet fühlen. Zudem zeigen sich erhebliche Differenzen zwischen dem Bedarf und dem tatsächlich erhaltenen Feedback im PJ. Über alle drei Erhebungsstandorte hinweg wünschen sich 79,4 % der Studierenden mehr Möglichkeiten für Feedback und Reflexion im PJ. 68,4 % der Studierenden stufen das erhaltene Feedback auf einer Skala von 1 (nicht wichtig) bis 5 (sehr wichtig) als wichtig bis sehr wichtig ein und vier von fünf Studierenden (79,4 %) wünschen sich Intervalle von einem Monat oder kürzer für Feedback und Reflexion. Herauszustellen ist zudem, dass standortübergreifend, je nach Tertial 20,7 % - 39,5 % der Studierenden kein Feedback erhalten. Das im Rahmen dieser Arbeit entwickelte O-P-A-T zeichnet sich durch Objektivität, Validität und Reliabilität aus. Objektivität bedeutet im Rahmen des Nutzungszwecks des O-P-A-T eine vom Forschenden unabhängige Durchführung, Auswertung und Interpretation der Ergebnisse. Gleichwohl sind es subjektive Einschätzungen der Studierenden und Ärzt:innen, die ggf. voneinander abweichen können und im Rahmen des auf die Einschätzung folgenden Feedbacks einer Abstimmung bedürfen. Die Reliabilität kann über eine hohe interne Konsistenz bestätigt werden. Im Rahmen der Validitätsprüfung lässt sich eine Inhaltsvalidität nachweisen. Bei der Prüfung der Kriteriumsvalidität können Korrelationen zwischen den Ergebnissen des O-P-A-T und den Ergebnissen des 3. Staatsexamens (M3) festgestellt werden. Eine Vorhersage des M3-Ergebnisses ist durch die O-P-A-T Ergebnisse jedoch nicht möglich. Die Konstruktvalidität lässt sich durch fehlende Korrelationen mit den konstruktfremden M2-Ergebnissen im Rahmen der diskriminanten Validität nachweisen sowie über die faktorielle Validität durch die bereits im Rahmen der Homogenitätsprüfung festgestellten Faktoren. Eine konvergente Konstruktvalidität kann nicht bestätigen werden. Die fehlende konvergente Konstruktvalidität sowie die eingeschränkte Kriteriumsvalidität können dadurch erklärt werden, dass die Prüfungen, mit denen die O-P-A-T-Ergebnisse verglichen werden, noch nicht an den NKLM angepasst sind. Würden hier eindeutige Korrelationen und Regressionen vorliegen, könnte dies sogar ein Indiz dafür sein, dass die Prüfungsanpassung gemäß dem NKLM keinen wesentlichen Mehrwert erbringt. Die herausgestellten Anforderungen an ein Kompetenz-Assessment-Tool können bestätigt werden, wobei die aktuell noch unter den Erwartungen liegenden Nutzungszahlen von 65 Selbst- und 25 Fremdeinschätzungen Handlungsbedarf aufzeigen, der in dieser Arbeit näher erläutert wird. Schlussfolgerung(en): Die Analyse der aktuellen Feedbackkultur im PJ und die damit ermittelte Diskrepanz zwischen erhaltendem und gewünschtem Feedback sowie die festgestellte Unsicherheit, eines wesentlichen Anteils der Studierenden nach dem PJ, verdeutlichen, dass noch erheblicher Verbesserungsbedarf an der Ausgestaltung des PJs besteht. Mit dem Angebot des O-P-A-T wird dem Bedarf nach mehr Feedback und Reflexion im PJ nachgegangen und den Studierenden ein Tool zur Verfügung gestellt, mit welchem sie ihre Kompetenzentwicklung über das gesamte PJ nachvollziehen und ihre Selbstwahrnehmung mit dem erhaltenen Feedback abgleichen können. Dies ermöglicht zum einen eine gezielte Förderung und Kontrolle der Kompetenzentwicklung und zum anderen eine Steigerung der Sicherheit, durch eine Annäherung von Selbst- und Fremdeinschätzung, die über mehrere Mess- und Reflexionszyklen sichtbar werden müsste. Das O-P-A-T kann bereits von Studierenden fakultätsübergreifend genutzt werden, es besteht jedoch noch Verbesserungsbedarf vonseiten der IT, um die Nutzung attraktiver zu machen sowie Optimierungsbedarf auf kommunikativer Ebene.Background: The present work with the topic 'Need and development of an interactive assessment-tool for the competence development of medical students in the practical year (PY)' considers the last of three training phases in medical studies. In this part of the course, previously acquired theoretical basics are to be combined with practical experience in order to acquire the necessary skills for later independent professional practice. Current data collection shows that students and young doctors often do not feel well prepared for their future role after their practical year. Students often lack reflective support from doctors in the clinics. However, constant reflection on one's own actions and a comparison with the requirements of the environment is essential for the development of skills in order to encourage the students or, where necessary, to correct their actions. This requires regular and constructive feedback. With the mandatory introduction of the 'Nationaler Kompetenzbasierter Lernzielkatalog Medizin ' (NKLM) as part of the new licensing regulations, probably in 2026, medical education is to become more competency-oriented. In addition to teaching in the faculties, it is also important to sensitize, train and accompany the practical year in clinics and practices for a competence-oriented education of the students. The present work aims to take a step in this direction. Question/Hypothesis: With a needs analysis, necessary improvements are first identified from the point of view of the students. For this purpose, the following questions are checked: • Do PY students wish for more opportunities for feedback and reflection? • Which intervals do students consider appropriate for feedback and reflection in the practical year? • How often did students receive feedback in the tertials? • How important do students rate the feedback they received during their practical year for their professional development? • How well do students feel prepared for their future role as physicians after their practical year? With the conclusions that result from the needs analysis and literature research on the topic, an Online-PJ-Assessment-Tool (O-P-A-T) is being developed, which is intended to increase the development of skills in the PY through reflection and feedback. The following questions are used to check whether this is the case: • Do the O-P-A-T items derived from the NKLM meet the criteria of the item analysis? • Does the O-P-A-T measure reliably and objectively? • Does the O-P-A-T validly measure the development of competencies in the PY? • Does the O-P-A-T meet the requirements for a competency assessment-tool set out in this work, which consist of content, procedural, cultural and economic acceptance? Material and Method: For the needs analysis, an online survey was carried out using the Evasys survey software. After an initial survey in 2021 at the medical faculty of the Technical University in Dresden (MFD), surveys at the Ludwig Maximilian University of Munich (LMU) and the Albert Ludwig University of Freiburg (ALU) followed in 2022 in addition to another survey at the MFD. The O-P-A-T derived from the surveyed needs and basic acceptance requirements is implemented on the eSurvey technical platform. It is based on the NKLM competency roles, which can be assessed in 13 items on a scale from 0 to 100 percent. This gives students the opportunity to regularly reflect on the development of their skills through the PY and to invite doctors to use the external assessment-tool. The results of the self-assessment are automatically emailed to the student by the tool, the external assessment is sent to the doctor and the student via the tool. Based on the self-assessment and the external assessment, a constructive feedback discussion should take place, which is also supported by the O-P-A-T by making an appointment as part of the external assessment. The O-P-A-T is validated using an item and test analysis. In addition, the extent to which the O-P-A-T meets the requirements for a competency assessment-tool will be examined and discussed. For the validation, the data from the self-assessment and external assessment are analyzed and the results from the state examinations are used. To determine whether the requirements for a competence assessment-tool are met, expert surveys, statements from student surveys and evaluation results from supervising doctors, which are collected as part of feedback training, are used and discussed. Results: The needs analysis (Ntotal=191) makes it clear that 60.3% of the students feel only very poorly to moderately prepared for their future role as a doctor on a scale from 1 (very bad) to 5 (very good) after their practical year. In addition, there are considerable differences between the need and the feedback actually received in the practical year. Across all three survey locations, 79.4% of the students would like more opportunities for feedback and reflection in the practical year. 68.4% of the students rate the feedback received as important to very important on a scale from 1 (not important) to 5 (very important) and four out of five students (79.4%) would like intervals of one month or less for feedback and reflection. It should also be emphasized that, depending on the tertial, 20.7% - 39.5% of the students received no feedback across all locations. The O-P-A-T developed as part of this work is characterized by objectivity, validity and reliability. Within the scope of the purpose of use of the O-P-A-T, objectivity means carrying out, evaluating and interpreting the results independently of the researcher. Nevertheless, these are subjective assessments by the students and doctors, which may deviate from each other and require a vote in the context of the feedback that follows the assessment. The reliability can be confirmed by a high internal consistency. Content validity can be verified as part of the validity check. When checking the criterion validity, correlations between the results of the O-P-A-T and the results of the 3rd state examination (M3) can be determined. However, the O-P-A-T results cannot predict the M3 result. The construct validity can be demonstrated by missing correlations with the M2 results that are not related to the construct within the framework of the discriminant validity as well as via the factorial validity through the factors already determined within the framework of the homogeneity test. Convergent construct validity cannot be confirmed. The lack of convergent construct validity and the limited criterion validity can be explained by the fact that the tests used to compare the O-P-A-T results have not yet been adapted to the NKLM. If there were clear correlations and regressions here, this could even be an indication that the test adaptation according to the NKLM does not bring any significant added value. The requirements placed on a competence assessment-tool can be confirmed, whereby the usage figures of 65 self-assessments and 25 external assessments, which are currently below expectations, show a need for action, which is explained in more detail in this work. Conclusions: The analysis of the current feedback culture in the practical year and the resulting discrepancy between received and desired feedback as well as the ascertained uncertainty of a significant proportion of the students after the practical year make it clear that there is still a considerable need for improvement in the design of the practical year. The O-P-A-T-offer responses the need for more feedback and reflection during the PY and provides students with a tool that they can use to understand the development of their skills throughout the PY and to compare their self-perception with the feedback received. On the one hand, this enables a targeted promotion and control of competence development and, on the other hand, an increase in security through a convergence of self-assessment and external assessment, which should become visible over several measurement and reflection cycles. The O-P-A-T can already be used by students across faculties, but there is still room for improvement on the part of IT to make it more attractive to use and there is a need for optimization on a communicative level