Standard-Setting für Kompetenztests im Large-Scale-Assessment. Projekt Standardsetting

Die 2003 von der Kultusministerkonferenz beschlossenen Bildungsstandards gelten verbindlich in allen Bundesländern und sollen den Aufbau eines auf Leistungsmessungen basierenden Systems der Rechenschaftslegung auf der Ebene der Länder ermöglichen. Das Erreichen der Bildungsstandards für die Fächer Englisch, Französisch und Deutsch wurde 2009 das erste Mal durch das Institut zur Qualitätsentwicklung im Bildungswesen (IQB) bundesweit überprüft. Im Large-Scale-Assessment gilt es als essentiell, das standardbezogene Ruckmeldeformate gegenüber verschiedenen gesellschaftlichen Akteuren einfach zu kommunizieren sind. Zu diesem Zweck werden an Stelle von Ergebnisdarstellungen, die sich auf Testrohwerte beziehen (z.B. Mittelwerte und Streuungsmaße) Ruckmeldeformate präferiert, die die Verteilung von Schülerleistungen auf kategorial gestuften Kompetenzskalen abbilden (Beispiel: „Das Kompetenzniveau B1 einer selbständigen Sprachverwendung in einer Fremdsprache wird zum Zeitpunkt des Mittleren Schulabschlusses von 60% der Schuler/innen erreicht“). Die Setzung von Schwellenwerten (Cut-Scores), durch die benachbarte Kategorien auf einer kontinuierlichen Testwertskala abgegrenzt werden, stellt daher ein wichtiges Transformationsmoment zwischen fachdidaktisch und psychometrisch fundierter Kompetenzmessung einerseits und politischer und administrativer Verwertbarkeit andererseits dar. Das prozedurale Vorgehen bei der Festlegung von Cut-Scores auf einer kontinuierlichen Leistungstestskala wird als Standard-Setting bezeichnet. Das vorliegende Projekt geht – am Beispiel der Kompetenzstufenmodelle für die rezeptiven Kompetenzen Leseverständnis und Hörverständnis in Englisch als erster Fremdsprache – der Frage nach, welche Standard-Setting-Varianten valide Cut-Scores bzw. sich daraus ergebende Kompetenzniveaueinteilungen generieren. In den folgenden Abschnitten werden die gängigsten Verfahren zum Standard-Setting, das zugrunde liegende Validitätskonzept sowie die Ziele des vorliegenden Projektes erläutert. (DIPF/Orig.