Evaluation from a systems theory perspective. An empirical analysis for the classification of stakeholder-specific expectation styles

Untersuchungsgegenstand der vorliegenden Arbeit ist die Evaluationspraxis, welche als Bindeglied zwischen pädagogischer Theorie und Praxis verstanden wird. Es wird eine theoretische Betrachtung eines umfangreichen Evaluationsprojekts vorgenommen. Hierfür wird zunächst eine Sekundäranalyse bestehender empirischer Daten einer sechsjährigen Evaluation durchgeführt und anschließend die Evaluationspraxis aus einer Metaperspektive kritisch betrachtet. Ausgehend von der Theorie sozialer Systeme nach Luhmann (1984) werden drei Fragestellungen fokussiert, welche sich auf den Transfer und die Implementation von Evaluationsbefunden beziehen. Zunächst wird geprüft, ob sich die systemtheoretische Differenzierung von kognitiver und normativer Modalisierung von Erwartungen datengestützt nachweisen lässt. Daraufhin werden Veränderungen der Erwartungsstile über die Zeit betrachtet. Abschließend werden systemspezifische Logiken und deren Einfluss auf den Evaluationsprozess einerseits und die Nutzung von Evaluationsbefunden andererseits fokussiert. Zur Untersuchung der Forschungsfragen wird das empirische Material der sechsjährigen Evaluation des kommunalen Förderprogramms „Mannheimer Unterstützungssystem Schule“ herangezogen. Die qualitativen Daten der wissenschaftlichen Begleitung werden anhand der qualitativen Inhaltsanalyse nach Mayring (2015) ausgewertet, bestehende quantitative Ergebnisse werden ergänzend einbezogen. Die zentralen Befunde der Arbeit zeigen, dass über die Zusammenführung der Theorie sozialer Systeme nach Luhmann (1984) und empirischem Datenmaterial wesentliche Prozesse und Strukturen der Evaluationspraxis in gewissem Maß systematisch entflochten werden können. Als zwei entscheidende Faktoren gelingender Evaluation stellen sich dabei zum einen der Erwartungsstil der Systeme und zum anderen die strukturelle Kopplung zwischen evaluierendem und evaluiertem System heraus.The thesis’ objective is to research evaluation practice, which is understood as a link between pedagogical theory and practice. A theoretical examination of an extensive evaluation project is undertaken. For this purpose, a secondary analysis of existing empirical data of a six-year evaluation is carried out. The evaluation practice is subsequently viewed critically from a metaperspective. Based on the theory of social systems according to Luhmann (1984), three questions relating to the transfer and implementation of evaluation findings are focused on. First, it is examined whether the system-theoretical differentiation of cognitive and normative modalization of expectations can be demonstrated in a data-based manner. Secondly, changes in expectation styles over time are considered. Finally, system-specific logics and their influence on the evaluation process on the one hand and the use of evaluation findings on the other are focused on. The basis for this research is the empirical material of the six-year evaluation of the municipal support program “Mannheimer Unterstützungssystem Schule”. The qualitative data gathered as part of that evaluation is analyzed using qualitative content analysis according to Mayring (2015) and supported by existing quantitative results. The central findings of this thesis show, that by bringing together Luhmann’s (1984) theory of social systems with empirical data material, essential processes and structures of evaluation practice can, to a certain extent, be systematically unraveled. Two decisive factors for successful evaluation are the expectation style of the systems as well as the structural coupling between the evaluating and the evaluated system