Uncovering hierarchies. Multilevel analysis in evaluation. An analysis of the family education programme Elternchance ist Kinderchance

Die vorliegende Arbeit verwendete die Daten der Evaluation des Bundesprogramms Elternchance ist Kinderchance, um Erkenntnisse zur Genese kindlicher Bildungsergebnisse zu liefern. In Teil 1 der Berechnungen wurde der Einfluss pädagogischer Fachkräfte auf die kindliche Bildung in den begleiteten Familien untersucht. Speziell wurden disparitätsfördernde Wirkungen des Fachkraftverhaltens auf benachteiligte Bevölkerungsgruppen untersucht, um empirische Kenntnisse zur strukturellen Diskriminierung in Deutschland zu gewinnen. Dazu wurde überprüft, inwieweit sich die Variabilität der Effekte familialer Bildungsbenachteiligung, Armutsgefährdung und des Migrationshintergrunds mit Hilfe kontextueller Faktoren in Mehrebenenmodellen vorhersagen lassen. Durch die Verbindung von Eltern- und Fachkraftebene konnte gezeigt werden, dass es signifikante Unterschiede zwischen den Fachkräften in Bezug auf die Wirkungsstärke elterlicher Herkunftsmerkmale gibt. Die Mehrebenenanalyse deckte wirksame protektive Faktoren auf, die strukturelle Nachteile der untersuchten Gruppen nachweislich verringerten. Es zeigte sich, dass die zielgruppenspezifische Sensibilität der Fachkräfte den Einfluss der Armutsgefährdung auf elterliche Ängste vor dem Schuleintritt abschwächen konnte. Für die kulturelle Offenheit der Fachkräfte wurde eine ausgleichende Wirkung auf Benachteiligungen durch den elterlichen Migrationshintergrund hinsichtlich des häuslichen Anregungsgehalts nachgewiesen. Die Häufigkeit angebotener Beratung und Begleitung durch die Fachkräfte erwies sich hingegen als disparitätsfördernder Faktor. Sie beeinflusste das elterliche Stresserleben nur für Eltern höherer Bildungsniveaus förderlich und die sprachliche Entwicklung der Kinder nur für Familien oberhalb der Armutsschwelle. Auch ein negativer Einfluss der Vernetzungskenntnisse der Fachkräfte auf das Vertrauen von Eltern mit Migrationshintergrund zu ihrer Fachkraft wurde belegt. Weitere Faktoren der Eltern und Fachkräfte beeinflussten die kindliche Bildung, jedoch ohne Cross-Level-Interaktionen. Teil 2 der Untersuchung umfasste Mehrebenenanalysen zu Wirkungen des Präventionsprogramms auf den Alltag der teilnehmenden Familien. Es wurde geprüft, unter welchen Kontextbedingungen die Weiterqualifikation besonders wirksam war. Die Untersuchung der Präventionsmaßnahme diente außerdem als Grundlage für die Beurteilung, wie sich Mehrebenenanalysen zur Modellierung von Kontextfaktoren in Evaluationsstudien mit hierarchischen Daten nutzen lassen. Das erziehungsbezogene Kompetenzerleben der Eltern konnte durch die Elternbegleitung umfassender gestärkt werden als in der Kontrollgruppe. Zudem wies die Mehrebenenanalyse eine geringere strukturelle Benachteiligung von Risikogruppen durch Elternbegleiterinnen und Elternbegleiter nach, als es sich in vorigen Berichten andeutete. Unterschiedliche Wirkungen der Arbeit der Fachkräfte je nach elterlichem Hintergrund waren in der Interventionsgruppe in keinem Bereich stärker ausgeprägt. Es gelang der Intervention jedoch nicht, die bereits vorhandenen Ungleichheiten abzubauen. So wurde im Gegensatz zu früheren Ergebnissen in konventionellen Varianzanalysen hinsichtlich des häuslichen Anregungsgehalts und der elterlichen Angst vorm Schuleintritt auch kein Vorteil durch die Elternbegleitung bestätigt. Die Erkenntnisse können zukünftigen Programmen helfen, vorhandene Ressourcen zielgenau auf die wirksamen Elemente der Elternarbeit auszurichten. Die signifikanten Cross-Level-Interaktionen demonstrieren zudem die Realisierbarkeit mehrebenenanalytischer Untersuchungen im Rahmen von Evaluationsstudien, selbst bei schwachen Intraklassen-Korrelationen. Aus den Erfahrungen wurden praktische Empfehlungen zur Planung von Evaluationsstudien mit Mehrebenenanalysen und zur Gestaltung der Dissemination der Ergebnisse abgeleitet.The present work used data from the evaluation of the federal programme Elternchance ist Kinderchance to provide insights into the genesis of children’s educational outcomes. In part 1, the influence of professionals working in the education system on children’s education was examined in the accompanied families. In particular, the effects of different characteristics of professionals that promoted disparities between advantaged and disadvantaged populations were investigated to assess structural discrimination in Germany. For this purpose, it was examined to what extent the variability of the effects of a family’s educational, financial and migration background can be predicted by contextual factors in multilevel models. By combining the parental and professional level, significant differences were demonstrated between the professionals regarding the effects of parental characteristics. The multilevel analysis revealed significant protective factors that reduced structural disadvantages of the examined groups. The professionals’ target group specific sensitivity could reduce the influence of poverty risk on parental concerns before school enrolment. Cultural openness of the professionals had a compensatory effect on disadvantages caused by the parents’ migration background regarding the domestic stimulation. The frequency of counselling and supervision offered by the specialists, on the other hand, proved to be a factor that promotes disparity. It only had a beneficial effect on experienced stress for parents with a higher educational level and on children’s linguistic development only for families above the poverty level. A negative influence of professionals’ networking skills on parental trust was also proven for parents with a migration background. Other factors from both levels influenced children’s education, but without cross-level interactions. Part 2 of the study comprised multilevel analyses of the effects of the prevention programme on the participating families. It was examined under which context conditions the training was particularly effective. The analysis of the prevention also served as a basis for assessing how multilevel analyses can be used to model context factors in evaluation studies with hierarchical data. The training could strengthen the parenting-related self-efficacy compared to the control group. In addition, multilevel analysis showed a lower structural discrimination of high-risk families by the treatment group than indicated in previous evaluation reports of the programme. The differential effects of the professionals’ work depending on parental background were not more pronounced in the intervention group in any examined outcome. However, the intervention also failed to reduce existing inequalities. In contrast to earlier results using conventional analyses of variance, a benefit of the program regarding domestic stimulation and parental concerns before school enrolment, were not confirmed by multilevel analyses. The findings can help future programmes allocate existing resources precisely to effective elements of educational work. The significant cross-level interactions also demonstrate the applicability of multilevel analyses in the context of evaluation studies, even in the case of weak intra-class correlations. Practical recommendations for planning evaluation studies with multilevel analyses and for designing the dissemination of results were derived