Multilevel Models for the Analysis of Comparative Survey Data: Common Problems and Some Solutions

This paper provides an overview over the application of mixed models (multilevel models) to comparative survey data where the context units of interest are countries. Such analyses have gained much popularity in the last two decades but they also come with avariety of challenges, some of which are discussed here. Afocus lies on the small-Nproblem, influential cases (outliers) and the issue of omitted variables at the country level. Summarizing the methodological literature, the paper provides recommendations for applied researchers when possible or otherwise points to the more detailed literature. Some solutions for the small-Nproblem and omitted variable bias are discussed in detail, recommending the pooling of multiple survey waves to increase statistical power and to allow for the estimation of within-country effects, thereby controlling for unobserved heterogeneity. All issues are illustrated using an empirical example with data from the European Social Survey. The online appendix provides detailed syntax to adopt the presented procedures to researchers' own data. ZusammenfassungDie vorliegende Arbeit bietet einen uberblick uber die Anwendung von Mehrebenenmodellen auf international vergleichende Umfragedaten. Mehrebenenanalysen, in denen die relevanten Kontexteinheiten Lander sind, haben in den letzten 2Jahrzehnten eine weite Verbreitung gefunden, sind allerdings aus statistischer Perspektive in einigen Aspekten problematisch. Dieser Artikel zielt auf einige der Probleme ab, die bei der Anwendung von Mehrebenenanalysen auf internationale Umfragedaten auftreten. Ein Fokus liegt dabei auf dem small-N-Problem, einflussreichen Fallen (Ausrei ss ern) und dem Problem unbeobachteter Heterogenitat auf der Landerebene. Dieser Beitrag bietet eine Zusammenfassung der methodischen Literatur zu Mehrebenenmodellen und versucht, in Forschung Tatigen moglichst konkrete Empfehlungen zu geben oder - wo dies nicht moglich ist - auf die tiefergehende Literatur zu verweisen. Losungsansatze fur das small-N-Problem und das Problem unbeobachteter Heterogenitat werden im Detail diskutiert. Aus dieser Diskussion ergibt sich die Empfehlung, vorhandene Wellen international vergleichender Umfragedaten zu poolen. Zur Illustration verwendet dieser Artikel ein empirisches Beispiel auf Basis der Daten des European Social Survey. Der Online-Anhang enthalt zu diesen Beispielen eine detaillierte Syntax, die sich leicht fur andere Daten und Forschungsfragen anpassen lasst