Testreihenfolgeneffekte bei Persönlichkeits- und Leistungsdiagnostik in realen Auswahlsituationen

Immer häufiger werden bei Personalauswahlprozessen im Unternehmenskontext umfangreiche computerisierte Testbatterien verwendet. Zur Klärung selektionsdiagnostischer Fragestellungen werden dafür unterschiedliche psychologisch diagnostische Verfahren zur Erfassung eines dem Anforderungsprofil entsprechenden Spektrums an Eigenschaften kombiniert. Aus praktischen oder organisatorischen Gründen werden dabei gelegentlich Testreihenfolgen variiert. Mögliche ergebnisrelevante Konsequenzen dieser Praxis bleiben dabei jedoch oftmals unbeachtet – wohl auch, weil bisher nur wenige Studien zu diesem Thema durchgeführt wurden. Dass Reihenfolgeneffekte auf Itemebene ein evidentes Problem darstellen, ist hinlänglich bekannt und gut dokumentiert (vgl. z.B. Knowles, 1988; Smith, 1992; Hartig & Hinrichs, 2002; Hartig, Hölzl & Moosbrugger, 2007). In Hinblick auf Variationen von Testreihenfolgen wurde bereits gezeigt, dass etwa die Bearbeitung kognitiver Leistungstests einen Einfluss auf die darauffolgende Bearbeitung von Persönlichkeitsfragebögen (Hambros, 2002) und Objektiven Persönlichkeitstests (Khorramdel & Frebort, 2011) haben kann. Wiederholt finden sich auch Arbeiten zu den ergebnisrelevanten Konsequenzen einer Reihenfolgenvariation bei Persönlichkeitsfragebögen und Leistungstests (Eiselt, 1991; Eisenhauer, 2008). Die vorliegende Arbeit geht systematisch und zielgerichtet der Fragestellung nach, ob die von Khorramdel und Frebort (2011) und Khorramdel (2010) gefundenen gegensätzlichen Ergebnisse auf die verwendeten Matrizentests zurückgeführt werden können. Hierzu wurde wie in diesen beiden Vorgängerstudien ein Experiment an 70 Bewerbern für ein Trainee-Programm der Österreichischen Bundesbahnen (ÖBB) mit zwei alternativen Testreihenfolgen, bestehend aus kognitiven Leistungstests und objektiven Persönlichkeitstests, durchgeführt. Sämtliche mit den verwendeten Verfahren erhobenen Kennwerte wurden mit einer multivariaten Varianzanalyse auf Gruppenunterschiede untersucht. Ein Haupteffekt der Testreihenfolge konnte nicht nachgewiesen werden (p = 0,998). Anhand dieser Ergebnisse wird eine Systematisierung von Testreihenfolgeneffekten anhand unterschiedlicher Typen psychologisch diagnostischer Verfahren und deren Kombination unter Berücksichtigung relevanter Stichprobeneigenschaften erarbeitet.The increasing utilisation of computerised test batteries in personnel selection processes in organisational settings is becoming more evident. A wide variety of psychological assessment tools for selection purposes are available and used to determine the capability and suitability of the applicants according to a predefined requirement profile. Due to practical or organisational reasons, sometimes test sequences within these computer test batteries are varied. Consequences with relevance to the assessment results remain mostly unaccounted for – as of yet only few studies have addressed this topic. There is strong evidence for order effects on item and subtest level in literature (e.g. Knowles, 1988; Smith, 1992; Hartig & Hinrichs, 2002; Hartig, Hölzl & Moosbrugger, 2007). In respect to test sequence it has been shown for example that working on cognitive ability tests influences the performance on subsequently presented personality questionnaires (Hambros, 2002) and objective personality tests (Khorramdel & Frebort, 2011). The influence of order effects on test scores has also been shown repeatedly by variations of test sequences within test batteries consisting of personality questionnaires and ability tests (Eiselt, 1991; Eisenhauer, 2008). The present study systematically investigates whether the inconsistent findings of Khorramdel and Frebort (2011) and Khorramdel (2010) can be attributed to different matrices tests. The present study continues the works of Khorramdel and Frebort (2011) and Khorramdel (2010) by administering two different test orders within a computer test battery consisting of cognitive ability tests and objective personality test in a similar experimental design. There sample consists of 70 applicants for a management-trainee-programme of the Austrian Federal Railways (ÖBB) that took part in an evaluation of their professional potential. All gathered data was analysed by using a multivariate analysis of variance to test for mean differences between experimental groups. No significant main effect of the test order variation could be found (p = 0,998). Based on the present studies results and previous findings a systemisation of test order effects depending on the type of assessment tool and the combination of different tools in respect to relevant sample characteristics is proposed