Introduction of the concept and quantification of measurement uncertainty based on Bayesian statistics to psychological practice, exemplified by personnel selection and potential rating through assessment centers

Die mit Urteils- und Entscheidungsprozessen aufgrund unzureichender Information immer verbundene Unsicherheit bildet ein ernstes Problem hinsichtlich der Qualität der Beurteilung oder des Risikos einer Fehlentscheidung. Das gilt exemplarisch für die Personalauswahl und Potenzialbeurteilung durch Assessment Center (AC). Um die Unsicherheit zu quantifizieren, wird der in der physikalischen Messtechnik gebräuchliche, international genormte Begriff der Messunsicherheit interdisziplinär auf die psychologische Praxis übertragen. Die Messunsicherheit fußt auf der Bayes'schen Statistik und drückt den Kenntnismangel einer physikalischen Messgröße und damit die Genauigkeit einer Messung oder die Qualität eines Messergebnisses quantitativ aus. Bei der Übertragung werden zu bewertende Merkmale von Personen oder Alternativen in Analogie zu physikalischen Messgrößen betrachtet. Daraus folgt ein Auswerteverfahren für die Daten aus einem Urteils- oder Entscheidungsprozess, z.B. einem aktuellen AC, das EDV-Anwendung erlaubt und zu den Ergebnissen der Merkmalsbewertungen jeweils auch die Unsicherheiten liefert, was den kritischen Vergleich unterschiedlicher Ergebnisse zu einem Merkmal erleichtert. Außerdem lassen sich bei genügend umfangreichem Datenmaterial Unsicherheitskennwerte berechnen, die konventionell ermittelte Korrelationskoeffizienten zur Beurteilung der Konstruktvalidität eines AC ergänzen können. Das Auswerteverfahren wird anhand von drei AC-Serien mit vielen Teilnehmern evaluiert.The uncertainty, always connected with assessment and decision processes due to insufficient information, is a severe problem with regard to the quality of assessment or the risk of a wrong decision. This applies particularly to personnel selection and potential rating through assessment centers (AC). To quantify the uncertainty, the concept of measurement uncertainty, commonly used in physical metrology and internationally standardized, is interdisciplinarily transferred to psychological practice. The measurement uncertainty is based on Bayesian statistics and quantitatively expresses the lack of knowledge of a physical measurand and, thus, the accuracy of a measurement or the quality of a measurement result. The transfer is performed by treating attributes to be rated of persons or alternatives by analogy to physical measurands. This results in a procedure for analyzing the data obtained from an assessment or decision process, for instance, a current AC. This procedure enables electronic data processing to be applied and provides not only the results of attribute rating but also the uncertainties associated with them. These facilitate a critical comparison of different results of an attribute. Moreover, if sufficient data material is available, characteristic uncertainty values can be calculated for assessing the construct validity of an AC in addition to correlation coefficients obtained in a conventional way. The analyzing procedure is evaluated using three AC series with many participants