A comparison between factor analysis and item response theory modeling in scale analysis

We vergelijken factoranalyse (FA) en item-responstheorie (IRT) (a) theoretisch door de modeldefinities en de meest gebruikte schattingsmethoden te bestuderen, (b) empirisch door wetenschappelijke artikelen te bespreken waarin schaalanalyse wordt toegepast, (c) op het gebied van modelschatting met een simulatieonderzoek om de robuustheid van elke methode tegen schendingen van verdelingsassumpties te onderzoeken en (c) in de praktijk door de methodes toe te passen op empirische datasets.De invloed van de latente variabele (LV) verdeling, de item-responsverdeling, de schaalsterkte en de steekproefomvang wordt onderzocht door vier schaalmodellen (FA van de steekproefcovariantiematrix met een meest aannemelijke schattingsmethode (FA-lin), FA van de geschatte polychorische-correlatiematrix met een 'mean-and-variance adjusted weighted least squares' schattingsmethode (FA-poly), het 'graded response' IRT-model met een robuuste meest aannemelijke schattingsmethode (IRT-grm) en het niet-parametrische Mokken IRT-model (IRT-mok)) toe te passen op gegenereerde datasets.FA-poly en IRT-grm doen het allebei goed in geval van normaal verdeelde data. Bij een scheefnormale LV verslechteren de resultaten van alle parametrische modellen ten opzichte van de condities met normale LVs, met name wanneer de verdelingen van de items ook scheef zijn. IRT-grm vertoont dan de beste resultaten. IRT-mok is robuust tegen niet-normale LV- of itemverdelingen.We geven een aantal praktische richtlijnen voor het toepassen van de schaalmodellen: kies een voldoende grote steekproefomvang, maakgebruik van inhoudelijke kennis over de schaal, bestudeer de verdeling van de steekproefgegevens zorgvuldig, selecteer op basis hiervan een schaalmodel, ga de passing van het model na en gebruik LV-scores op basis van geschatte modelparameters voor vervolganalyses.Factor analysis (FA) and item response theory (IRT) modeling are compared (a) theoretically by examining the model definitions and considering the most commonly applied estimation methods for the models, (b) empirically by reviewing journal articles on scaling research to show what is actually done in practice, (c) in model estimation performance by means of a Monte Carlo simulation study to investigate the robustness of either approach against violations of distributional assumptions, and (d) in practice by applying the models to empirical data sets.In a simulation study, the effects of four explanatory variables (latent variable (LV) distribution, item response distribution, scale strength, and sample size) on model estimation are investigated by applying four selected scaling models on samples of generated data: FA of the sample covariance matrix (FA-lin), FA of the estimated polychoric correlation matrix (FA-poly), the graded response IRT model (IRT-grm), and the nonparametric Mokken IRT model extended to polytomous items (IRT-mok).For normal data it is shown that both FA-poly and IRT-grm perform well. Under conditions of a skew-normal LV, the performance of all parametric models deteriorates compared to normal LV conditions, most notably when combined with skewed item variables. IRT-grm performs best in such circumstances. Nonnormal LV and item distributions do not pose any estimation problems for IRT-mok.Guidelines are provided for applied researchers employing scale analysis: Take a large enough sample size, use available substantive knowledge, inspect the sample data, choose a model based on specific characteristics of the data, assess model fit, and use model-estimated LV scores