Comparison of Estimation of Total Score and Subscores with Hierarchical Item Response Theory Models

In this study, the relationship between subtest and total test was investigated by using hierarchical item response theory models in order to contribute to reliable subtest and total test score estimates. The RMSE and reliability of the total test score and subtest scores estimated by the Higher Order, Bi-factor and hierarchical MIRT models in the study were compared under the conditions of the size of the correlations between the subtest number, subtest length and number of subtests. In addition, the performance of three models used in the research was examined on TEOG 2015 data. To generate data sets based on the item parameters of the TEOG 2015 data, item discrimination parameters were drawn from normal distribution with a mean of 1.5 and a variance of 0.5; item difficulty parameters were drawn from normal distribution with a mean of 0.0 and a variance of 1.0, and guessing (lower asymptote) parameters were drawn from beta distribution with (6,16). The true subtest abilities were drawn from a multivariate normal distribution with variance-covariance matrix based on the correlations between the dimensions explained under simulation conditions. Finally, given subtest abilities and item parameters, binary responses were simulated for number of subtest (2,3), subtest length (20,30,40) and correlation between subtest (0.0, 0.3, 0.5, 0.8) by SimuMIRT software. The simulated data and TEOG 2015 data was analyzed by BMIRT software. For the parameter estimates, 3PL model and MCMC estimation method are used. As a result of the study, in almost all conditions, the correlation between the subtest length and the subtests increased, the RMSE of the ability parameters decreased and the reliability increased for the total test score obtained from the three estimation models. For all test scores, the Hierarchical MIRT model yielded the lowest RMSE value and highest reliability value under all conditions. In addition, all models estimated RMSE and reliability values close to each other at 0.8 level of correlation. The RMSE values of the ability parameters for the subtest scores in two and three dimensional data were found to be not affected by the correlation level between the subtests while the subtest length decreased in the Hierarchical MIRT model; were found to decrease as the correlation between subtest length and subtest in the Higher Order model and were found to decrease as the subtest length increased, but significantly increased as the correlation between the subtests increased in the Bi-factor model. Under all conditions, the Hierarchical MIRT model reliably estimated the subtest ability parameter at an acceptable level. In addition, in the majority of the conditions, the subtest scores of the Hierarchical MIRT and the Higher Order model were estimated with similar errors, but the Higher Order model showed better performance at higher levels of correlation. Based on findings from the study; the use of the Hierarchical CBMTK model is recommended for the reporting of large scale tests. In reporting exams known to have moderate and low correlations among the sub-tests, it may also be preferable to use the Higher Order model, which is able to perform close analyzes with the Hierarchical MIRT Model, as an alternative to the Hierarchical MIRT Model.Bu araştırmada güvenilir alt test ve toplam test puanı kestirimleri konusuna katkı sağlamak amacıyla alt test ve toplam test arasındaki ilişki hiyerarşik madde tepki kuramı modelleri ile araştırılmak istenmiştir. Çalışmada Üst Düzey Sıralı (Higher Order), İki Faktör (Bi-factor) ve hiyerarşik çok boyutlu madde tepki kuramı (ÇBMTK) modelleri ile kestirilen toplam test puanının ve alt test puanlarının RMSE ve güvenirlik değerleri alt test sayısı, alt test uzunluğu ve alt testler arasındaki korelasyonların büyüklüğü koşulları altında karşılaştırılmıştır. Ayrıca TEOG 2015 verileri üzerinde araştırmada kullanılan üç kestirim modelinin performansı incelenmiştir. TEOG 2015 verisinin madde parametrelerine dayalı olarak bu çalışmada kullanılan verilerin madde ayırt edicilik parametresi ranjı [0.8-3] arasında olacak şekilde ortalaması 1.5 ve varyansı 0.5 olan bir normal dağılımdan; güçlük parametresi ranjı [-2, 2] arasında olacak şekilde ortalaması 0.0 ve varyansı 1.0 olan bir normal dağılımdan ve en düşük asimtot (şans) parametresi ise (6,16) olan bir beta dağılımdan üretilmiştir. Yetenek parametreleri çok değişkenli normal dağılıma dayalı olarak ortalaması sıfır (0), varyansı ise araştırma koşullarında belirlenmiş olan varyans-kovaryans matrisine göre üretilmiştir. Üretilen madde ve yetenek parametreleri kullanılarak alt test sayısı 2 ve 3, alt test uzunluğu 20, 30 ve 40; alt testler arası korelasyonlar 0.0, 0.3, 0.5 ve 0.8 olan iki kategorili 3000 kişilik veri setleri 50 tekrara dayalı olarak SimuMIRT programı kullanılarak üretilmiştir. Araştırmada üretilen veriler ve 29 Nisan 2015’te yapılan TEOG sınavına ait veriler BMIRT programı kullanılarak analiz edilmiştir. Parametre kestirimlerinde 3PL model ile MCMC kestirim yöntemi kullanılmıştır. Araştırmanın sonucunda iki ve üç boyutlu verilerde hemen hemen tüm koşullarda alt test uzunluğu ve alt testler arasındaki korelasyonun arttıkça üç kestirim modelinden elde edilen toplam test puanı için yetenek parametreleri kestirim hatasının azaldığı, kestirim güvenirliğinin ise arttığı bulunmuştur. Toplam test puanları için Hiyerarşik ÇBMTK model ile tüm koşullarda en düşük RMSE değeri ve en yüksek güvenirlik değeri elde edilmiştir. Ayrıca korelasyonun 0.8 düzeyinde toplam test puanı için tüm modeller birbirine yakın RMSE ve güvenirlik değerleri ile kestirim yapmıştır. İki ve üç boyutlu verilerde alt test puanı için kestirilen yetenek parametrelerinin RMSE değerleri, Hiyerarşik ÇBMTK modelde alt test uzunluğu arttıkça azalırken alt testler arasındaki korelasyon düzeyinden etkilenmediği; Üst Düzey Sıralı modelde alt test uzunluğu ve alt testler arasındaki korelasyon arttıkça azaldığı; İki Faktör modelde ise alt test uzunluğu arttıkça azalırken alt testler arasındaki korelasyon arttıkça önemli düzeyde arttığı bulunmuştur. Tüm koşullar altında Hiyerarşik ÇBMTK model alt test yetenek parametresini kabul edilebilir güvenilir düzeyde kestirmiştir. Ayrıca koşulların çoğunda Hiyerarşik ÇBMTK ve Üst Düzey Sıralı Modelin alt test puanlarını benzer düzeyde hatalar ile kestirmiş fakat korelasyonun yüksek düzeylerinde Üst Düzey Sıralı model daha iyi performans göstermiştir. Araştırmadan elde edilen bulgulara dayanarak; geniş ölçekli testlerin raporlanmasında Hiyerarşik ÇBMTK modelin kullanımı önerilmektedir. Ayrıca alt testler arasında orta ve düşük düzeyde ilişkilerin olduğu bilinen sınavların raporlanmasında hiyerarşik ÇBMTK Model’e alternatif olarak bu modelle çok yakın analizler yapabilen Üst Düzey Sıralı Model’in kullanımı da tercih edilebilir