Use Of Explanatory Item Response Models In Computer Adaptıve Tests

The item bank development stage in computer adaptive testing is extremely challenging. It is assumed that the item difficulties are constant among different sub-groups, different positions and various test forms. The items violate these assumptions are eliminated. This may result in more time-consuming item pool development stage. The main purpose of this research is to investigate how average test length, item exposure, test overlap and precision of ability parameters change when explanatory item response models are utilized in computer adaptive testing. The study analysis conducted with simulated 10 item pools with 100 items and 1440 candidates in each. Each item bank calibrated using Rasch model, latent regression, linear logistic test model and latent regression linear logistic test model. Next, response patterns and prior ability estimates used for post-hoc simulations conducted in 10 replications for each item bank and models. The simulations are based on EAP estimation, two stop rules (precision and minInfo) and the item exposure control rule randomesque. The computer adaptive testing simulations based on explanatory item response models conducted using a modified version of “catR”. It is reported that if the sub-groups in population are ignored in post-hoc simulations all models estimate very similar ability score mean. It also found that explanatory item response models have no effect on average test length, test overlap and item exposure rate. It is an important finding that latent regression and linear logistic test model achieved to reduce item exposure rate for the first 20 items.Bilgisayar ortamında bireye uyarlanmış testlerde madde havuzunun geliştirilmesi süreci oldukça zahmetli bir iştir. Bu geliştirme sürecinde madde parametrelerinin farklı alt gruplara, kullanım sırasına, farklı test formatlarına göre değişim göstermemesi beklenir. Bunun için yapılan analizlerde böylesi bir durumun tespit edildiği maddeler elenir. Bu çalışmanın amacı açıklayıcı madde tepki modellerinin bilgisayar ortamında bireye uyarlanmış testlerde kullanımının, madde havuzu geliştirme sürecine, uygulanan madde sayısına, yetenek parametrelerinin kestiriminin kesinliğine etkisini incelemektir. Araştırmada her birinde 100 maddenin olduğu 10 madde havuzu ve 1440 katılımcıya ait cevap örüntüleri simülasyonla üretilmiştir. Geliştirilen tüm madde havuzları Rasch model, örtük regresyon, doğrusal lojistik test modeli ve örtük regresyon doğrusal lojistik test modeli ile kalibre edilmiştir. Ardından her bir modelden elde edilen cevap örüntüleri ve önsel yetenek puanları ile 10 döngüden oluşan post-hoc simülasyonları gerçekleştirilmiş ve tüm havuzlardan elde edilen sonuçların ortalamasına ulaşılmıştır. Post-hoc simülasyonlarında yetenek puan kestirimi olarak BSD (EAP), sonlandırma kuralı olarak kesinlik ve minInfo kuralı, madde kullanım sıklığı kontrol kuralı olarak randomesque kullanılmıştır. Açıklayıcı madde tepki modeli ile yapılan post-hoc simülasyonu “catR” paketine araştırmacı tarafından yazılan yeni fonksiyonlar ile gerçekleştirilmiştir. Araştırmada tüm madde havuzunda olduğu gibi post-hoc simülasyonlarında da alt gruplar göz ardı edildiğinde tüm modellerin çok yakın yetenek puan ortalaması kestirdiği belirlenmiştir. Alt gruplar dikkate alındığında ise modeller arasında manidar farklar tespit edilmiştir. Ayrıca parametre kestirim modelinin maddenin kullanım sıklığı, test uzunluğu ve test örtüşme oranı üzerinde etkisinin olmadığı tespit edilmiştir. Çalışmada madde havuzunda birey ve madde eşdeğişkenlerinin etkin olduğu maddelerin bulunduğu durumlarda, bilgisayar ortamında bireye uyarlanmış testlerin açıklayıcı madde tepki modellerine dayalı parametrelerle yapılması önerilmiştir