Comparison of interrater agreement calculated with generalizability theory and logistic regression

Araştırmanın amacı G Kuramı ve LR analizinden yararlanarak gerçekleştirilen bir performans puanlamada ortaya çıkan puanlayıcı tutarlığını belirlemek ve karşılaştırmaktır. Araştırmada 106 öğrenciye 15 maddelik bir ölçme aracı verilmiş, öğrencilerin verdikleri cevaplar üç puanlayıcı tarafından dereceli puanlama anahtarı kullanılarak puanlanmıştır. Puanlama ile elde edilen veri seti, G kuramı ve lojistik regresyon analizi ile madde bazında ve testin tamamına dayalı olarak analiz edilmiştir. Analiz sonucunda G kuramı ile elde edilen puanlayıcıvaryans bileşenleri ve toplam varyansı açıklama yüzdeleri ile LR analizi ile elde edilen sınıflama yüzdeleri yorumlanmıştır. Elde edilen bulgulara dayalı olarak G Kuramı ve LR analizinin puanlayıcılar arası tutarlığı belirlemede paralel sonuçlar ürettiği, ancak lojistik regresyon analizinin G kuramı kadar hassas çıktılar vermediği ve G kuramına göre daha yüzeysel bir istatistik olduğu sonucuna varılmıştır.The purpose of this study is to determine the rater agreement and interrater agreement of a performance rating using G theory and LR analysis. In this research 106 students are asked to answer a 15 item scale and the answers have been rated by three raters with an analytic rubric. Data set has beenbeen analyzed with G theory and LR analysis based on the items of the test and the whole test. According to analyses; rater variance component and total variance explaining percentage of G Study and classification percentage of LR analysis have been interpreted. According to the results; generalizability theory and logisticregression analysis both give parallel results; but logistic regression analysis do not generate as sensitive outputs as G theory and is a superficial statistics in referenceto G theory