The investigation of open-ended items scoring methods by generalizability theory

Bu araştırmanın amacı açık uçlu maddelerden oluşan matematik sınavının farklı puanlayıcılar tarafından serbest ve anahtarla puanlaması ile elde edilen verilerin karşılaştırılmasıdır. Çalışma grubunu 2015-2016 eğitim öğretim yılında bir devlet ortaokulunda öğrenim gören 253 kişiden oluşan yedinci sınıf öğrencileri oluşturmaktadır. Araştırmada toplanan veriler yansız seçilen beş farklı alan uzmanı tarafından farklı zamanlarda önce serbest daha sonra anahtarla puanlanmıştır. Her bir puanlayıcının (p) her bir maddeyi (m) tüm bireyler (b) için bağımsız olarak puanlaması ile b x m x p deseni oluşturularak G ve K çalışmaları yapılmıştır.Yapılan G ve K çalışmalarının sonuçları serbest ve anahtarla puanlamaya göre karşılaştırılmıştır. Elde edilen sonuçlara göre her iki puanlama türü için de güvenilir sonuçlar elde edildiği fakat anahtarla puanlamada beklendiği gibi serbest puanlamaya göre daha objektif puanlama yapıldığı görülmüştür. Ayrıca bu araştırmada yapılan K çalışması sonuçlarına göre her iki puanlama türü için de madde sayısının ve puanlayıcı sayısının arttırılması G ve Phi katsayılarını arttırmıştır. Fakat iş gücü, zaman ve ekonomi düşünüldüğünde madde sayısının arttırılmasının puanlayıcı sayısının arttırılmasından daha uygun olacağı görülmüştür. Bunların yanında yapılan araştırmanın, eğitimde ölçme ve değerlendirmede başvurulan, orta öğretime geçiş ve yüksek öğretime geçiş sınavlarında da kullanılması gündeme gelen ve puanlanma güvenirliği sıkça tartışılan açık uçlu maddelerden oluşan uzun yanıtlı sınavların güvenirliklerine ilişkin bilgi sağlayacağı düşünülmektedir.The aim of this study is to compare the data obtained by the free and key scoring of the mathematics exam consisting of open-ended items by differentraters. The study group consisted of 253 seventh grade students studying at the state secondary school in 2015-2016. The data collected the study were scored by five different field experts who were chosen impartially at different times before they were released and then with the key. Each rater (r) scored each item (i) independently for all people (p) and G and K studies were conducted with r x i x p pattern. The results of G and K studies were compared according to free and key scoring. According to the results, reliable results were obtained for both scoring types but as expected in key scoring, more objective scoring was done compared to free scoring. Furthermore, according to the results of the K study, increasing the number of items and the number of items and the number of raters for both scoring types increased the G and Phi coefficients. However, considering the labour force, time and economy, increasing the number of items would be more appropriate than increasing the number of raters. In addition to this, it is thought that long-term exams consisting of open-ended items which are frequently discussed and used in the measurement and evaluation in education and used in the measurement and evaluation in education and transition to secondary education and transition to higher education examinations in the recent years will provide information about the reliability of long-term exams