DEVELOPING A MEASUREMENT INSTRUMENT INCLUDING OPEN ENDED QUESTIONS FOR LOGIC DESIGN COURSE: VALIDITY AND RELIABILITY STUDY

Bu çalışmada, üniversitelerin Bilgisayar, Elektrik-Elektronik, Yazılım, Mekatronik Mühendislikleri gibi bölümlerinde okuyan öğrencilerin Mantık Tasarımı dersi kapsamındaki başarılarını ölçmek için bir başarı testi geliştirilmesi ve geliştirilen bu ölçme aracının geçerlik ve güvenirlik incelemeleri konu edilmektedir. Çalışmanın ilk aşamasında, Manisa Celal Bayar Üniversitesi (MCBÜ), Okan Üniversitesi ve Maltepe Üniversitesi Bilgisayar Mühendisliği, Mekatronik ve Elektrik-Elektronik Mühendisliği Bölümlerinde Mantık Tasarımı dersi kapsamında verilen ortak konular dikkate alınarak bir kazanım listesi hazırlanmıştır. Bu listedeki her kazanımı kapsayacak şekilde, açık uçlu sorular içeren bir ölçme aracı oluşturulmuş, soruların hangi kazanımlara karşılık geldiği belirtke tablosu üzerinde gösterilmiştir. Ölçme aracının tarafsız olarak değerlendirilebilmesi için bir rubrik hazırlanmıştır. Farklı üniversitelerden ve bölümlerden toplam altı alan uzmanının hakem görüşü alınarak gerekli güncellemeler yapılmıştır. Alan uzmanları ile gerçekleştirilen kapsam geçerliği çalışması sonuçları, ölçme aracının kapsam geçerlik oranının 0,84 olduğunu göstermektedir. Hazırlanan ölçme aracı, farklı üniversitelerde bu dersi önceki dönem/yıl içinde alarak başarılı olan ve gönüllülük esasına göre belirlenen, 88 öğrenciye uygulanmıştır. Ölçme aracının güvenirliğini hesaplayabilmek için, rastgele seçilen 10 öğrencinin cevapları iki alan uzmanı tarafından, belirlenen rubriğe göre değerlendirilmiştir. Spearman’s rho testi sonuçları, hem her maddenin ayrı ayrı hem de madde toplamları korelasyon değerlerinin istatistiksel olarak anlamlı olduğunu göstermektedir. Sonuç olarak, bu çalışma ile, 15 adet açık uçlu sorudan oluşan Mantık Tasarımı dersine yönelik geçerli ve güvenilir bir ölçme aracı alınyazına kazandırılmıştır.In this study, an achievement test to measure the success of the students taking Logic Design course in the Departments of Computer Engineering, Software Engineering, Electric-Electronics Engineering and Mechatronic Engineering is developed and the validity and reliability of the developed instrument is examined. In the first phase of the study, an acquisition list is prepared based on common topics of logic design courses taught in the Departments of Computer Engineering, Software Engineering, Electric-Electronics Engineering and Mechatronic Engineering of Manisa Celal Bayar University, Okan University and Maltepe University. A measurement instrument that contains open ended questions covering all items of the list of acquisitions is created and acquisitions covered by each question are given as table of specifications. In order to provide objective evaluation of the developed measurement instrument, a rubric is prepared. Then, this instrument is updated based on the reviews of six field experts from different universities and departments. Content validity study conducted with the field experts shows that the content validity index of the measurement instrument is 0.84. The developed measurement instrument is applied to 88 voluntary students that took and passed the Logic Design course in previous academic semester/year. To calculate the reliability of this instrument, answers of 10 randomly selected students were evaluated by two field experts based on the developed rubric. Results of the Spearman’s rho test indicate that the correlation values of the overall test and each item of the test are statistically meaningful. Therefore, a valid and reliable measurement instrument, which consists of 15 open ended questions, is contributed to the literature in terms of measuring the success levels of the students enrolled to Logic Design course