Analisis Butir Soal Pilihan Ganda Penilaian Akhir Tahun berbasis CBT Mata Pelajaran Sejarah Kelas X IIS MAN 1 Blitar

ANALISIS BUTIR SOAL PILIHAN GANDA PENILAIAN AKHIR TAHUN BERBASIS CBT MATA PELAJARAN SEJARAH KELAS X IIS MAN 1 BLITAR TAHUN AJARAN 2017/2018 Prasetya Kumalasari, Dr. Ari Sapto, M.Hum. Universitas Negeri Malang E-mail: prasetyakumalasari@gmail.com, ari.sapto.fis@um.ac.id ABSTRAK Tujuan dari penelitian ini yakni: (1) menganalisis butir soal secara kuantitatif berdasarkan indeks tingkat kesukaran, indeks daya beda, dan efektivitas distraktor serta (2) menganalisis butir soal secara kualitatif berdasarkan penelaahan butir soal aspek materi, konstruksi dan bahasa, pada Penilaian Akhir Tahun Mata Pelajaran Sejarah berbasis CBT Kelas X IIS MAN 1 Blitar Tahun Ajaran 2017/2018. Rancangan penelitian ini menggunakan pendekatan campuran (mixed methods) dan merupakan jenis penelitian deskriptif. Hasil penelitian menunjukkan bahwa: (1) Hasil analisis butir soal dengan menggunakan aplikasi ITEMAN versi 3.0. menunjukkan bahwa tingkat kesukaran (ITK) butir soal berkategori baik sebesar 76,7%, daya beda (IDB) butir soal yang berkategori baik sebesar 77%, dan efektivitas distraktor yang berfungsi secara efektif sebesar 60%. (2) Relevansi butir soal berdasarkan aspek materi sebesar 95%, aspek konstruksi sebesar 72.8%, dan aspek bahasa sebesar 91.3%. Berdasarkan hasil yang diperoleh, maka dapat disimpulkan bahwa penyusunan butir soal sebagai instrumen penilaan harus dilakukan sesuai prosedur penyusunan butir soal secara terstruktur agar diperoleh butir soal memiliki kualitas yang baik. Kata Kunci: analisis butir soal, penilaian akhir tahun, CBT, sejarah. ABSTRAC He objectives of this study are as follows: (1) analyzing the items quantitatively based on the difficulty level index, the difference power index, and the effectiveness of the distractor, and (2) analyzing the items qualitatively based on the review of items about the material aspects, construction and language Historical items End of Year Assessment based on CBT Class X Social Sciences MAN 1 Blitar Academic Year 2017/2018. The design of this study uses mixed approaches (mixed methods) and the type of research is descriptive research. The results of the study show that: (1) The results of item analysis using the ITEMAN application version 3.0. showed that the difficulty level of ITK items was categorized as good at 76.7%, the difference in power (IDB) of the items categorized as good was 77%, and the effectiveness of the distractors which functioned effectively by 60%. (2) The relevance of the items based on material aspects is 95%, construction aspects are 72.8%, and language aspects are 91.3%. Based on the results of the study, the preparation of the items as an assessment instrument must be structured so the instrument as a measure of student competence has good quality. Keyword: item analysis, year-end assessment, CBT, history. Perubahan kurikulum pendidikan dari Kurikulum 2006 menjadi Kurikulum 2013 tidak hanya menuntut adanya perubahan dalam proses pembelajaran, tetapi juga perubahan penilaian. Dalam proses pembelajaran, penilaian dilakukan oleh guru untuk memberikan pelbagai informasi secara autentik, kontinu, dan menyeluruh terhadap proses dan hasil belajar yang telah dicapai oleh peserta didik meliputi ranah pengetahuan, keterampilan, sikap dan nilai-nilai. Dari penilaian tersebut guru dapat menentukan apakah seorang peserta didik perlu mengulang materi, naik kelas, lulus atau tidak (Kusaeri, 2014:5). Seiring dengan kemajuan teknologi, dunia pendidikan mengalami kemajuan yang pesat dan berdampak positif, khususnya dalam proses penilaian hasil belajar siswa. UNBK atau Ujian Nasional Berbasis Komputer mengharuskan siswa mengerjakan soal-soal ujian menggunakan komputer. Penggunaan komputer sebagai alat bantu evaluasi pendidikan, khususnya evaluasi siswa dalam Ujian Nasional mulai dilakukan ujicoba oleh pemerintah pada tahun 2015. Sekolah yang menjadi perintis pelaksanaan CBT (Computer Based Test) adalah sekolah yang bersedia dan memiliki infrastruktur memadai untuk pelaksanaan UNBK (Sudaryati, 2016:689). Penggunaan komputer sebagai alat bantu evaluasi pendidikan kemudian dikembangkan penggunaanya, tidak hanya digunakan dalam Ujian Nasional saja melainkan juga dalam pelaksanaan Ujian Akhir Semester atau Penilaian Akhir Tahun. Berdasarkan hasil observasi dan wawancara dengan panitia penyelenggara ujian berbasis CBT di MAN 1 Blitar pada bulan Nopermber 2018, pelaksanaan Ujian Nasional Berbasis Komputer (UNBK) di MAN 1 Blitar sudah dilaksanakan sejak tahun 2016. Akan tetapi dalam pelaksanaan Ujian Akhir Semester atau Penilaian Akhir Tahun berbasis komputer di MAN 1 Blitar dimulai pada tahun 2017. Pelaksanaan Penilaian Akhir Tahun menggunakan sistem CBT dengan fasilitas komputer sekolah dan jaringan internet yang cukup memadai. Terdapat empat ruang laboratorium CBT dengan masingmasing ruang terdapat 40 unit komputer. Dengan jumlah seluruh komputer sebanyak 160 unit masih belum dapat mencukupi kebutuhan siswa yang berjumlah 1083 siswa di MAN 1 Blitar. Sejak diberlakukannya Penilaian Akhir Tahun berbasis komputer, pelaksanaan ujian dilakukan dengan membagi beberapa sesi dalam satu hari pelaksaan ujian. Terdapat 4 sesi ujian dalam satu hari. Ketika sekolah masih memberlakukan tes berbasis kertas (Paper Based Test), jumlah soal ujian matapelajaran Sejarah berjumlah 50 soal pilihan ganda dengan durasi waktu dua jam untuk mengerjakan. Berbeda dengan pelaksaan ujian menggunakan sistem CBT, soal matapelajaran Sejarah hanya berjumlah 30 soal pilihan ganda dengan durasi waktu 30 sampai 40 menit. Berdasarkan hasil wawancara dengan bapak Nur Kholis selaku guru Matapelajaran Sejarah kelas X dan XI pada tanggal 10 Desember 2018, sejak tahun 2016 MAN I Blitar tidak lagi tergabung dalam Kelompok Kerja Madrasah. Sehingga pembuatan soal untuk Ujian Akhir Semester dan Penilan Akhir Tahun tidak lagi dilakukan kerjasama antara beberapa guru matapelajaran dari sekolah lainnya, melainkan dilakukan oleh masing-masing guru matapelajaran di MAN 1 Blitar. Soal untuk Penilaian Akhir Tahun Matapelajaran Sejarah kelas X dan XI dibuat oleh Bapak Nur Kholis. Beliau meragukan kualitas soal yang telah diujikan kepada siswa. Beliau berpendapat bahwa dari materi Matapelajaran Sejarah yang disarikan menjadi 30 soal sebagai tes Penilaian Akhir Tahun dirasa masih kurang untuk mengukur kemampuan kognitif siswa. Sementara soal yang diujikan kepada siswa juga belum melalui tahap analisis baik secara kuantitatif maupun kualitatif untuk mengetahui kualitas soal. Tes buatan guru adalah tes yang disusun oleh guru yang akan mempergunakan tes tersebut. Tes ini bisanya digunakan dalam ulangan harian, formatif, dan ulangan umum (sumatif). Tes buatan guru ini dimaksudkan untuk mengukur tingkat penguasaan peserta didik terhadap materi pelajaran yang sudah disampaikan. Maka dari itu, guru membuat soal secara logis dan rasional mengenai pokok-pokok materi apa saja yang patut dan seharusnya ditayakan sebagai bahan pengetahuan penting untuk diketahui dan dipahami oleh peserta didiknya. Kualitas tes atau kesahihannya dan kendalanya masih belum menjamin keobjektifannya, sebab hanya diberikan pada sekelompok peserta didik, kelas atau sekolah tertentu saja. Jadi masih bersifat sektoral, karena belum diujicobakan kepada kelompok besar sehingga pengukurannya masih belum meyakinkan (Arifin, 2013:119). Berdasarkan hasil observasi dan wawancara dengan panitia penyelenggara ujian berbasis CBT di MAN 1 Blitar pada bulan Desember 2018, pihak sekolah dari tahun ke tahun melakukan evaluasi penyelenggaraan ujian berbasis CBT agar pelaksanaan ujian dapat berjalan dengan lancar. Beberapa kali sekolah membeli program aplikasi untuk pengadaan tes berbasis CBT dan memilih aplikasi mana yang sekiranya tepat sesuai keperluan dan fasilitas sekolah. Walaupun penyelengaraan ujian berbasis CBT terus dilakukan evaluasi dan perbaikan, akan tetapi untuk evaluasi dari instrumen tes atau soal ujian yang akan diaplikasikan dalam sistem CBT belum dilakukan. Keberhasilan pelaksanaan pembelajaran Sejarah di tingkat Sekolah Menengah Atas harus dievaluasi secara komprehensif baik dari segi kualitas proses maupun hasil belajar. Hal ini dikarenakan hasil pembelajaran Sejarah dipengaruhi dari kualitas proses belajar mengajar. Kinerja guru yang baik dalam proses belajar mengajar akan berpengaruh terhadap motivasi siswa, sikap siswa serta hasil belajar siswa. Hasil pembelajaran Sejarah tidak hanya mencakup kecakapan akademik saja, namun diharapkan juga tumbuhnya kesadaran sejarah dan nasionalisme pada diri siswa (Aman, 2011:131-132). Melalui Kurikulum 2013, evalusi hasil belajar lebih ditekankan pada penilaian autentik. Penilaian autentik adalah kegiatan menilai peserta didik baik proses maupun hasil yang disesuaikan dengan tuntutan kompetensiyang ada pada Standar Kompetensi atau Kompeteni Inti dan Kompetensi Dasar. Penilaian autentik mengacu pada pencapaian hasil belajar didasarkan pada posisi skor yang diperoleh peserta didik terhadap skor ideal. Dengan demikian pencapaian kompetensi peserta didik tidak dalam konteks dibandingkan dengan peserta didik lainya, melainkan dibandingkan dengan stadar atau kriteria tertentu, yaitu Kriteria Ketuntasan Minimal (KKM) (Kunandar, 2015:35-36). Berdasarkan wawancara peneliti pada tanggal 10 Desember 2018 dengan Bapak Nur Kholis selaku guru Matapelajaran Sejarah kelas X IIS dan XI IIS, beliau mengamati minat belajar siswa di kelas cukup baik. Akan tetapi jika dilihat hasil tes Penilaian Akhir Tahun matapeljaran Sejarah pada tahun ajaran 2017/2018, rata-rata hasil nilai yang diperoleh siswa masih di bawah Kriteria Ketuntasan Minimun (KKM) yaitu sebesar 75. Melalui evaluasi, guru dapat mengetahui tingkat ketercapaian pembelajaran. Akan tetapi hasil penilaian secara langsung dari hasil belajar siswa dalam menjawab tes belum tentu menggambarkan hasil yang sesungguhnya dalam pengukuran. Selain itu dibutuhkan kekonsistenan pelaksana dan penilai dalam mengukur hasil tes. Kecanggihan alat ukur modern belum tentu bermanfaat bagi peserta didik, selama hal itu belum dilakukan secara maksimal. Pentingnya analisis butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS MAN 1 Blitar perlu dilakukan dikarenakan penilaian tersebut tidak hanya bertujuan untuk mengetahui keberhasilan peserta didik menguasai kompetensi dan keberhasilan proses pembelajaran yang dilakukan guru. Melainkan juga digunakan untuk mengambil keputusan terhadap keberlanjutan peserta didik untuk menempuh materi dan jenjang kelas berikutnya, serta memberikan informasi kepada orang tua tentang mutu dan efektivitas pembelajaran yang dilakukan sekolah. Menurut Kunandar (2015:43) melalui Kurikulum 2013 penilaian autentik menjadi titik fokus bagi guru dalam melakukan penilaian hasil belajar peserta didik dengan memerhatikan segala minat, potensi dan prestasi secara komprehensif. Maka penilaian autentik dari hasil belajar siswa yang didasarkan pada PAT dengan menggunakan instrumen tes yang belum melalui uji validitas, dikhawatirkan kurang dapat mengukur kompetensi siswa dengan baik dan menghasilkan penilaian yang kurang akurat. METODE Rancangan penelitian ini menggunkaan pendekatan campuran yang mengkombinasikan antara pendekatan kualitatif dan kuantitaif. Penelitian metode campuran merupakan pendekatan yang mengkombinasikan atau mengasosiasikan bentuk kualitatif dan kuantitatif. Penggunaan metode kualitatif dan kuantitatif dalam penelitian bertujuan untuk memperoleh data kualitatif dan kuantitatif yang digunakan sebagai bukti empiris dalam menjawab rumusan masalah penelitian (Rachman, 2015:241-242). Menurut Creswell (2016:288) penggunaan pendekatan campuran dalam suatu penelitian diasumsikan untuk saling melengkapi kekurangan dari masing-masing pendekatan. Penelitian campuran bertujuan mengkombinasikan dua bentuk data yang menyajikan dua jenis informasi yang berbeda, yaitu berupa data terbuka (open-ended) dalam kajian kualitatif dan data tertutup (close-ended) dalam kajian kuantitatif. Dari dua jenis data tersebut kemudian dideskripsikan hasilnya untuk memperoleh analisis yang komprehensif. Jenis penelitian ini merupakan penelitian deskriptif. Sudaryono (2017:82) berpendapat bahwa penelitian deskriptif merupakan suatu desain penelitian terhadap masalah-masalah berupa fakta-fakta saat ini yang bertujuan penelitian untuk mendeskripsikan suatu keadaan atau fenomena-fenomena apa adanya guna menjawab pertanyaan-pertanyaan yang berkaitan dengan current status subjek yang diteliti. Peneliti tidak melakukan manipulasi atau memberikan perlakuan-perlakuan tertentu terhadap objek yang diteliti. Sependapat dengan Cresswell (2016:276) yang mengatakan bahwa penelitian deskriptif adalah metode penelitian yang berusaha menggambarkan dan menginterpretasikan objek apa adanya. Penelitian ini sering disebut juga sebagai penelitian non-experimen karena peneliti tidak melakukan kontrol dan tidak memanipulasi valiabel penelitian. Tujuan utama penelitian deskriptif adalah menggambarkan secara sisteatis fakta dan karakteristik objek penelitian secara tepat. Kerangka penelitian ini mengadopsi desain metode campuran skuensial eksplanatori. Pendekatan ini melibatkan proyek dua fase dimana pada fase pertama peneliti mengumpulkan data kuantitaif untuk dianalisis dan membuat rencana fase kedua yaitu pengambilan data kualitatif (Creswell, 2016:299). Penelitian analisis soal pilihan ganda Penialaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS menggunakan pendekatan kuantitatif untuk menemukan permasalahan dalam butir soal yang telah diujikan kepada siswa dengan menganalisis indeks tingkat kesulitan, indeks daya beda dan efektivitas distraktor. Analisis data secara kualitatif digunakan untuk menganalisis butir soal berdasarkan telaah butir soal dari aspek substansi/materi, konstruksi dan bahasa. Menurut Creswell (2016:299) tujuan rancangan ini secara keseluruhan adalah untuk membantu data kualitatif menerangkan data hasil kuantitatif awal. Prosedur khusus statistik digunakan untuk menganalisis butir soal dari aspek indeks tingkat kesulitan, indeks daya beda dan efektivitas distraktor. Dari hasil analisis butir soal secara empiris kemudian menindaklanjuti dengan telaah butir soal dari aspek materi, konstruk dan bahasa untuk menemukan permasalahan dalam butir soal yang telah diujikan kepada siswa. Penelitian ini menganalisis semua elemen yang ada di dalam populasi, sehingga subjeknya meliputi seluruh populasi. Dengan demikian penelitian ini termasuk dalam studi populasi atau studi sensus dan yang menjadi populasi dalam penelitian ini adalah seluruh butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT pada matapelajaran Sejarah kelas X IIS tahun ajaran 2017/2018 yang berjumlah 30 butir soal. Instrumen pengumpulan data adalah alat bantu yang dipilih dan digunakan oleh peneliti agar kegiatan dalam pengumpulan data lebih sistematis. Data yang dikumpulkan dalam penelitian akan digunakan untuk menguji hipotesis atau menjawab pertanyaan yang telah dirumusankan (Sudaryono, 2017:206-207). Penelitian ini menggunakan lembar telaah butir soal pilihan ganda sebagai instrumen pengumpulan data untuk menelaah butir soal secara kualitatif (validitas isi) dilihat dari segi materi, konstruksi, dan bahasa. Analisis butir soal secara kualitatif dilakukan menggunkan lembar telaah analisis butir soal untuk mengukur kualitas tiap soal berdasarkan aspek substansi/materi, konskruksi dan bahasa. Lembar telaah butir soal ini mengikuti Instrumen Evalusia Diri Sekolah (EDS) tentang Standar Nasional Pendidikan yang dikeluarkan oleh Badan Pengembangan Sumber Daya Manusia Pendidikan dan Pengembangan Mutu Pendidikan Kementerian Pendidikan dan Kebudayaan pada tahun 2012. Penggunaan lembar telaah ini dikarenakan setelah Kurikulum 2013 diberlakukan, pemerintah masih belum mengeluarkan instrumen evaluasi mengenai Standar Nasional Pendidikan, khususnya Instrumen Evaluasi Diri Sekolah yang berkaitan dengan tes. Butir soal yang akan dianalisi merupakan soal Penialaian Akhir Tahun berbasis CBT matapelajaran Sejarah Kelas X IIS tahun ajaran 2017/2018. Jenis soal yang akan dianalisis merupakan soal objektif berbentuk pilihan ganda. Secara teknis soal ini diujikan kepada siswa dengan menggunakan komputer atau Tes Berbasis Komputer (Computer Based Test). Teknik pengumpulan data dalam proses penelitian ini menggunakan teknik studi dokumenter. Studi dokumenter (documentary study) merupakan suatu teknik pengumpulan data dengan menghimpun dan menganalisis dokumen-dokumen, baik dokumen tertulis, gambar maupun elektronik. Dokumen yang dihimpun dipilih sesuai dengan fokus masalah dan tujuan penelitian. Studi dokumenter tidak sekadar mengumpulkan dan melaporkan dalam bentuk kutipan-kutipan tentang sejumlah dokumen, melainkan dilakukan analisis terhadap dokumen. Bagian-bagian tertentu dari dokumen yang dianggap sebagai fokus utama dapat disajikan dalam bentuk kutipan utuh. Hasil laporan penelitian disajikan dalam rangkaian uraian hasil analisis (Sukmadinata, 2016:212-222). Teknik studi dokumenter digunakan untuk mengumpulkan data-data dengan melihat bahan-bahan dokumentasi yang ada di MAN 1 Blitar, khususnya yang berkaitan dengan soal dan hasil tes Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah kelas X IIS MAN 1 Blitar tahun ajaran 2017/2018, transkrip nilai, soal ujian, laman jawaban siswa, kunci jawaban dan kisikisi soal. Hasil data tersebut peneliti peroleh secara langsung dari dokumentasi guru pengampu matapelajaran Sejarah kelas X IIS, panitia penyelenggara ujian berbasis CBT dan pengelola sistem ujian CBT. Analisis data dalam penelitian ini dilakukan terhadap butir soal pilihan ganda Penialain Akhir Tahun berbasis CBT pada matapelajaran Sejarah Kelas X IIS tahun ajaran 2017/2018 secara kualitatif dan kuantitatif. Menurut Anastasi dan Urbina (dalam Kusaeri & Suprananto, 2012:163) analisis butir soal secara kualitatif mencakup pertimbangan validitas isi yang dilihat dari aspek materi/substansi, konstruksi dan bahasa atau budaya. Sementara analisis secara kuantitatif mencakup pengukuran tiga komponen yaitu indeks tingkat kesukaran, indeks daya beda dan efektivitas distraktor. Kedua teknik ini memiliki keunggulan dan kelemahan masingmasing. Oleh kareka itu untuk mendapatkan hasil analisis yang baik maka dapat memadukan kedua teknik tersebut. 1. Analisis Kuantitaif Penelaahan butir soal secara kuantitatif didasarkan pada data empirik. Data empirirk ini diperoleh dari soal yang telah diujikan. Teknik analisis butir soal pilihan ganda Penilaian Akhir Tahun berbasis CBT matapelajaran Sejarah secara kuantitatif menggunakan teori pengukuran klasik dengan bertujuan menganalisis reliabilitas butir soal yang mencakup Indeks Tingkat Kesukaran, Indeks Daya Beda, dan efektivitas distraktor. Analisis butir secara klasik adalah proses penelaahan butir soal melalui informasi dari jawaban peserta tes (Kusaeri & Suprananto, 2012:173). Aanlisi butir soal secara kuantitatif dalam penelitian ini menggunakan bantuan program aplikasi ITEMAN versi 3.0. 2. Analisis Kualitatif Ada dua hal yang penting yang perlu diperhatikan dalam menganalisis data kualitataif, yaitu penafsiran dan pemaknaan data. Ketepatan penafsiran dan pemaknaan data bergantung pada ketajaman analisis, bukan pada hitungan statistika (Arifin, 2012:162). Analisis data secara kualitatif digunakan untuk mengetahui validitas isi (rasional) tes dilihat dari segi materi/substansi, konstruksi, dan bahasa dari setiap butir soal menggunakan lembar telaah analisis butir soal yang diambil dari Instrumen Evalusia Diri Sekolah (EDS) tentang Standar Nasional Pendidikan yang dikeluarkan oleh Badan Pengembangan Sumber Daya Manusia Pendidikan dan Pengembangan Mutu Pendidikan Kementerian Pendidikan dan Kebudayaan pada tahun 2012 Metode analisis butir soal secara kualitatif menggunakan metode pertimbangan ahli (expert judgement). Pertimbangan ahli diperlukan untuk menelaah butir soal berdasarkan aspek materi/substansi, konstruksi dan bahasa. Proses analisis data dengan pertimbangan ahli dilakukan dengan teknik panel, yakni teknik menelaah butir soal bedasarkan kaidah penulisan butir soal. Kaidah penulisan butir soal yaitu diantaranya materi/susbtansi, konstruksi, bahasa atau budaya serta kebenaran kunci jawaban. Teknik panel membutuhkan beberapa penelaah minimal 2 orang ahli untuk memberikan penilaiaan butir soal. Para penelaah akan diberikan butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penelaahan (Kusaeri & Suprananto, 2012:165). Pertimbangan ahli yang dibutuhkan dalam penelitian ini adalah 2 (dua) orang ahli yang mampu mengevaluasi butir soal di bidang Sejarah. Hal ini dilakukan berdasarkan metode pengukuran relevansi validitas isi yang dikemukan oleh Gregory (2000). Menurut Retnawati (2016:26) dalam suatu penelitian, validitas isi dapat dibuktikan melalui ahli yang menilai relevansi tiap butir instrumen kemudian hasil penilaian ini digunakan untuk menghitung indeks kesepakatan ahli dengan indeks Aiken atau indeks Gregory. Ahli yang telah peneliti pilih untuk menjadi penelaah butir soal yaitu Lutfiah Ayundasari, S.Pd., M.Pd dan Wahyu Djoko Sulistyo, S.Pd., M.Pd. Kedua ahli tersebut adalah dua orang panelis sebagai penelaah butir soal yang telah ditetapkan oleh peneliti, sehingga teknik ini disebut juga sebagai teknik panel (Kusaeri dan Suprananto, 2012: 165). Kriteria yang digunakan untuk menetapkan penelaah ini adalah penelaah minimal sudah lulus kependidikan S1 jurusan kependidikan Sejarah, memiliki pengalaman dalam menyususn tes matapelajaran Sejarah di tingkat satuan pendidikan atau regional serta pernah atau sedang mengajar matapelajaran Sejarah di jenjang sekolah menengah. Pada tahap awal, penelaah diberikan butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penelaahan. Setelah itu, para penelaah disamakan persepsinya