Pengenalan Ekspresi Wajah pada Sistem Monitoring Perkuliahan Menggunakan Metode Deep Learning

Ekspresi wajah merupakan salah satu bentuk komunikasi manusia berupa non-verbal. Manusia dapat mengenali ekspresi wajah dengan mudah, berbeda dengan komputer yang sulit mengenali ekspresi wajah. Dengan perkembangan teknologi sekarang, pengenalan ekspresi wajah sangat diperlukan dalam memenuhi kebutuhan dibeberapa bidang. Dalam tugas akhir ini, dilakukan pengembangan pengenalan ekspresi wajah manusia dengan menggunakan metode deep learning yang berbasis Convolutional Neural Network (CNN). Dataset yang digunakan adalah dataset yang diolah secara mandiri dari data rekaman pekuliahan mahasiswa S2 Tahun Ajaran 2019/2020 dan dataset ekspresi wajah CK+. Pengujian dilakukan dengan menggunakan data testing yang akan menghasilkan hasil berupa bounding box, prediksi kelas ekspresi wajah dan confidence score. Hasil dari tugas akhir ini menunjukkan akurasi pada data diolah secara mandiri untuk pengenalan ekspresi wajah paling baik menggunakan arsitektur VGG16 dengan menggunakan algoritma optimasi Adam dan learning rate sebesar 0,0001. Dan pada data CK+ untuk pengenalan ekspresi wajah paling baik menggunakan arsitektur VGG16 dengan menggunakan algoritma optimasi Adam dan learning rate sebesar 0,0001. Berdasarkan evaluasi terhadap deteksi wajah dengan menggunakan IoU threshold, model yang dibangun menghasilkan precision sebesar 98,83%, recall sebesar 99,88%, F1-score sebesar 99,35%, dan Average Precision sebesar 99,72% yaitu pada nilai IoU threshold sebesar 50%. Berdasarkan evaluasi terhadap waktu proses sistem, didapatkan rata-rata waktu proses deteksi wajah selama ± 300 milidetik, rata-rata waktu proses pengenalan ekspresi wajah selama ± 8 milidetik, dan rata-rata waktu proses pelacakan wajah selama ± 10 milidetik