PENGENALAN EKSPRESI WAJAH PADA VIDEO BERBASIS DEEP LEARNING MENGGUNAKAN MOBILENET V2

Ekspresi wajah merupakan cara komunikasi non-verbal yang sering digunakan manusia, mudah dimengerti dan memberikan informasi terbesar yaitu 55% informasi dalam berinteraksi. Pengenalan ekspresi wajah secara otomatis menjadi penelitian yang aktif beberapa tahun terakhir dibidang computer vision. Beberapa peneliti menghadapi tantangan atau kendala penelitian seperti dataset yang terbatas, biaya proses komputasi tinggi dan implementasi pengenalan ekspresi yang efektif dan efesien. Penelitian ini melakukan pengenalan ekspresi wajah pada video dengan berbasis deep learning menggunakan arsitektur MobileNetV2. Beberapa tahapan penelitian seperti pengolahan data dilakukan seperti preprocessing dan augmentasi data. Tahapan pemodelan menggunakan tiga jenis dataset yaitu bing, imed dan gabungan keduanya. Pembagian data training dan testing dilakukan dengan split dataset dengan ratio data 80%:20% dengan hasil rata-rata akurasi bing 71%, imed 95% dan bingimed 73%. Skenario selanjutnya yaitu melakukan penerapan augmentasi pada dataset bingimed dan mendapatkan akurasi 63% dengan teknik real-time augmentasi. Implementasi pengenalan ekspresi pada video dilakukan dengan menkonversi model kedalam tensorflowjs dan melakukan prediksi secara real-time dengan website dan webcam