Real Time Human Activity Recognition Based on Convolutional Neural Network and Deep Gated Recurrent Unit

Recurrent neural network (RNN) telah mencapai kesuksesan dalam memproses data sekuensial dan menjadi state-of-the-art dalam speech recognition, pengenalan sinyal digital, pemrosesan video, dan analisa data teks. Pada penelitian ini, diimplementasikan metode pengenalan aktivitas manusia dengan memproses data video menggunakan convolutional neural network (CNN) dan deep gated recurrent unit (GRU). Pertama, akan dilakukan pemilihan frame dengan cara memilih frame dengan urutan kelipatan enam. Hal ini dilakukan untuk mengurangi kompleksitas dan mengurangi fitur yang redundan. Fitur dari sebuah frame akan diekstrak menggunakan CNN dengan arsitektur MobileNetV2 yang sudah dilatih pada dataset ImageNet. Kemudian, fitur yang sudah diekstrak menggunakan CNN akan dimasukkan ke GRU dengan tujuan untuk menganalisa fitur spatiotemporal. Hasil penelitian ini dapat mencapai F1 Score sebesar 92.01% pada dataset YouTube 11 Actions. Metode ini dapat mencapai kecepatan sebesar 65.43 FPS