Implementasi on-device Offline Learning Menggunakan Algoritma Long-short Term Memory untuk Next-word Prediction dalam Bahasa Indonesia

Agar sebuah sistem next-word prediction dapat memberikan prediksi yang sesuai dengan pengguna, model harus dilakukan personalisasi. Akan tetapi, melakukan personalisasi berarti pengguna harus mengorbankan privasi karena beberapa data personal harus dikirimkan ke server. Untuk mengatasi masalah tersebut, penelitian ini membuat sistem next-word prediction secara on-device dan dilatih dengan menggunakan offline learning dengan menggunakan algoritma LSTM dengan tujuan untuk menjaga privasi pengguna. Model LSTM dibuat dengan menggunakan Python yang kemudian dilakukan pruning dan diubah menjadi bentuk tflite. Aplikasi keyboard dirancang dengan bahasa pemrograman Kotlin untuk memuat model yang telah dibuat. Aplikasi tersebut dirancang agar dapat melakukan inferensi dan pelatihan ulang model untuk melakukan personalisasi. Untuk mengetahui dampak apa saja yang terjadi pada model sewaktu model dilakukan pruning, penulis membandingkan akurasi model top-3 pada model yang dilakukan dan tidak dilakukan pruning dengan menggunakan dataset pengetesan. Didapatkan bahwa model yang dilakukan pruning mempunyai akurasi lebih besar dibandingkan dengan model yang tidak dilakukan pruning. Sewaktu model diubah ke bentuk tflite agar inferensi dapat dilakukan pada perangkat telepon genggam, performa kedua model meningkat. Akan tetapi, hal yang sama juga terlihat dimana model yang dilakukan pruning mempunyai akurasi lebih tinggi daripada model yang tidak dilakukan pruning. Penelitian mendapatkan bahwa dalam pengetesan model dengan menggunakan dataset asing, model yang tidak dilakukan pruning mempunyai performa yang lebih baik daripada model yang dilakukan pruning jika model tidak dilakukan pelatihan ulang. Akan tetapi, model yang dilakukan pruning mempunyai performa yang lebih baik daripada model yang tidak dilakukan pruning jika kedua model dilakukan pelatihan ulang. Penggunaan cache juga terlihat dapat meningkatkan nilai top-3 eff secara keseluruhan. Sewaktu diimplementasi pada perangkat telepon genggam, model yang dilakukan pruning berhasil menghemat lebih banyak memori dan baterai, baik dalam melakukan inferensi ataupun pelatihan ulang, daripada model yang tidak dilakukan pruning