Implementasi Representasi Kata Tingkat Karakter Menggunakan Embedding from Language Models (ELMo) pada Pengurai Dependensi Bahasa Indonesia

Tujuan dilakukannya penguraian dependensi adalah untuk mengetahui hubungan fungsional yang terjadi di antara kata, seperti misalnya hubungan subjek-objek di dalam kalimat. Untuk menguraikan kalimat bahasa Indonesia, morfologi kata perlu diketahui. Hal ini dikarenakan tata bahasa Indonesia banyak sekali melakukan pengimbuhan kata. Berdasarkan hal tersebut, informasi tentang morfologi seharusnya ikut disertakan. Beruntungnya, informasi tersebut bisa disertakan secara implisit oleh representasi kata. Misalnya, Embeddings from Language Models (ELMo) yang berkemampuan untuk menyimpan morfologis kata di dalam representasi kata miliknya. Tidak seperti representasi kata yang secara luas digunakan seperti word2vec ataupun Global Vectors (GloVe), ELMo mempergunakan metode yang berbeda yaitu Character Convolutional Neural Network (Char CNN). Metode ini ditujukan agar pengimbuhan kata bisa tersertakan di dalam representasi kata. Untuk membandingkan ELMo dengan word2vec, beberapa analisis dilakukan yang antara lain analisis kemiripan kata dan pengvisualisasian kata. Hasil analisis menunjukan bahwa representasi kata ELMo lebih baik dibanding word2vec dalam hal menyimpan morfologis kata. Kemudian, pengurai coba dilatih menggunakan representasi kata milik word2vec dan ELMo. Sesuai dugaan, pengurai yang menggunakan ELMo mendapatkan akurasi yang lebih baik dibandingkan dengan word2vec. Unlabeled Attachment Score (UAS) yang didapatkan oleh ELMo adalah sebesar 83.55% sedangkan word2vec 81.35%. Oleh sebab itu penelitian ini mengkonfirmasikan bahwa morfologis kata wajib diikutsertakan terutama pada tugas penguraian dependensi berbahasa Indonesia