Implementasi Kompresi Kalimat Menggunakan Lexicalized Markov Grammar

ABSTRAKSI: Peringkasan teks otomatis (Automated Text Summarization) merupakan proses pengidentifikasian hal penting dari sebuah teks dan mengekspresikannya dalam sebuah dokumen yang lebih singkat. Salah satu teknik peringkasan teks adalah teknik sentence compression yang meringkas teks pada level kalimat, menggunakan data set yang diambil dari Ziff-Davis corpus yang berisi mengenai penjualan produk komputer. Kompresi kalimat menggunakan penghapusan, penyisipan dan penggantian kata dalam rangka menghasilkan ringkasan.Tugas akhir ini digunakan pendekatan statistik dengan metode Lexilcalized Markov Grammar yang didasari oleh Markov Chain Rule yang memodelkan tiga buah model yaitu source model P(c), channel model P(l|c) dan decoder argmax P(c|l), dimana c adalah kalimat ringkasan dan l adalah kalimat panjang. Permasalahan pada metode ini adalah mengidentifikasi noise, yaitu kata yang tidak penting dan harus dibuang agar kalimat ringkasan dapat terbentuk. Hasil eksperimen menunjukkan bahwa eksperimen ini berhasil mengimplementasikan metode lexialized markov grammar untuk sentence compression memberikan tingkat simmilarity hingga 81.75% dengan ringkasan standar manusia , nilai grammaticality sebesar 93.2% dan nilai importance sebesar 92.7% yang artinya sudah mendekati hasil ringkasan manusia.Kata Kunci : Text Summarization, Lexicalized Markov Grammar, Markov Chain, Sentence Compression.ABSTRACT: Automatic Text Summarization (Automated Text Summarization) is the process of identifying the important thing from a text and express it in a shorter document. One technique is text summarizing sentence compression techniques that summarize the text at sentence level, using data sets taken from the Ziff-Davis corpus containing about sales of computer products. Sentence compression using deletion, insertion and replacement of words in order to produce this final ringkasan.Tugas used a statistical approach with Markov Grammar Lexilcalized method based on Markov Chain Rule three models that simulate the source model P (c), the channel model P (l | c) and decoder argmax P (c | l), where c is a summary sentence and l is a long sentence. The problem in this method is to identify the noise, that is a word that is not important and should be discarded for a summary sentence can be formed. The experimental results show that this experiment succeeded in implementing the method lexialized markov grammar for sentence compression provide simmilarity level up to 81.75% with a summary of the human standard the value of 93.2% grammaticality and importance value of 92.7% which means that is close to the results of human summaries.Keyword: Text Summarization, Lexicalized Grammar Markov, Markov Chain,Sentence Compressio