Opinion Mining of Indonesian Social Media Posts based on Multimodal Features with Deep Learning

Analisis Media Sosial saat ini merupakan area penelitian penting karena perkembangan pesat dari web dan teknologi seluler dan tren di mana orang cenderung berbagi pandangan, sentimen, dan sikap mereka tentang mikroblog. Opinion Mining dilakukan di Media Sosial yang bertujuan untuk mendapatkan opini terhadap suatu entitas. Analisis Sentimen adalah salah satu subtugas dari Penambangan Opini, dan Deteksi Posisi mendampingi Analisis Sentimen. Penambangan opini menganalisis posting pengguna berbasis teks. Namun, image dan konsep juga perlu diolah sebagai kajian yang komprehensif untuk memahami sentimen dan sikap pengguna media sosial. Dengan demikian, penelitian ini didasarkan pada fitur multimodal. Selain itu, validitas konten yang dibagikan di media sosial dapat diperiksa berdasarkan sentimen dan sikap. Tujuan disertasi ini adalah untuk mengklasifikasikan sentimen dan sikap di media sosial dari teks, gambar, dan konsep. Untuk mencapai tujuan tersebut, ada empat penelitian yang dilakukan yaitu 1) pembangunan dataset multimodal berbasis sentimen pada media sosial berbasis teks, gambar, dan konsep 2) ekstraksi fitur 3) klasifikasi dengan deep learning, dan 4) evaluasi . Hasil dari penelitian ini adalah pemahaman yang lebih baik tentang penggalian opini dari analisis media sosial berdasarkan fitur multimodal. Penelitian ini juga melaporkan klasifikasi profil spam dengan unsupervised learning, menampilkan Stance Classification pada Berita Indonesia dengan LSTM multi representasi, dan Analisis Sentimen berdasarkan Aspek. Selain itu, kami mengusulkan Analisis Sentimen Multimodal dengan Fitur Konsep-Gambar-Teks. Riset ini akan berguna sebagai landasan untuk mendeteksi tren dan identifikasi berita palsu. ================================================================================================================================ Social Media Analysis is currently an important research area due to the tremendous development of web and mobile technology and the trend where people tend to share their views, sentiment, and stance on microblogs. Opinion Mining is conducted on Social Media which aims to obtain an opinion towards an entity. Sentiment Analysis is one of the subtasks of Opinion Mining, and Stance Detection stands next to Sentiment Analysis. Opinion mining analyses text based user posts. However, image and concept also need to be processed as a comprehensive study to understand sentiments and stances of social media users. Thus, this research is based on multimodal features. Furthermore, the validity of content shared in social media could be checked based on sentiment and stance. The objective of this dissertation is to classify sentiment and stance in social media from text, image, and concept. In order to achieve the objective, there are four studies that was conducted, i.e. 1) a multimodal dataset based on sentiment on social media based on text, image, and concept 2) features extraction 3) classification with deep learning, and 4) evaluation. The result of this research is a better understanding on opinion mining of social media analysis based on multimodal features. We also reported spam profile classification with unsupervised learning, presented Stance Classification on Indonesian News with multi representation LSTM, and Sentiment Analysis based on Aspect. Moreover, we proposed a Multimodal Sentiment Analysis with Image-Text-Concept Features. This research would be useful as a foundation for detecting trends and fake news identification