[[alternative]]Sentiment analysis with deep learning for consumer review on social media

碩士[[abstract]]在社群大數據的影響下，消費者大量的發表評論於社群網路上。而為了得知消費者的意見傾向，情感分析被大量的應用於文本資料的分析上。然而在過去的文獻中較少應用深度學習於中文評論上，因此本研究檢驗深度學習應用於情感分析的效果。 本研究開發網路爬蟲程式蒐集Google Play上總計196,651條評論，以深度學習、貝氏演算法、支援向量機，三種方法進行情感分析，並比較效果與正確率。 實驗結果顯示，貝氏演算法的正確率為74.12%、支援向量機得到76.46%、深度學習預測模型的正確率為94%。從而證明深度學習在情感分析上的預測效果最為出色。 本論文的研究貢獻為 (1)本研究提出一套使用深度學習於中文手機應用程式消費者評論情感分析方法，實驗結果證實本研究所提出的深度學習方法能有效提升消費者評論情感分析正確率。(2)本研究透過文本資料分析，建構出適用於手機應用程式領域的正負向意見詞典[[abstract]]Influenced by Big Data, there are a large number of customers shared their product reviews on social media. Therefore, many researchers implement sentiment analysis technique on consumer reviews to understand the opinion tendency. However, there are few research about implement deep learning method on Chinese customer reviews. It is therefore the intent of the present study to examine the effect of sentiment analysis with deep learning method. The study used web mining technique collected 196,651 reviews on Google Play. In addition, we use deep learning, Naïve Bayes, Support vector machine methods for sentiment analysis and compared the result. The present study display the accuracy of the Naïve Bayes is 74.12%, the accuracy of Support vector machine is 76.46%, and the accuracy of deep learning is 94%. Our finding confirm that sentiment analysis with deep learning is outstanding. There are three contributions in present finding. First, the present study confirm sentiment analysis with deep learning on Chinese cell phone application customers reviews may improve the accuracy of prediction. Second, the present study create a sentiment dictionary of cell phone application. Third, the study compared the result of average sampling data and non-average sampling data. We found that deep learning method with non-average sampling data reached the better performance.[[tableofcontents]]目次 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機 1 1.3 研究目的 2 1.4 研究架構 3 第二章 文獻探討 4 2.1 情感分析 4 2.2 意見辭典 5 2.3 貝氏演算法(Naïve Bayes) 6 2.4 類神經網路 7 2.5 支援向量機(Support Vector Machine) 7 2.6 深度學習 9 2.6.1 活化函數(Activation Function) 10 2.6.2 卷積神經網路(Convolutional Neural Networks) 12 2.6.3 遞迴式類神經網路(Recurrent Neural Networks) 14 2.6.4 長短期記憶(Long Short Term Memory) 15 2.6.5 閘循環單元(Gated Recurrent Unit) 16 2.6.6 雙向遞迴式類神經網路(Bidirectional Recurrent Neural Network) 17 2.7 本章小節 19 第三章 研究方法與系統架構 21 3.1 研究方法 21 3.2 系統架構 24 3.3 手機應用程式評論蒐集 25 3.3.1 評論蒐集 25 3.3.2 資料前處理 27 3.4 新詞萃取 29 3.5 特徵值產生 29 3.6 產生詞向量(Word Embedding) 31 3.7 建立深度學習模型與 32 3.8 深度模型參數設定 34 3.8.1 損失函數(Loss Function) 34 3.8.2 優化器(Optimizer) 35 第四章 資料分析與結果 38 4.1 資料分配與實驗說明 38 4.1.1 資料分配 38 4.1.2 實驗說明 43 4.2 實驗分析結果 44 4.2.1 基於貝氏演算法(Naïve Bayes)的意見分析 44 4.2.2 基於支援向量機(Support Vector Machine)的情感分析 46 4.2.3 基於長短期記憶(Long Short Term Memory)的情感分析 46 4.2.4 基於GRU之情感分析 52 4.2.5 基於雙向長短期記憶之情感分析 56 4.2.6 各活化函數與優化器搭配結果比對 60 4.2.7 各機器學習效果比對 64 第五章 結論與意涵 65 5.1 結論 65 5.2 研究貢獻 66 5.3 管理意涵 66 5.4 未來研究方向 67 參考文獻 68 圖目次 圖 1支援向量機分類圖 8 圖 2非線性分類資料 9 圖 3 雙彎曲函數 10 圖 4 雙彎曲正切函數 11 圖 5 線性修正函數 12 圖 6 基於自然語言處理的CNN架構 13 圖 7 遞迴式類神經網路架構 15 圖 8 長短期記憶 16 圖 9 GRU架構圖 17 圖 10 BRNN架構圖 18 圖 11 資訊系統發展方法研究生命週期循環圖 22 圖 12系統發展研究法研究流程圖 23 圖 13深度學習於社群網路消費者評論之情感分析研究 24 圖 14 Google Play 分類查詢介面 26 圖 15 Google Play 手機應用程式使用者評論畫面 27 圖 16 原始資料正負面評論數量分布圖 28 圖 17 結構化後的使用者評論資料 28 圖 18支援向量機訓練資料格式 31 圖 19 詞向量結果截圖 32 圖 20 深度學習模型建構流程圖 34 圖 21 深度模型建立流程圖 37 圖 22 無評論留言之示意圖 39 圖 23 負向評論留言字數折線圖 40 圖 24 正向評論留言字數折線圖 41 圖 25 訓練資料正負數量 42 圖 26 原始資料與實驗用語料比較分布圖 43 圖 27非平均採樣實驗A7 的LSTM訓練圖 48 圖 28非平均採樣實驗A9 的LSTM訓練圖 49 圖 29 平均採樣實驗B7 的LSTM訓練圖 50 圖 30平均採樣實驗B9 的LSTM訓練圖 51 圖 31非平均採樣實驗C7 的GRU訓練圖 53 圖 32非平均採樣實驗C8的GRU訓練圖 53 圖 33 平均採樣實驗D7的GRU訓練圖 55 圖 34 平均採樣實驗D8的GRU訓練圖 55 圖 35非平均採樣實驗E7的BLSTM訓練圖 57 圖 36非平均採樣實驗E8的BLSTM訓練圖 57 圖 37 平均採樣實驗F7的BLSTM訓練圖 59 圖 38 平均採樣實驗F8的BLSTM訓練圖 59 圖 39各機器學習方法準確率之比對 64 表目次 表 1 知網情緒詞範例表 6 表 2 NTUSD意見詞範例表 6 表 3中文情感分析研究 19 表 4英文情感分析研究 19 表 5 iSGoPaSD情緒詞範例詞 29 表 6 特徵值列表 30 表 7特徵值訓練資料範例 31 表 8 詞向量範例 32 表 9詞向量高相關性範例詞彙 32 表 10 深度學習模型參數表 36 表 11 Padding轉換範例 37 表 12 負向評論字數分布 39 表 13 正向評論字數分布 40 表 14 貝氏演算法預測模型正確率表 45 表 15 使用者評分與預測極性衝突範例 45 表 16 交叉驗證結果分析 46 表 17 實驗硬體配備 47 表 18 非平均採樣資料集的LSTM結果 48 表 19 平均採樣資料集的LSTM結果 50 表 20 非平均採樣資料集的GRU結果 52 表 21 平均採樣資料集的GRU結果 54 表 22非平均採樣資料集的BLSTM結果 56 表 23 平均採樣資料集的BLSTM結果 58 表 24 Sigmoid在各種組合下的結果 61 表 25 Relu在各種組合下的結果 62 表 26 TanH在各種組合下的結果 63 表 27 各機器學習方法準確率比對 64[[note]]學號: 605630028, 學年度: 10