[[alternative]]A study of applying machine learning with multi-dictionary for bilingual opinion analysis

碩士[[abstract]] 意見分析目的為利用自然語言處理的理論及運算技術，了解網路上意見文本、語句中所蘊含的主觀傾向。在中文評論裡，偶爾會出現中英文交替使用的現象。然而，以往研究中較少有同時針對不同語言共存的問題提出相關整合方法。 本研究提出一中英雙語意見分析的方法，設計一中英雙語意見辭典，衡量各意見辭典與使用語法特徵，並且利用機器學習進行分類，最後運用特徵選取的方法得到最佳化的特徵集合。 實驗結果顯示，意見辭典的搭配選擇會影響分類效果，使用雙語意見分析的方法於中文語料庫中時，在最佳化特徵集合後，使用21個特徵值於機器學習的整體正確率可達到交叉驗證74.98%與開放測試77.10%。除此之外，本論文亦針對英文資料在中文語料庫中的比例進行探討，結果顯示英文資料的比例越高，中英雙語意見分析的方法影響力越高。 本論文主要貢獻為提出美妝保養專有領域意見詞、比較不同意見辭典之搭配的效果，以及證實雙語意見傾向之評估具有輔助機器學習的效果。[[abstract]]Opinion Analysis is a task that aims to determine the subjective orientation in contexts of expressing opinions on the Internet using computational techniques of Natural Language Processing. Posting opinions on the Internet that use bilingual expression is an occasional case in Chinese reviews. However, very little attention has been given to bilingual expression of opinion analysis in prior research. This paper proposes an approach, which focuses on bilingual opinion analysis applying multi-dictionary, machine learning and feature selection in the contexts of bilingual opinion in Chinese reviews. We found that accuracy would be strongly affected by different sets of general sentiment dictionaries. Our optimal experiment results showed that the overall performance by using 21 features of our proposed system achieved 74.98% with accuracy of cross validation and 77.10% with accuracy of open test. In addition to the experimental results, we also discovered the influential trend of our system by the variation of proportion of English data in Chinese reviews. The contributions of this paper are threefold: (1) extracting a new Chinese sentiment dictionary in the field of cosmetic reviews from our experiment, (2) comparing the influences in different sentiment dictionaries, and (3) proving that bilingual opinion analysis can facilitate the performance of machine learning in Chinese reviews.[[tableofcontents]]第一章、緒論1 1.1研究背景1 1.2研究動機2 1.3問題定義3 1.4研究目的3 1.5論文架構4 第二章、文獻探討6 2.1意見分析6 2.2意見分析辭典13 2.3.1中文意見分析辭典13 2.3.2英文意見分析辭典18 2.3機器學習21 2.2.1監督式機器學習22 2.2.2非監督式機器學習22 2.4特徵降維24 2.4.1特徵選取24 2.4.2特徵擷取26 2.5本章小結28 第三章、研究方法與系統架構29 3.1研究方法29 3.2系統架構32 3.3意見評論語料蒐集33 3.3.1語料蒐集33 3.3.2網路探勘34 3.4資料前置處理37 3.4.1結構化語料集38 3.4.2斷詞斷句與詞性標記40 3.5中英雙語意見辭典整合43 3.5.1中文意見分析情緒辭典44 3.5.2英文意見分析情感辭典45 3.5.3新詞萃取擴張47 3.6特徵值產生49 3.7機器學習51 3.8特徵選取53 第四章、研究結果與討論54 4.1實驗資料分配與實驗評估方式54 4.1.1實驗語料54 4.1.2實驗使用之意見辭典55 4.1.3分類器模組選擇55 4.1.4實驗評估方式56 4.2特徵值效果比較58 4.3意見辭典效果評估59 4.4含語意特徵值效果評估64 4.5英語資料比例的影響65 4.6特徵選取分析67 第五章、結論與意涵72 5.1結論72 5.2研究貢獻73 5.3管理意涵74 5.4未來展望75 參考文獻76 附錄一、中研院平衡語料庫詞類標記集82 附錄二、中研院平衡語料庫標點符號標記集84 附錄三、PART OF SPEECH TAGS詞類標記集85 附錄四、ICOSMESD正面詞意見辭集87 附錄五、ICOSMESD負面詞意見辭集88 圖目次 ===================================== 圖1多辭典的中英雙語意見分析之研究架構流程5 圖2意見分析的技術方法類型7 圖3《知網》知識義原定義示範圖13 圖4《哈工大同義詞詞林擴充版》詞匯編列之組織架構圖16 圖5SENTIWORDNET 單字查詢範例-MARVEL19 圖6機器學習的方法及處理流程23 圖7特徵降維的方法種類27 圖8系統發展方法的研究生命週期循環圖30 圖9系統發展研究方法論流程圖31 圖10應用機器學習與多辭典的中英雙語意見分析方法系統架構32 圖11URCOSME商品使用心得查詢介面33 圖12網站URCOSME之商品使用心得分析34 圖13擷取網頁流程圖35 圖14原始語料集正負評論數量分佈表36 圖15實驗用語料集正負評論數量分佈表36 圖16資料前置處理架構示意圖37 圖17PARSER程式所解析的商品資訊網頁38 圖18PARSER程式解析之後的結構化商品資訊39 圖19PARSER程式所解析的商品使用心得網頁39 圖20PARSER程式解析之後的結構化商品使用心得評論資訊40 圖21中英雙語意見分析詞語集整合流程44 圖22新詞萃取流程48 圖23YSYA執行結果48 圖24標記語料庫之正負極性49 圖25LIBSVM訓練資料之方法51 圖26LIBSVM最佳化參數圖52 圖27實驗語料分布55 圖28正確率運算資料區別之圖示說明57 圖29辭典的各別正確率比較圖60 圖30各辭典以辭典意見詞為基礎的效能統計圖61 圖31各辭典搭配的效能比較分析圖63 圖32各辭典含語意特徵的分類效能統計圖65 圖33調整英文資料比例的分類效果分析圖66 圖34特徵資料值分布圖67 圖35特徵選取組合效果分析圖71 表目次 ===================================== 表1意見探勘的任務及其階層分類 12 表2《知網》中文情緒詞集之詞語數量統計14 表3《知網》中文情緒詞集各子辭集範例列表14 表4NTUSD範例詞列表15 表5第四層及第五層的詞組範例16 表6《廣義繁體知網》定義範例17 表7SENTIWORDNET同義詞集範例19 表8WORDNET-AFFECT A-LABELS 及相關同義詞範例20 表9ENGLISH OPINION LEXICON FROM HU & LIU範例詞列表21 表10監督式及非監督式機器學習法特性比較表23 表11特徵選取方法的優劣比較表26 表12CKIP中文斷詞斷句與詞性標記範例41 表13CKIP斷詞系統之詞性標記對應41 表14英文詞語POS TAGGER處理43 表15POS TAGGER之詞性標記對應43 表16知網中文情緒辭集之詞語數量統計表45 表17情緒程度標記範例表45 表18SENTIWORDNET範例46 表19英語情緒程度值標記範例表46 表20ICOSMESD情緒程度值計分範例表47 表21語意特徵詞範例表49 表22特徵值列表總覽50 表23各辭典的正、負向意見詞數量統計表55 表2410-FOLD交叉驗證結果分析56 表25特徵值交叉驗證及開放測試數據表58 表26辭典的各別正確率數據59 表27各辭典以意見詞為基礎之效能比較表61 表28辭典組合定義62 表29各辭典搭配的效能比較表62 表30含語意特徵之分類效能比較表65 表31調整英文資料比例的分類效果比較表66 表32SPEARMAN’S RANK CORRELATION COEFFICIENT 特徵選取69 表33特徵選取組合70 表34特徵選取組合正確率數據70[[note]]學號: 700630287, 學年度: 10