[[alternative]]Elimination of duplicate sentences in automatic summarization of Chinese documents

碩士[[abstract]]本研究針對中文文件，以節錄的方式自原文中摘要出重要的句子集合。在擷取重要句子的作法上，一般是利用特徵選取的方式來抽取文章中心概念，如以TFIDF法計算詞彙、句子權重；或以考量特殊關鍵詞、提示字、句子位置等指標作為句子重要度評斷的依據。 本研究假設作者於文章寫作時，經常會重複提及欲論述的主題，這些意思相近的句子便容易在抽取文章中心概念的過程中形成高得分的句子集合。因此，本研究希望藉由比對兩句子之間的相似度，過濾摘要結果中資訊重複的句子。在句子相似度的計算上，除了做詞彙共同出現的布林比對外，也希望能進一步考量同義詞的比對，因此，我們引入中文詞語義知識庫「知網」，透過知網中對詞彙的語義定義，來進行同義詞的相似度計算。 實驗結果發現，在擷取文中重要句子的作法上，使用TFIDF為基礎的詞彙權重計算，結合句子與文章標題句之間的相似度特徵，可提升摘要結果的平均精確度約7%。於摘要結果中，利用Jaccard相似度，結合Hownet的同義詞觀念，以排除摘要重複句，亦可達到提升摘要精確度的效果。[[abstract]]This is a research on automatic summarization of Chinese documents. We try to extract important sentences from documents based on such sentence features as sum of TFIDF weights in a sentence or the location of the sentence in a document. We assume that the important sentences thus extracted might still contain redundant information as authors tend to repeat their main ideas several times in documents. This redundancy would preclude the inclusion of other important sentences under a given summary compression rate. To solve this problem, we propose a sentence similarity measure to filter out duplicate sentences in a summary. Our proposed similarity measure takes into account the co-occurrence of exact and synonym words in two sentences. To compute the similarity of synonym words, Hownet, a Chinese equivalent of English lexical database WordNet, is introduced and implemented. The result shows that a combined sentence feature using sum of TFIDF weights as well as similarity with the title sentence can improve the precision by 7%. For elimination of duplicate sentences, a Jaccard- and Hownet-based similarity measure can also give an improved precision in the automatic summarization results.[[tableofcontents]]目錄 1. 緒論 1 1.1 研究動機 1 1.2 論文架構 1 2. 文獻探討 3 2.1 文件自動摘要相關研究 3 2.1.1 摘要種類 3 2.1.2 自動摘要方法 3 2.1.3 句子相似度計算 4 2.1.4 摘要評估 5 2.2 知網 6 2.3 詞彙語義比對 7 3. 研究方法與系統架構 10 3.1 系統架構圖 10 3.2 前處理 11 3.3 句子重要度計算 12 3.4 重複句排除 16 4. 系統評估 20 4.1 資料集 20 4.2 答案摘要句製作 20 4.3 系統參數選擇 22 4.3.1 系統摘要句重要度公式 22 4.3.2 基於概念詞的句子相似度公式 22 4.3.3 重複句認定的句子相似度門檻值 23 4.4 重複句排除實驗 24 4.5 評估架構圖 26 5. 實驗結果與分析 28 5.1 系統摘要句重要度公式 28 5.2 基於概念詞的句子相似度公式 31 5.3 重複句認定的句子相似度門檻值 33 5.4 重複句排除實驗結果 34 6. 結論與未來發展 45 6.1 結論 45 6.2 未來發展 45 參考文獻 47 圖目錄 圖1. 系統架構圖 10 圖2. 評估架構圖 26 圖3. Dice函數、Jaccard函數與Cosine函數差異分析圖 32 表目錄 表1. 車的概念 7 表2. 不同系統摘要句重要度公式 計算法組合下的平均摘要精確度(%) (文章數為280) 28 表3. ANOVA變異數分析─檢驗特徵結合成效的顯著性 29 表4. 9組文章集採用公式7a及4b，在壓縮率=20%下的平均摘要精確度(%) (各組文章數皆為30，文章不重複) 30 表5. 三種基於概念詞的句子相似度公式Simnh(s x , s y )計算法下的平均摘要精確度(%) (文章數為280) 31 表6. 在系統摘要句及答案摘要句皆有作重複句排除下不同重複句門檻值Tdup的平均摘要精確度(%) (文章數為35) 33 表7. 壓縮率為20%下的摘要精確度(%) (文章數為35) 34 表8. 壓縮率為normal下的摘要精確度(%) (文章數為35) 35 表9. 進行重複句排除的文章摘要精確度(%) 37 表10. ANOVA變異數分析─檢驗重複句排除成效的顯著性 37 表11. 不同壓縮率下的系統摘要句數比較(文章數為35) 38 表12. 壓縮率為20%下的平均摘要精確度(%) (文章數為35) 40 表13. 壓縮率為normal下的平均摘要精確度(%) (文章數為35) 40 表14. 重複句排除實例說明 41[[note]]學號: 694520346, 學年度: 9