[[alternative]]The research on improving the performance of information retrieval with the agglomerative nesting (AGNES) algorithm : using a Chinese news dataset

碩士[[abstract]]傳統向量模式檢索系統回傳的相關資料往往過於雜亂缺乏系統，使用者必須花費心思逐步過濾，才能取得真正符合需求的資訊。本研究以聚合法所建構出的樹狀結構為基礎，由下而上動態群聚向量模式檢索系統所回傳的結果，形成多個群集，群集間依本研究之耦合力與內聚力的平均值做排名，群集內則依文章與查詢的相似度做排名，經調整排名後提升其精確率，並以群集的方式提供使用者瀏覽。 本研究採用中文文件集，經斷詞、特徵詞選取、建立文件向量、分群、檢索、群聚檢索結果與調整排名等處理。實驗結果顯示，在整體檢索表現中本系統可提升傳統向量模式檢索系統約20.9%~24.0%的精確率，經Wilcoxon Signed Ranks Test檢定，在1個關鍵詞與2個關鍵詞查詢下，本系統檢索表現優於傳統向量模式檢索系統。[[abstract]]Usually the document ranking returned by the traditional vector space model of an information retrieval system is unorganized. It is often found that related documents do not have adjacent ranks. In order not to miss the needed information, the user still has to read several unrelated documents before finding another related document. In this research, we cluster the documents from the traditional vector space model based on the binary tree hierarchy constructed by the AGglomerative NESting (AGNES) algorithm. The clusters are ranked by the average of the coupling and the cohesion measures proposed in this thesis, and the documents in the cluster are ranked by the similarity between the query and the document. We try to improve the precision by such ranking adjustment. We used the Chinese news dataset and went through the word segmentation, vector representation, AGNES clustering, query based document retrieval and the final ranking adjustments for evaluation. As result, our system can improve the precision by 20.9% to 24.0% compared to the traditional vector space model. We also tested the result by the Wilcoxon Signed Ranks Test. It shows that our system is significantly better than the traditional vector space model for queries of one or two keywords.[[tableofcontents]]目錄 目錄 III 圖目錄 VI 表目錄 VII 1. 緒論 1 1.1. 研究動機與背景 1 1.2. 研究目的 5 1.3. 論文架構 5 2. 相關研究 6 2.1. 中文斷詞 6 2.2. 檢索系統 7 2.2.1. 反向檔 7 2.2.2. 向量空間模型 8 2.2.3. 向量模式檢索與排名 10 2.2.4. 評量模式 11 2.3. 文件分群 13 2.3.1. 分割式分群 13 2.3.2. 階層式分群 14 3. 以聚合法提升檢索效果之方法 17 3.1. 系統架構 17 3.2. 文件前處理 18 3.2.1. 中文斷詞 18 3.2.2. 文件特徵表現法 19 3.3. 文件分群 20 3.3.1. 建立文件向量 20 3.3.2. 以聚合法建構樹狀結構 20 3.4. 群聚檢索結果與調整排名 21 4. 實驗結果與分析 32 4.1. 資料集與實驗方法 32 4.1.1. 資料集 32 4.1.2. 實驗環境 35 4.1.3. 實驗方法 35 4.2. 實驗結果與分析 37 4.2.1. 效用實驗 37 4.2.2. 實驗一 41 4.2.3. 實驗二 45 4.2.4. 實驗三 46 4.2.5. 結果分析 46 5. 結論與未來方向 50 5.1. 結論 50 5.2. 未來方向 51 6. 參考文獻 52 圖目錄 圖 1：查詢q之檢索結果二維空間示意圖 3 圖 2：k-means分群演算法 14 圖 3：聚合法與分裂法示意圖 15 圖 4：聚合法分群演算法 15 圖 5：系統架構圖 18 圖 6：樹狀結構圖 21 圖 7：聚合法群聚示意圖 22 圖 8：查詢q1之檢索結果二維空間示意圖 24 圖 9：查詢q1之群聚檢索結果示意圖 26 圖 10：查詢q2之檢索結果二維空間示意圖 27 圖 11：查詢q2與群集之內聚力示意圖 27 圖 12：內聚力誤判示意圖 28 圖 13：以耦合力調整內聚力誤判示意圖 29 圖 14：耦合力誤判示意圖 30 圖 15：以內聚力調整耦合力誤判示意圖 30 圖 16：以聚合法為基礎的群聚檢索結果與調整排名 31 圖 17：精確率圖 42 圖 18：F值圖 42 表目錄 表 1：查詢q之檢索排名 3 表 2：文章列表 7 表 3：反向檔 8 表 4：參考標示與系統回應 12 表 5：查詢q1之檢索排名 23 表 6：查詢q1調整後的排名 26 表 7：檢索結果群聚後可能狀況 31 表 8：CIRB30文章相關層級 32 表 9：資料集590篇文章斷詞前後之統計資料 33 表 10：13個測試主題 34 表 11：關鍵詞加入順序，以「電腦病毒」主題E為例 36 表 12：各主題的關鍵詞查詢數 36 表 13：群排名指摽在1個關鍵詞查詢下之F值提升率 38 表 14：群排名指摽在2個關鍵詞查詢下之F值提升率 39 表 15：群排名指摽在3個關鍵詞查詢下之F值提升率 39 表 16：群排名指摽之F值提升率總平均 40 表 17：群排名指標表現最好之總次數 40 表 18：各召回點之召回率、精確率、F值 41 表 19：1個關鍵詞29次查詢在13個主題下平均F值與平均精確率之提升率 44 表 20：2個關鍵詞26次查詢在9個主題下平均F值與平均精確率之提升率 45 表 21：3個關鍵詞6次查詢在4個主題下平均F值與平均精確率之提升率 46 表 22：本系統檢索表現提升率之敘述統計 46 表 23：SPSS－Wilcoxon Signed Ranks Test－output1 48 表 24：SPSS－Wilcoxon Signed Ranks Test－output2 49[[note]]學號: 693520560, 學年度: 9