A Study on the Techniques and the Evaluation of Automatic Text Classification

企業知識庫每天要處理數以萬計之文件資料，無論是外部競爭者網頁、產業分析、客戶需求；或是內部財務報表、技術文件、專利文件，這些皆為企業經營之必要資訊。這樣龐大的資料量無論是在收集、過濾、以及分門別類歸檔皆十分耗費時間與人力資源。企業由此產生對於文件自動分類之需求。如何利用自動化技術，快速有效協助人工分類，以應付大量待分類文件之需求，儼然已成為現今資訊服務與知識管理之重要課題。 企業知識庫之類別架構是否合乎企業需求，收錄之訓練文章是否具代表性，文件分類標準是否一致，這些都足以影響文件分類成果。此外，如何選擇關鍵詞彙使得文件分類工作處理更有效率，分類系統要對待分類之文件有什麼程度之瞭解，如何在速度與正確性之間取得平衡點，這些因素都需要納入文件自動分類系統建置考量。 本研究以漢語平衡語料庫為實驗對象，實作一個文件自動分類系統。並比較機器學習方法與非機器學習方法之分類成效。另外，評估分類系統對於待處理文件之認識程度不同，會對分類成效產生之影響。同時，並應用評估語料庫相似度之統計方法於文件類別上，作為預先定義類別或是收錄文章是否適當之初步評估。Knowledge bases in a corporation have to process thousands of text-based information every day. Those include competitors’ information, industrial analysis reports, and customer requirements outside the corporation; financial statements, technique reports, and patterns inside the corporation, which are considered crucial for business operation. However, the processes of collecting, filtering, and filing are time and labor consuming tasks. Hence, automatic text classification is required to solve the problem. The issue about the employment of automatic techniques to improve manual classification performance and to meet the requirements of considerable quantities of classification tasks has been raised in the area of information services and knowledge management. The appropriateness of hierarchy of the knowledge base in the company, the representiveness of texts in the classes, and the consistency of data collection will all affect the performance of text classification. In addition, the method of selecting key terms, the level of understanding of unknown texts, how to achieve the equilibrium between speed and accuracy should be taken into consideration during the construction of automatic text classification systems. In this research, an automatic text classification system is implemented, and the texts are gathered from the Sinica Corpus. Some machine learning methods and non-machine learning methods will be compared in the thesis. Besides, the effect of varying level of understanding about texts will also be measured. Furthermore, the method of measuring corpus similarity and homogeneity is applied to the classes, in order to measure the appropriateness of predefined classes or texts in those classes.第一章 緒論 1 第一節 研究背景與動機 1 第二節 研究目的 2 第三節 論文架構 3 第二章 文獻探討 4 第一節 文件自動分類定義 4 第二節 文件自動分類工作簡介 5 2-2-1 文件自動分類與文件自動叢集 5 2-2-2 文件分類應用 6 第三節 斷詞處理 7 2-3-1 規則式方法 8 2-3-2 統計式方法 9 第四節 空間向量模式 10 2-4-1 文件呈現方式 10 2-4-2 詞彙權重 11 2-4-3 文件相似度計算 12 第五節 維度刪減 13 2-5-1 改良詞彙顯著性計算公式 14 2-5-2 卡方檢定 15 2-5-3 可能比率測試 16 2-5-4 相互資訊 17 第六節 機器學習演算法 18 2-6-1 Naïve Bayes 18 2-6-2 K最近鄰方法 20 2-6-3 決策樹 22 第三章 研究方法 25 第一節 研究架構 25 第二節 實驗語料 26 第三節 分類演算法選擇 27 第四節 分類系統建立 29 3-4-1 語料庫前處理與切割 30 3-4-2 特徵選取方式 32 3-4-2-1 長詞優先斷詞原則 33 3-4-2-2 PAT-tree 35 3-4-3 分類模型建立 38 第五節 實驗評估 38 3-5-1衡量類別的同質性與相似度 39 第四章 實驗結果 41 第一節 實驗流程 41 第二節 實驗數據 42 第三節 實驗結果分析 51 第五章 結論與建議 55 第一節 研究結論 55 第二節 後續研究建議 57 參考文獻 59 附錄一 中研院詞類標記對照表 63 附錄二 實驗數據 6