An Association Classification Rule Based Rule extraction Algorithm for Competitive Learning Neural Networks

探索大量且高維度的非線性複雜資料是資料分析中主要的問題，而類神經網路（Neural Network）由於具高度適應非線性函數的能力，因而受到廣大使用。但令人遺憾的是，類神經網路不能對其產生的結果做出合理的解釋，讓其使用上受到極大的限制，本研究期望能改進在解決類神經網路的黑箱子缺點。 競爭式學習神經網路（Competitive Learning Neural Network）裡，包含自組織映射網路（Self-Organized Map, SOM）、學習向量量化網路（Learning Vector Quantization, LVQ）等，這些網路共同的特徵是其學習法則都是採用贏者全拿（Winner-Take-All）的單層類神經網路。但是，卻甚少學者在此類型神經網路進行法則萃取（Rule Extraction）的研究，以往的文獻大多都限制在前饋式（Feedforward）神經網路結構上，且萃取出的法則往往大量而不能獲知此法則的重要程度。 因此，本研究嘗試發展能從競爭式學習神經網路結構下，藉由將相似資料歸屬到已身的神經元萃取出關聯分類法則來解釋輸入資料的推理法則。且以距離衡量神經元特徵屬性值變異為基的屬性離散化演算法，同時考慮所有屬性來離散化成具有群內變異低、群間變異高特性的區間。生成具信度和撐度的關聯分類法則，由於法則具高緊密度的法則意義，更能降低分類法則包含到雜訊的機會。最後再經由關聯分類法則合併演算法，將法則兩兩進行合併，進行法則集合化簡，獲得不會資訊遺失的合併法則。最後將萃取的關聯分類法則與決策樹－C4.5加以比較，以UCI Machine Learning DataBase中的一些標竿問題（BenchMark Problem）來驗證辨識正確率。Neural networks have been successfully applied to solve a variety of application problems including classification and function approximation. They are especially useful for function approximation problems because they have been shown to be universal approximators. But, The neural network is considered a black box. It is hard to determine if the learning result of a neural network is reasonable, and the network can not effectively help users to develop the domain knowledge. Thus, it is important to supply a reasonable and effective analytic method of the neural network. This research expects to be able to improve the black box shortcoming of the solving type neural network. Competitive Learning Neural Network include Self-Organized Map, Learning Vector Quantization. These common characteristics of network are that are all to adopt the single layer of neural networks that Winner-Take-All completely that their study rules .However, past researchs are mostly all limited on the neural network structure of the feedforward network, but the important degree that can't know this rule. So this research develop to extract out the Association Classification Rule from neurons. Finally, extracted rule is compared decision tree-C4.5, proves with some BenchMark Problems in UCI Machine Learning DataBase that distinguish the correct rate.目錄 I 圖目錄 III 表目錄 V 名詞彙編 VI 符號列表 VII 第1章 緒論 1 1.1. 研究背景 1 1.2. 研究目的 2 1.3. 研究方法與進行步驟 3 第2章 文獻探討 5 2.1. 背景知識介紹 5 2.2. 法則萃取之相關文獻 10 2.3. 競爭式學習神經網路之相關文獻 12 2.4. 關聯法則之相關文獻 17 2.5. 離散化之相關文獻 20 2.3.1 離散化演算法 21 2.3.2 熵於基的離散化方法 23 2.6. 約略集合理論之文獻 26 2.7. 決策樹之相關文獻 29 2.8. 小結 31 第3章 一種以關聯分類法則為基的競爭式學習神經網路法則萃取演算法 32 3.1. 演算法整體架構 32 3.2. 以距離衡量神經元特徵屬性值變異為基的屬性離散化演算法 34 3.2.1 通用離散化流程 34 3.2.2 演算法概念與敘述 36 3.2.3 演算法範例 53 3.3. 具撐度與信度關聯分類法則生成演算法 62 3.3.1 演算法概念與敘述 62 3.3.2 演算法範例 86 3.4. 關聯分類法則合併演算法 92 3.4.1. 演算法概念與敘述 92 3.4.2. 演算法範例 108 第4章 實例驗證與探討 116 4.1. 分類問題類型與評估方法 116 4.2. Two-Ring標竿問題介紹與驗證 117 4.3. Iris Plant標竿問題介紹與驗證 120 4.4. Wing Recognition標竿問題介紹與驗證 122 4.5. Pima Indians Diabetes標竿問題介紹與驗證 125 4.6. Wisconsin BreastCancer標竿問題介紹與驗證 127 4.7. 小結 129 第5章 結論與未來研究建議 130 5.1. 結論 130 5.2. 未來研究建議 131 參考文獻 133 附錄 13