Two-stage Clustering for Longitudinal Data with Self-Learned Entropy

本研究探討了熵的概念及其在集群分析中的應用。為了去計算熵值，我們提出採用' 二階段分群法'，使我們可以對每個觀測值標記一組' 偽標籤'。在第一階段分群中，我們將時間軸分割成幾個(m 個) 子區間。對於每個子區間，我們採用分割式分群法將數據分成K 群，其中K 是預先給定的。然後，我們組合m 個分群結果去形成相似度矩陣，使我們可以透過傳統的階層式分群分析來構建第二階段分群。二階段分群法的副產品是' 擬熵圖'，其表現出熵的時變性，並展現出每個子區間影響最終分群結果的程度。最後，我們探討了應用熵來決定群的數量。 我們將本論文提出的方法，對於台灣各地測站紀錄之PM2.5 濃度資料進行分群研究及討論。This study discusses the concept of entropy and its applications in cluster analysis. In order to calculate the entropy, we propose to introduce a 'two-stage clustering' so that a set of 'pseudo labels' can be tagged to each observation. For the first stage, the time-axis is divided into several subintervals. For each subinterval, we adopt a partitioning method to divide the data into K clusters,where K is pre-specified. We then combine the m clusters to form a similarity matrix so that the second-stage clustering can be constructed, by the conventional hierarchical cluster analysis. A by-product of this two-stage method is the 'entropy plot', which exhibits the time-varying pattern of entropy and reveals the extent that each subintervals affect the final clustering result. Finally, we discuss the application of entropy to be used to decide the number of clusters. We demonstrate own method by analyzing Taiwan's monitoring data of fine particulate matter.中文摘要. . . . . . . . . . . . . . . . . . . . . . . . i Abstract. . . . . . . . . . . . . . . . . . . . . . . .ii 目錄. . . . . . . . . . . . . . .. . . . . . . . . . iii 圖目錄. . . . . . . . . . . . . . . . . . . . . . . . . v 表目錄. . . . . . . . . . . . . . . . . . . . . . . . vii 第一章 緒論. . . . . . . . . . . . . . . . . . . . . . . 1 第二章 方法回顧. . . . . . . . . . . . . . . . . . . . . 3 2.1 K-means 分群法. . . . . . . . . . . . . . . . . . . 3 2.2 非中心參數分群法. . . . . . . . . . . . . . . . . . .4 2.2.1 非中心參數介紹. . . . . . . . . . . . . . . . . . .4 2.2.2 疊代型子集重組法. . . . . . . . . . . . . . . . . .5 2.3 Gap statistic 和CH 指標. . . . . . . . . . . . . . .7 2.3.1 Gap statistic . . . . . . . . . . . . . . . . . . 7 2.3.2 CH 指標. . . . . . . . . . . . . . . . . . . . . .7 第三章 研究方法. . . . . . . . . . . . . . . . . . . . . 8 3.1 二階段分群法. . . . . . . . . . . . . . . . . . . . .8 3.1.1 二階段分群法簡介. . . . . . . . . . . . . . . . . .8 3.1.2 相似度測量. . . . . . . . . . . . . . . . . . . . .8 3.1.3 二階段分群法. . . . . . . . . . . . . . . . . . . .9 3.2 以熵值(entropy) 來決定群數. . . . . . . . . . . . . 10 3.2.1 熵理論. . . . . . . . . . . . . . . . . . . . . .10 3.2.2 Entropy 的計算. . . . . . . . . . . . . . . . . .11 3.2.3 擬熵圖(entropy plot) . . . . . . . . . . . . . . 15 第四章 模擬研究. . . . . . . . . . . . . . . . . . . . .19 4.1 模擬設計介紹. . . . . . . . . . . . . . . . . . . . 19 4.1.1 模擬設計I . . . . . . . . . . . . . . . . . . . . 19 4.1.2 模擬設計II . . . . . . . . . . . . . . . . . . . .21 4.1.3 模擬設計III . . . . . . . . . . . . . . . . . . . 22 4.2 Entropy 模擬結果. . . . . . . . . . . . . . . . . . 24 4.2.1 各分群法與Entropy 之模擬. . . . . . . . . . . . . 24 4.2.2 各分群法之模擬結果比較. . . . . . . . . . . . . . .25 第五章 實例研究. . . . . . . . . . . . . . . . . . . . .30 5.1 資料介紹- PM2.5 . . . . . . . . . . . . . . . . . . 30 5.1.1 資料分析- PM2.5 . . . . . . . . . . . . . . . . . 31 第六章 結論及後續討論. . . . . . . . . . . . . . . . . . 36 第七章 參考文獻. . . . . . . . . . . . . . . . . . . . .38 圖目錄 圖3.1 將資料進行切割. . . . . . . . . . . . . . . . . . 11 圖3.2 利用二階分群法之最終分群結果和初始分群結果計算b 個Entropy . . . . . . . . . . . . . . . . . . . . . . . 12 圖3.3 模擬函數I . . . . . . . . . . . . . . . . . . . . 16 圖3.4 模擬函數I - Entropy Plot . . . . . . . . . . . . 16 圖3.5 模擬函數IV . . . . . . . . . . . . . . . . . . . .17 圖3.6 模擬函數IV - Entropy Plot . . . . . . . . . . . . 17 圖4.1 模擬函數I 資料範例圖(n=20, m=50) . . . . . . . . . 19 圖4.2 模擬函數II 資料範例圖(n=20, m=50) . . . . . . . . 20 圖4.3 模擬函數III 資料範例圖(n=20, m=50) . . . . . . . . 20 圖4.4 模擬函數IV 資料範例圖(n=20, m=50) . . . . . . . . .21 圖4.5 模擬函數V 資料範例圖(n=20, m=50) . . . . . . . . . 22 圖4.6 模擬函數VI 資料範例圖(n=30, m=50) . . . . . . . . .23 圖4.7 模擬函數VII 資料範例圖(n=30, m=50) . . . . . . . . 23 圖4.8 方法之比較圖. . . . . . . . . . . . . . . . . . . 28 圖5.1 2014 年測站之PM2.5 濃度圖. . . . . . . . . . . . .30 圖5.2 pm 2.5data 以顏色區分兩群結果；藍色為台灣中、南部地區，紅色為台灣東、北部地區. . . . . . . . . . . . . . . . . .31 圖5.3 two-stage 法之分群結果. . . . . . . . . . . . . . 32 圖5.4 two-stage 法之分群結果. . . . . . . . . . . . . . 33 圖5.5 Entropy plot . . . . . . . . . . . . . . . . . . 34 圖5.6 Entropy plot . . . . . . . . . . . . . . . . . . 35 表目錄 表3-1 初始分群數k 比較表. . . . . . . . . . . . . . . . 14 表4-1 各分群法在不同分群數下之熵值比較表。. . . . . . . . 24 表4-2 各分群法針對模擬資料進行分群之最佳分群數選擇次數表. . 25 表4-3 各分群法針對模擬資料進行分群之最佳分群數選擇次數表2 . 26 表4-4 各分群法針對模擬資料進行分群之最佳分群數選擇次數表3 . 27 表5-1 分群數K 的選擇. . . . . . . . . . . . . . . . . . 3