Applications and Challenges of Combining Geographic Information Systems and Machine Learning in Government Open Data

我國於2012年正式啟動政府資料開放政策以來，經過各公家機關與民間的共同努力，政府資料開放平臺上已開放超過三萬餘筆的資料集，其中資料集中含有地理資訊的資料集多不勝數，本論文將以具備地理資訊資料集當作探討主題。 依據全球資訊網（W3C）發明者和鏈結資料的創始者，提姆．柏納-李 (Tim Berners-Lee)對於開放資料五顆星的分類架構，目前我國政府開放資料，致力邁向符合第5顆星的開放資料等級，面臨到的挑戰就是須把每個資料行鏈結到其他資料集以提供資料之間鏈結關係。 對於資料應用者而言，將政府開放資料做異質性資料整合有幾項挑戰，(1)資料集地理資訊的座標系統格式眾多 (2)異質性檔案格式(3)編碼格式不一致，因此要先解決以上問題，才可進行資料的整合應用。 目前政府開放資料大都是以提供即時資料為主，從政府開放資料引導至大數據資料，就需把異質性的資料相互連結一起，並挑選合適的關聯條件，當數據集收集到一定程度時，可透過機器學習服務來分析特徵因子之間的機率密度，從中找到較佳的特徵點，讓機器學習軟體在學習、訓練模型時，可有更多樣特徵排列組合、不只可讓分類模型更加和預測模型可具備更多的參考的特徵因子，才能發揮資料分析的最大價值。 因此，本論文提出一個應用程式服務，針對政府開放資料具備地理資訊的資料集，能有效分析不同的座標格式、空間格式，並透過統一地理資訊代碼格式將空間屬性統一儲存，並可依照已處理過的資料集中選擇特徵因子，產生部分特徵資料集，為避免資料重複問題，保證特徵資料的乾淨，產製資料符合第一正規化，在藉由資料分化演算法，將資料集分裂成多種不同維度的資料集，在異質資料鏈結演算法中，便可挑選多種相關、不同維度的資料集以統一的地理資訊代碼融合在一起，此系統可提供處理政府開放資料的資料清整、資料分化、以及提供異質性特徵集融合的演算法，產製出來的資料可供給機器學習軟體分析使用，以提供更佳的訓練模型以及更多樣性的預測分析使用。Since Taiwan officially launched the government information open policy in 2012, through the joint efforts of public agencies and the private sector, more than 30,000 data sets have been opened on the government information open platform, and there are numerous data sets containing geographic information. This paper will use the set of geographic information materials as the topic of discussion. According to the founder of the World Wide Web inventor and link data, Tim. Tim Berners-Lee's classification structure for five stars of open data. At present, the government of China is open to information and is committed to the level of open data that meets the 5th star. The challenge is to have every data line. Link to other data sets to provide links between data. For data users, there are several challenges in integrating government open data into heterogeneous data. (1) There are many spatial attribute formats for dataset geographic information. (2) Heterogeneous file format (3) The encoding format is inconsistent, so To solve the above problems, the link application of the data can be performed. At present, most of the government's open materials are based on the provision of real-time information. From the open government data to big data, it is necessary to link heterogeneous data together and select appropriate conditions. When the data set is collected to a certain extent, Through the machine learning service, the relationship between the feature factors can be analyzed, and the appropriate influence feature points can be found, so that the machine learning software can have more kinds of feature arrangement and combination when learning and training the model, so that the classifier and the prediction model have more A variety of reference factors can be used to maximize the value of data analysis.. Therefore, this paper proposes an application service that can effectively analyze different coordinate formats and spatial attributes for government open data and geographic information sets, and uniformly store spatial attributes through unified geographic information code format, and can be processed according to The selected data sets the characteristic factors and generates some characteristic data sets. In order to avoid the problem of data duplication, the feature data is clean, the production data conforms to the first normalization, and the data set is split into many different ones by the data differentiation algorithm. Dimensional data set, in the heterogeneous data link algorithm, you can select a variety of related and different data sets to be integrated with a unified geographic information code. This system can provide data clearing and data differentiation for handling government open data. And the algorithm that provides heterogeneous feature set fusion, the produced data can be used for machine learning software analysis to provide better training models and more diverse predictive analysis.誌謝 i 摘要 ii Abstract iii 目次 v 表目次 viii 圖目次 ix 第一章 緒論 1 1.1. 簡介 1 1.2. 研究動機 3 1.3. 論文架構 5 第二章 背景知識 6 2.1. 政府開放資料(Open Government Data) 6 2.2. 政府開放資料詮釋資料 9 2.2.1.檔案格式 10 2.2.2.編碼格式 13 2.2.3.資料集空間範圍 14 2.3. 機器學習 15 2.4. 雲端機器學習平台 16 2.5. 迴歸演算法概述[32] 17 2.5.1.貝葉斯線性迴歸 17 2.5.2.神經網路迴歸 18 2.5.3. Boosted 決策樹迴歸 18 2.5.4.線性迴歸 19 2.5.5.決策森林迴歸 19 2.6. 開放資料應用研究應用 20 2.7. 開放資料結合地理資訊系統研究應用 20 2.8. 開放資料於機器學習研究應用 21 第三章 研究方法與架構 23 3.1. 研究架構 23 3.2. 資料清整、資料分化模組 25 3.2.1.資料清整工程程序設計說明 25 3.2.2.資料清整工程程序實作_編碼程序轉換&特徵取得 27 3.2.3.資料分化工程程序設計說明 29 3.2.4.資料分化工程程序實作_資料分化程序 30 3.3. 資料融合模組 32 3.3.1.資料融合工程程序設計說明 32 3.3.2.資料融合工程程序實作_資料融合程序 33 第四章 實驗方法與結果 34 4.1. 實驗環境參數 36 4.1.1.預測目標屬性 40 4.2. 分析原資料集中所有特徵於預測目標可用性評估 41 4.2.1.貝葉斯線性迴歸 41 4.2.2.神經網路迴歸 42 4.2.3.Boosted決策樹迴歸 44 4.2.4.線性迴歸 45 4.2.5.決策森林迴歸 46 4.3. 分析異質性資料集於預測目標可用性評估 48 4.3.1.貝葉斯線性迴歸 48 4.3.2.神經網路迴歸 49 4.3.3.Boosted決策樹迴歸 51 4.3.4.線性迴歸 52 4.3.5.決策森林迴歸 53 4.4. 分析異質性分化群體資料與預測目標可用性評估 54 4.4.1.貝葉斯線性迴歸 55 4.4.2.神經網路迴歸 56 4.4.3.Boosted決策樹迴歸 57 4.4.4.線性迴歸 59 4.4.5.決策森林迴歸 60 4.5. 分析異質性分化群體資料集與原資料分化群體資料集於預測目標可用性評估 61 4.5.1.貝葉斯線性迴歸 62 4.5.2.神經網路迴歸 63 4.5.3.Boosted決策樹迴歸 65 4.5.4.線性迴歸 66 4.5.5.決策森林迴歸 67 4.6. 分析異質性分化群體資料集與原資料分化群體資料集時間刻度對齊於預測目標可用性評估 68 4.6.1.貝葉斯線性迴歸 69 4.6.2.神經網路迴歸 70 4.6.3.Boosted決策樹迴歸 72 4.6.4.線性迴歸 73 4.6.5.決策森林迴歸 74 4.7. 原始資料&異質性資料特徵集於預測目標分析結果評估 75 4.7.1.原始資料&異質性資料於機器學習演算法後預測目標分析結果 77 4.7.2.異質性分化群體資料於機器學習演算法後於預測目標分析結果 77 4.7.3.異質性分化群體資料與原群體資料於機器學習演算法後於預測目標分析結果 78 4.7.4.異質性分化群體資料集與原資料分化群體資料集時間刻度對齊於機器學習演算法後於預測目標分析結果 79 第五章 結論 81 第六章 未來展望 82 參考文獻 8