[[alternative]]Implementation of a Mapreduce-based sensor data processing platform for intelligent cities

碩士[[abstract]]鑒於現代城市生活水準的提高帶動人們對環境資訊的需求提升，如何有效地處理、儲存環境中的感測資訊，並適當管理後再提供使用者查詢，已經成為建構智慧型城市的重要基礎。由於人類生活環境中每分每秒所產生的資訊，如早晚氣溫、行車環境、空氣品質等可數值化的資訊過於龐大且繁雜，為了要快速並準確地處理這些數據，我們利用雲端運算技術中的分散式儲存及程式開發模型MapReduce等核心技術，佐以HBase雲端資料庫的管理能力，以達成高效能的運算及儲存機制，並將這些數據提供予使用者或第三方軟體使用，以期實現智慧型城市的建構基礎。[[abstract]]With the rapid development of sensor technologies, in nowadays modern cities are deployed with various types of sensors to gather the environmental data. It is without doubt that how to deal with the huge amount of data collected by various sensors in an efficient way and to transform these data to useful information for the citizens to make use of has become an important research topic in building intelligent cities. The vast amount of data produced around us such as the temperature, the road conditions and the air quality can be numerically analyzed by utilizing the cloud computing technology. In this research, we implemented a MapReduce-based sensor data processing platform for intelligent cities. Specifically, we focus on using the MapReduce framework to process the raw data uploaded from the sensors, and then using HBase, which is a distributed, scalable, big data store, to save the sensor data. Besides, we use the Hadoop Distributed File System (HDFS) to store the street images captured by event data recorders installed in vehicles. In sum, the data processing platform we developed can be an important building block for constructing various useful applications to serve the citizens in intelligent cities.[[tableofcontents]]目錄 第一章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的與重要性 2 1.3 論文架構 3 第二章 相關研究 5 2.1 智慧型城市建構實例 5 2.2 整合式平台建構實例 9 2.3 Hadoop分散式系統架構 13 2.3.1 MapReduce運算框架 16 2.3.2 HBase分散式資料庫 17 第三章 系統架構分析與研究方法 19 3.1 系統架構 19 3.2 感測裝置端上傳介面 22 3.3 背景傾聽程式 24 3.4 核心運算程式 28 第四章 系統實作與結果討論 34 4.1 系統實作說明 34 4.1.1 開發工具與環境 34 4.1.2 感測裝置端上傳介面之實作 35 4.1.3 背景傾聽程式之實作 38 4.1.4 核心運算程式之實作 41 4.2 運行成果 49 4.2.1 感測裝置端上傳時期 49 4.2.2 系統監聽與提交任務時期 51 4.2.3 任務完成時期 54 4.2.4 成果展現 58 4.3 基於瀏覽器之叢集連結使用者介面實作 61 4.3.1 開發工具與環境 62 4.3.2 操作流程 63 4.3.3 各類別功能說明 64 4.3.4 運行成果 69 4.4 實作問題討論 73 4.4.1 同名檔案的移動問題 73 4.4.2 表格名稱變數 75 第五章 結論與未來展望 79 5.1 結論 79 5.2 未來展望 79 參考文獻 81 附錄－英文論文 84 圖目錄 圖 2-1智慧型城市建構實例之PlanIT Valley構想圖[12] 7 圖 2-2智慧型城市建構實例之PlanIT Valley UOS架構 8 圖 2-3智慧型城市建構實例之PlanIT Valley能源使用量預測圖[12] 9 圖 2-4整合式平台建構實例之交通資訊服務雲架構圖[15] 12 圖 2-5整合式平台建構實例之交通資訊服務雲查詢流程圖[15] 13 圖 2-6MapReduce運算框架之WordCount處理流程圖 17 圖 3-1平台架構圖 21 圖 3-2使用者上傳介面之叢集辨認架構 23 圖 3-3核心運算程式之exiftool解析資訊 32 圖 3-4核心運算程式之Mapper類別輸出結果 32 圖 3-5核心運算程式之Mapper類別輸出key／value內容 33 圖 4-1背景傾聽程式流程圖 38 圖 4-2背景傾聽程式之記錄檔 39 圖 4-3核心運算程式輸出之記錄檔內容 48 圖 4-4運行成果之平台架構圖 49 圖 4-5感測裝置端上傳時期中啟動監聽程式 49 圖 4-6感測裝置端上傳時期中上傳檔案(1) 50 圖 4-7感測裝置端上傳時期中上傳檔案(2) 50 圖 4-8感測裝置端上傳時期中等待寫入記錄檔 50 圖 4-9系統監聽與提交任務時期中接收端回報 51 圖 4-10系統監聽與提交任務時期中上傳與接收 52 圖 4-11系統監聽與提交任務時期中檢查記錄檔大小 52 圖 4-12系統監聽與提交任務時期中移動檔案至暫存資料夾 53 圖 4-13系統監聽與提交任務時期中啟動任務 53 圖 4-14任務完成時期中任務進度回報 54 圖 4-15任務完成時期中任務達成報告 55 圖 4-16任務完成時期中輸出資料夾內容 57 圖 4-17任務完成時期中輸出結果 57 圖 4-18成果展現之運算資料 58 圖 4-19成果展現之HBase指令 58 圖 4-20成果展現之任務成果 59 圖 4-21成果展現之應用程式實例 61 圖 4-22基於瀏覽器之叢集連結使用者介面實作架構圖 63 圖 4-23基於瀏覽器之叢集連結使用者介面實作類別關係圖 67 圖 4-24基於瀏覽器之叢集連結使用者介面實作執行流程圖 69 圖 4-25基於瀏覽器之叢集連結使用者介面實作步驟圖一 70 圖 4-26基於瀏覽器之叢集連結使用者介面實作步驟圖二 70 圖 4-27基於瀏覽器之叢集連結使用者介面實作步驟圖三 71 圖 4-28基於瀏覽器之叢集連結使用者介面實作步驟圖四 71 圖 4-29基於瀏覽器之叢集連結使用者介面實作步驟圖五 72 圖 4-30基於瀏覽器之叢集連結使用者介面實作步驟圖六 72 圖 4-31基於瀏覽器之叢集連結使用者介面實作步驟圖七 73 圖 4-32同名檔案的移動問題中相同檔名的情況 74 圖 4-33同名檔案的移動問題中覆蓋失敗的情況 74 圖 4-34同名檔案的移動問題中檔案已存在的情況 74 圖 4-35表格名稱變數中開啟表格程式碼(1) 76 圖 4-36表格名稱變數中開啟表格程式碼(2) 76 圖 4-37表格名稱變數中新增表格 77 表目錄 表 3-1核心運算程式之叢集資料庫欄位 28[[note]]學號: 600411804, 學年度: 10