[[alternative]]A study on time series data processing with relational database and NoSQL feature

碩士[[abstract]]關聯式資料庫在資訊歷史發展過程中，佔有相當大的份量，發展相當成熟，而近年來在軟硬體技術的發展，資料的類型格式開始多元化，處理的速度需求持續增加，資料的成長量也開始無法負荷，逐漸衍伸了巨量資料的議題。 本研究的目的是在關聯式資料庫中，模擬企業內部可能產生的大量資料，透過延展NoSQL資料庫的部分特性，處理具有時間特性持續產生的巨量資料。使用IBM Informix推出的混合型資料庫進行實驗，透過腦波儀模擬儀器設備取得腦波十四個波段，持續不斷產生的腦波資料，將資料透過三種不同實驗特性寫入資料庫，比較關聯式資料架構、時間序列資料架構、時間序列資料結合JSON資料格式架構，進行資料處理的時間與架構異動的成本比較，並將讀取儀器設備之資料進行分類，進行分析模擬並呈現。 經過實驗的結果，在關聯式資料庫的基礎架構上，延展時間序列資料與JSON儲存格式的特性，可快速達到存取資料的目的，在分析速度上更加的即時，並可減少處理資料與架構異動的時間成本。企業可參照本研究架構進行應用，來達成傳統資料庫中結合NoSQL特性處理大量時間序列資料的目的。[[abstract]]Relational databases, in the history IT applications, have played an important role and been fairly mature. However, in recent years, as the advances of hardware and software technologies, data are getting more diversified in format. The quest for processing speed continues, and the growth of data volume has become a burden. Hence, it comes with big data issues that need to be solved. The purpose of this study is to simulate the large amounts of data that a company might continuously generate through the use of relational databases with some features of extended NoSQL database. We use hybrid database from IBM Informix for this simulation. We also use a fourteen-channel electroencephalogram (EEG) to collect brain wave, as the surrogate of big data generated. Then, write brain wave data into the database with the purpose to compare three different experimental features: relational data architecture, time series data architecture, and time series data with JSON data format architecture based on the cost of data processing time and architecture change. The collected data are then classified and analyzed. The experimental results show that the extended time series data and JSON data format achieve the processing need of big data. Not only can it access data faster, but it also analyze data more quickly. The results, furthermore, show the reduction both in cost of processing data and changing architecture. This study could provide references to companies who want to solve problems in processing large number of time-series data by combining traditional repository with NoSQL features.[[tableofcontents]]目錄 V 表目錄 VIII 圖目錄 IX 第一章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的 3 1.3 論文架構 4 第二章 文獻探討 5 2.1 CAP理論 6 2.2 ACID模型 8 2.3 BASE模型 10 2.4 關聯式資料庫 10 2.5 NoSQL 12 2.6 IBM Informix 14 2.7 JSON/BSON 18 2.8 時間序列功能 19 2.9 腦波資料 22 2.10 小結 23 第三章 實驗設計 24 3.1 模擬資料與架構設計 26 3.1.1 資料存取架構設計 26 3.1.2 儲存空間差異設計 31 3.1.3 資料庫架構調整設計 31 3.2 實驗環境描述 32 3.2.1 軟硬體架構 32 3.2.2 資料庫環境架構 33 3.3 資料處理架構 35 3.3.1 通用資料表 35 3.3.2 標準關聯式記錄架構 37 3.3.3 時間序列記錄架構 39 3.3.4 時間序列與JSON記錄架構 42 3.4 實驗流程 46 第四章 資料分析 47 4.1 實驗資料紀錄 47 4.1.1 資料寫入 47 4.1.2 資料讀取 47 4.1.3 儲存空間 50 4.1.4 架構調整 51 4.2 實驗結果說明 51 4.2.1 資料寫入速度 51 4.2.2 資料讀取速度 52 4.2.3 資料儲存量分析 56 4.2.4 架構異動分析 56 4.2.5 模擬情境分析 57 第五章 結論 62 5.1 研究結果 62 5.2 建議 64 參考文獻 66 表目錄 表 2 1：含有時間型資料的關聯式表格 20 表 2 2：含有時間型資料的 Informix TimeSeries 表格 21 表 3 1：profile資料規格表 35 表 3 2：testlist資料規格表 36 表 3 3：testdata腦波紀錄檔規格表 37 表 3 4：testdata_ts腦波紀錄檔規格表 40 表 3 5：row type ts規格表 40 表 3 6：testdata_json腦波紀錄檔規格表 43 表 3 7：row type tsjson規格表 43 表 4 1：資料寫入時間比對表 47 表 4 2：特定資料查詢時間比較表 48 表 4 3：所有資料查詢時間比較表 48 表 4 4：兩個資料表交互(Join)查詢時間比較表 49 表 4 5：三個資料表交互(Join)查詢時間比較表 50 表 4 6：儲存空間比較表 50 表 4 7：欄位增加修改速度比較表 51 表 4 8：欄位刪除修改速度比較表 51 表 4 9：模擬情境取值方式 60 圖目錄 圖 2 1：IBM Informix NoSQL技術架構 17 圖 3 1：VMWare ESXi Serve4.1環境 32 圖 3 2：VMWare ESXi Serve4.1建立虛擬環境 33 圖 3 3：Red Hat Enterprise Linux 6.2環境 33 圖 3 4：測試資料庫安裝環境 34 圖 3 5：基本資料檔案建立語法(I) 36 圖 3 6：基本資料檔案建立語法(II) 37 圖 3 7：標準關聯式資料表關聯圖 38 圖 3 8：標準關聯式資料SQL寫入語法 39 圖 3 9：時間序列紀錄資料表關聯圖 41 圖 3 10：時間序列資料SQL寫入語法 42 圖 3 11：時間序列與Json紀錄資料表關聯圖 44 圖 3 12：時間序與Json資料SQL寫入語法 45 圖 3 13：實驗流程圖 46 圖 4 1：特定資料查詢時間比較曲線圖 52 圖 4 2：所有資料查詢時間比較曲線圖 53 圖 4 3：兩個資料表交互(Join)查詢時間比較曲線圖 53 圖 4 4：三個資料表交互(Join)查詢時間比較曲線圖 53 圖 4 5：兩個資料表交互(Join)查詢時間比較曲線圖(調整後) 55 圖 4 6：三個資料表交互(Join)查詢時間比較曲線圖(調整後) 55 圖 4 7：資料儲存空間比較圖 56 圖 4 8：關聯式資料架構異動比較圖 57 圖 4 9：特定波段警示狀況示意圖 58 圖 4 10：設備運作狀況示意圖 59[[note]]學號: 701630146, 學年度: 10