[[alternative]]Free view point real-time monitoring system base on feature point stabilizaion and matching correction

碩士[[abstract]] 隨著科技的進步，人們對於行動網路影像的需求也越來越高，如何能在行動終端上利用有限的硬體及網路資源來達到流暢的影像監控是許多研究人員的議題。本論文探討如何即時並準確的建立自由視角監視系統，並以行動終端展示的方式將實驗成果呈現。 此外，本論文在即時成像系統中進行兩大部分的改善：第一部分為特徵點擷取於即時系統中進行穩定，於特徵點中加入強度值的概念，將出現頻率高的特徵點保存，剔除出現頻率低的特徵點，降低自然界雜訊引起特徵點晃動以及閃爍的程度，提高系統的穩定性；第二部分為特徵點匹配的演算法進行改良，計算特徵點的相對位置，並使用此資訊加入固有的特徵點匹配演算法，提高特徵點匹配的準確度。 本論文最後將上述兩改良演算法與二維自由視角立體影像監視系統結合，並將系統細分成三大區塊，分別處理特徵點擷取、匹配運算、影像合成及壓縮傳輸三大部分。分割後的系統達到分散式運算的效果，大幅降低了運算時間，實作出自由視角即時監視系統。[[abstract]]Due to Internet of things increasingly mature, future monitoring has become not only simply display 3D images, but also be able to interact with users. In this paper, we present a fast free view point monitor system without rebuild 3D module tardily. Images lost their depth information after they are captured by cameras, recalculating their coordinates in real world are inefficient and usually easily been distorted. In order to achieve the goal of free view point real-time processing, parallax of images become an very important information to us. Computing time plays an important role in free view point real-time monitor system. Tradition 3D modeling algorithms usually have high accuracy but low performance, speeding up the system is the first problem we face. Instead of reconstructing 3D models, we put our focus on simulating users’ point of view in our new algorithm. Our experimental environment requires multiple cameras focus on one object in different angle. After images are captured by cameras, we’ll find feature points on each image with Harris corner detector. The second step is matching these corner points, finding relations between different images. After matching feature points, the third step is triangle meshing. By using feature points as vertex, the images are segmented into several triangles. Meshed triangle images transformed into the user’s view point and recover texture on simulation image in the last step. System repeats step one to three until user has new view point commands. SURF is very good at handling scale changing and image twisting, but feature points found by SURF are no corners, without corner information, it is hard to simulate users’ view point. Harris corner detector is well known of its good performance and stabilization, that is why we combined these two algorithms in our research[[tableofcontents]]目錄: 第一章 緒論 1 1.1 研究動機 1 1.2 系統大綱 2 1.3 論文架構 3 第二章 背景知識與相關研究 5 2.1 Harris角點偵測 5 2.2 Speed-Up-Robust-Feature〈SURF〉 9 第三章 特徵點穩定與校正機制 13 3.1 特徵點穩定機制 13 3.2 特徵點匹配校正機制 21 第四章 自由視角監視系統 25 4.1 系統流程 25 4.1.1 角點偵測 26 4.1.2 計算特徵描述子、特徵點匹配 27 4.1.3 三角分割 27 4.1.4 圖像重建與貼圖 28 4.1.5 H.264影像串流格式壓縮 30 4.2 系統架構 30 4.2.1 Server A架構 31 4.2.2 Server B架構 32 4.2.3 Server C架構 33 4.2.4 自由視角即時監視系統整體架構 34 第五章 結論 38 參考文獻 (References) 39 圖目錄: 圖1.1 故宮博物院三維模型展示方式 2 圖1.2 系統架構簡圖 3 圖2.1 Moravec示意圖 6 圖2.2 Morevec與X、Y方向偏維的關係 7 圖2.3 Harris特徵值與角點關係圖 8 圖2.4 近似後的高斯矩陣 10 圖2.5 SIFT(左)與SURF(右)高斯金字塔的差異 11 圖2.6 尺度空間極值示意圖 11 圖2.7 Harr小波遮罩，暗區塊權重值為-1、亮區塊權重值為+1 12 圖2.8 SURF的64筆描述子資訊 12 圖3.1 特徵點強度提升區塊流程圖 14 圖3.2 強度降低與特徵點刪除區塊流程圖 15 圖3.3 特徵點穩定機制流程圖 16 圖3.4 簡單環境未使用穩定機制之Harris角點偵測於即時系統每幀的特徵點差異 18 圖3.5 簡單環境使用穩定機制之Harris角點偵測於即時系統每幀的特徵點差異 18 圖3.6 複雜環境未使用穩定機制之Harris角點偵測於即時系統每幀的特徵點差異 19 圖3.7 複雜環境使用穩定機制之Harris角點偵測於即時系統每幀的特徵點差異 19 圖3.8 匹配校正機制於簡單環境、特徵點不對秤的環境下的表現 23 圖3.9 匹配校正機制於特徵點相似度高的環境下的表現 24 圖4.1 實驗環境 25 圖4.2 自由視角即時監視系統流程 26 圖4.3 Delaunay三角分割 28 圖4.4 模擬視角的角點計算 29 圖4.5 仿射轉換 29 圖4.6 Delaunay三角重新貼圖 30 圖4.7 系統流程的分割 31 圖4.8 Server A架構圖 31 圖4.9 Server B架構圖 32 圖4.10 Server C架構圖 33 圖4.11 系統整理架構圖 35 圖4.12 自由視角系統成果 36 圖4.13 行動裝置展示解決圖 37 表目錄: 表3.1 特徵點穩定機制實驗數據 20 表3.2 、 和 與其權重之關係圖 22 表3.3 匹配校正機制實驗數據 24[[note]]學號: 600440258, 學年度: 10