[[alternative]]Two-dimensional free view stereo video monitor system

碩士[[abstract]]由於近年來日漸成熟的影像技術，未來影像資訊勢必不只是單純呈現立體影像，而是能與使用者互動，由使用者決定觀看影像角度。因此，本論文將建立一個二維自由視角監視系統，利用多個不同角度的攝影機所拍攝出的影像資料，經過運算，提供使用者即時的自由視角監視功能。 在大多數自由視角系統必須建立一個完整的三維立體模型，建立三維立體模型將會花費龐大運算的時間，因此本計畫捨棄了原始的三維立體建模方式，而提出另一套影像系統，此影像系統是只根據使用者需求，即時計算出使用者所需的角度影像，而不需要建立完整模型後，再提供影像，因此，可節省許多建立模型的時間，達到即時的目的。 本論文的影像系統，第一步驟，將於環境中多個不同角度架設攝影機，對同一個場景，不同角度擷取影像，擷取影像畫面，步驟二，當得到影像後，會分別對每張影像以Harris-SURF特徵點偵測演算法提取特徵點，步驟三，做特徵點匹配，以此來找出不同角度所拍的影像畫面中相同的地方，步驟四，再將影像以特徵點作為頂點，以三角分割演算法，將影像分割成數個三角形。以上步驟一至步驟四會不斷循環，以更新最新影像資訊，直到當使用者提出的要求時，才會以三角分割後的三角形為單位，配合匹配結果透過影像合成計算出觀看者所要求之角度影像，呈現給觀看者。[[abstract]]Due to the maturing of imaging technology in recent years, future monitoring has become not only simply display 3D images, but also be able to interact with users. In this paper, we present a Two-dimensional free view point monitor system. The images captured by the multiple cameras in the system. After calculation, the system to provide users with real time free view point. Tradition 3D modeling algorithms usually have high accuracy but low performance, speeding up the system is the first problem we face. Instead of reconstructing 3D models, we put our focus on simulating users’ point of view in our new algorithm. Our experimental environment requires multiple cameras focus on one object in different angle. After images are captured by cameras, we’ll find feature points on each image with Harris-SURF corner detector. The third step is matching these corner points, finding relations between different images. The fourth step is triangle meshing. By using feature points as vertex, the images are segmented into several triangles. System repeats step one to four until user has new view point commands.[[tableofcontents]]目錄 第一章 序論 1 1.1研究背景與動機 1 1.2 論文架構 2 第二章 理論基礎 3 2.1 HARRIS角點偵測演算法 3 2.2 SURF特徵點偵測演算法 6 2.3 特徵點匹配 13 2.4 三角分割 20 第三章 HARRIS-SURF特徵點偵測演算法 21 第四章 自由視角影像系統 24 4.1 自由視角影像系統簡介 24 4.2 一維自由視角影像系統 24 4.3 二維自由視角影像系統 32 第五章 實驗成果 41 5.1 一維自由視角影像系統實驗結果 41 5.2 二維自由視角影像系統實驗結果 45 5.3實驗結果分析 51 第六章 結論與未來展望 53 參考文獻 54 圖目錄 圖2.1 常見角點偵測方法示意圖[3] 3 圖2.2 角點、邊緣與平面分類圖[3] 5 圖2.3 SURF特徵點擷取演算法之流程圖 6 圖2.4 影像積分示意圖 7 圖2.5 盒狀卷積遮罩示意圖[5] 8 圖2.6 高斯二階微分遮罩與近似的盒式遮罩示意圖[5] 8 圖2.7 尺度空間建構法[5] 9 圖2.8 前三組階遮罩尺寸示意圖[5] 10 圖2.9 非最大值抑制示意圖[6] 10 圖2.10 哈爾小波遮罩示意圖[5] 11 圖2.11 偵測特徵點主向量示意圖[5] 11 圖2.12 特徵點描述子示意圖[5] 12 圖2.13 第一次K-d Tree分割結果示意圖 13 圖2.14 第二次K-d Tree分割結果示意圖 14 圖2.15 第三次K-d Tree分割結果示意圖 14 圖2.16 第四次K-d Tree分割結果示意圖 15 圖2.17 第五次K-d Tree分割結果示意圖 16 圖2.18 第六次K-d Tree分割結果示意圖 16 圖2.19 K-d Tree分割完成示意圖 17 圖2.20 K-d Tree空間分割示意圖 17 圖2.21 最近鄰居點搜尋步驟一之示意圖 18 圖2.22 最近鄰居點搜尋步驟二之示意圖 18 圖2.23 最近鄰居點搜尋步驟三之示意圖 19 圖2.24 最近鄰居點搜尋完成之示意圖 19 圖2.25 最大最小角原則之示意圖 20 圖2.26 外接圓原則之示意圖 20 圖3.1 Harris角點偵測演算法結果示意圖 21 圖3.2 SURF特徵點擷取演算法結果示意圖 22 圖3.3 Harris-SURF演算法流程圖 22 圖3.4 Harris-SURF特徵點擷取演算法結果示意圖 23 圖4.1一維自由視角影像系統之環境架設俯視圖 25 圖4.2 一維自由視角影像系統之流程圖 25 圖4.3 一維自由視角影像系統之影像輸入 26 圖4.4 一維自由視角影像系統之Harris-SURF特徵點擷取演算法結果示意圖 26 圖4.5 一維自由視角影像系統之特徵點匹配結果示意圖 27 圖4.6、一維自由視角影像系統之三角分割結果示意圖 27 圖4.7 一維自由視角影像系統之新視角影像內插示意圖 28 圖4.8 一維自由視角影像系統之新視角影像內插法結果示意圖 28 圖4.9 一維自由視角影像系統之新視角影像骨架示意圖 29 圖4.10 一維自由視角影像系統之仿射轉換示意圖 31 圖4.11 一維自由視角影像系統之新視角合成完成圖 31 圖4.12 二維自由視角影像系統之環境架設示意圖 32 圖4.13 二維自由視角影像系統之流程圖 33 圖4.14 二維自由視角影像系統之影像輸入 34 圖4.15 二維自由視角影像系統之Harris-SURF特徵點擷取演算法結果示意圖 34 圖4.16 二維自由視角影像系統之特徵點匹配結果示意圖 35 圖4.17 二維自由視角影像系統之三角分割結果示意圖 36 圖4.18 二維自由視角影像系統之新視角影像內插示意圖 36 圖4.19 二維自由視角影像系統之新視角影像內插法結果示意圖 37 圖4.20 二維自由視角影像系統之新視角影像骨架示意圖 37 圖4.21 二維自由視角影像系統之仿射轉換示意圖 39 圖4.22 二維自由視角影像系統之新視角合成完成圖 40 圖5.1 一維自由視角影像系統之場景一之實驗環境 41 圖5.2 一維自由視角影像系統之場景一之影像輸入 41 圖5.3 一維自由視角影像系統之場景一之新視角影像 42 圖5.4、一維自由視角影像系統之場景二之實驗環境 43 圖5.5、一維自由視角影像系統之場景二之影像輸入 43 圖5.6、一維自由視角影像系統之場景二之特徵點匹配結果 44 圖5.7、一維自由視角影像系統之場景二之新視角影像 44 圖5.8 二維自由視角影像系統之場景一之實驗環境 45 圖5.9 二維自由視角影像系統之場景一之影像輸入 46 圖5.10 二維自由視角影像系統之場景一之新視角影像 47 圖5.11 二維自由視角影像系統之場景二之實驗環境 48 圖5.12 二維自由視角影像系統之場景二之影像輸入 48 圖5.13 二維自由視角影像系統之場景二之特徵點匹配結果 49 圖5.14 二維自由視角影像系統之場景二之新視角影像 51 表目錄 表5.1自由視角影像系統時間統計 51[[note]]學號: 699470067, 學年度: 10