[[alternative]]Application for image stitching of vehicles with modified SIFT

碩士[[abstract]]隨著近年來科技的發展，車用電子蓬勃發展成為第4C產業，使得人們對於車輛的要求越來越高，而近年來的氣候變遷，「節能」這個議題日益受重視，因此現在的車輛不只要舒適、安全還要能省油。日常生活中每天都有交通事故發生，大貨車、聯結車因為車體構造的限制，導致傳統後照鏡存在著視覺盲點，這往往是造成車禍的主要原因，為此我們提出利用攝影機取代傳統後視鏡的概念，攝影機的視野遠比傳統後視鏡廣，如此一來可以減少駕駛者的視覺盲點，而且有研究報告指出如果沒有後照鏡可以減少2%~7%的車輛風阻，進一步達到減少油耗節能減碳的目的。 本文提出一套「改良式SIFT演算法應用於車輛的多重影像拼 接系統」，利用4個攝影機的架設取代傳統後視鏡。首先，攝影機的參數校正，接著利用視角變化的SIFT提取特徵點，達到比傳統SIFT更佳的特徵點匹配率，最後將影像扭曲之後合成一張車輛後方的環景影像，用來減少駕駛者的視覺盲點，進而達到減少交通事故的目的，人們已經習慣用傳統的後視鏡，如果要適應這一套新型的系統還需要一段時間，不過可以預見的是1.減少交通事故發生的機率2.減少車輛的風阻3.達到節能減碳的目的。[[abstract]]As the prosperity of technology, the flourishing Automobile Electronics becomes the 4th C industry that the requirement of vehicles becomes higher and higher for human beings. Because of the climate change, energy conservation turns into a big issue nowadays. Vehicles have to be not only comfortable but also safe and fuel-saving. Although the vehicle is so advanced, there are still a lot of car accidents happened in our daily life. The truck and trailer, due to the district of vehicle body shell, will cause the blind spot in the traditional rear-view mirror which is the main reason of causing the fatal traffic accident. Therefore, we propose a solution to replace replacing the traditional rear-view mirror by video cameras. The vision of video cameras is much wider than the traditional rear-view mirror, so that it can decrease the scope of blind spots of drivers. Some research indicates that if there is no rear-view mirror on a vehicle, it can reduce windage by 2%~7% and come to the aim of energy conservation. This research presents a set of “Application for Image Stitching of Vehicles with Modified SIFT” by utilizing the set-up of four video cameras to replace the traditional rear-view mirrors. In our system, the parameters of the video cameras must be adjusted first.Then we use the angle-view variation of SIFT to abstract the feature points to achieve the better matching rate of feature points than that of the conventional SIFT. In order to reduce car accident and blind spot, we distort the images and further stitch the two images to a rear-view vision of the vehicle. People have need to the traditional rear-view mirrors, and it may take a period of time to get accustomed to the new rear-view vision. However, by our proposed technique we can prospect that: 1. It will decrease the car incident rate. 2. It will reduce the wintage of the vehicles. 3. It will achieve the target of energy conservation.[[tableofcontents]]目錄 目錄 III 圖目錄 VI 表目錄 IX 第一章 緒論 1 1.1 研究背景與動機 1 1.2 視野死角 3 1.2.1 認識視野死角 3 1.2.2 車速對於人眼的影響 5 1.3 論文架構 7 第二章 文獻介紹 8 2.1 全景影像縫合 8 2.1.1 環場影像 8 2.1.2 尋找對應點的全景影像 9 2.2 SIFT演算法 11 2.2.1 特徵點偵測 12 2.2.2 特徵點濾除 16 2.2.3 特徵點的方位運算 18 2.2.4 特徵點描述子的建立 19 2.3 SURF演算法 19 2.3.1 積分影像 20 2.3.2 快速Hessian特徵點偵測 22 2.3.3 尺度空間 24 2.3.4 主方向確立 26 2.3.5 描述子的建立 27 第三章 研究方法 29 3.1 攝影機的參數校正 31 3.2 色相轉換 33 3.3 改良式SIFT 34 3.3.1 特徵點偵測 37 3.3.2 特徵點濾除 38 3.3.3 特徵點方位計算(修改) 39 3.3.4 特徵點描述子建立 40 3.4 SIFT特徵點匹配 44 3.5 RANSAC特徵點匹配除錯 45 3.6 影像縫合 46 第四章 實驗結果 48 4.1 攝影機的參數 48 4.2 高斯金字塔效能比較 49 4.3 特徵點的匹配率 55 4.4 系統運算時間和CUDA效能分析 57 4.5 影像拼接的結果 59 第五章 結論 62 參考文獻 63 圖目錄 圖 1.1不同種車輛的視野死角[2] 4 圖 1.2因車體結構所造成的視野死角[2] 4 圖 1.3速度的影響:(a)靜態視力;(b)動態視力[2] 5 圖 1.4車速對人眼可視範圍的影響[2] 6 圖 2.1圓柱環場影像(Cylindrical panoramas)製作流程 9 圖 2.2 SIFT流程圖 11 圖 2.3 高斯金字塔 12 圖 2.4 高斯影像以及高斯差值影像 14 圖 2.5極值點的偵測 15 圖 2.6方向統計 19 圖 2.7積分影像 20 圖 2.8積分影像的建置 21 圖 2.9 為y方向的高斯二階差分運算子 23 圖 2.10 SURF的影像金字塔 25 圖 2.11根據不同σ值的大小所對應的Hessian運算子 26 圖 2.12主方向的確立 27 圖 2.13特徵向量描述子 28 圖 3.1攝影機架設方式 29 圖 3.2架設實驗環境 30 圖 3.3系統流程圖 31 圖 3.4 棋盤格校正 32 圖 3.5色相轉換 33 圖 3.6物體沿x軸旋轉 34 圖 3.7 SIFT流程圖(a)傳統SIFT(b)改良式SIFT 35 圖 3.8不同攝影機的視角 36 圖 3.9高斯影像以及高斯差值影像 37 圖 3.10極值點的比較 38 圖 3.11主方向旋轉 40 圖 3.12特徵點周圍的梯度 41 圖 3.13梯度統計 41 圖 3.14視角變化示意圖 42 圖 3.15 SIFT的特徵描述子 43 圖 3.16基於視角變化的SIFT特徵描述子 43 圖 3.17特徵點匹配門檻值曲線圖[17] 44 圖 3.18 RANSAC分群示意圖 45 圖 3.19 不同的二維影像形變[21] 46 圖 3.20 尋找u向量[24] 47 圖 3.21未修正波浪波段的全景圖[24] 47 圖 3.22修正波浪波段的全景圖[24] 47 圖 4.1(a)Image1(b)Image2(c)Image3 三種不同的影像場景 49 圖 4.2不同高斯模糊次數的SIFT特徵點數目比較(個) 51 圖 4.3不同高斯模糊次數的SIFT速度比較(秒) 51 圖 4.4特徵點數目 53 圖 4.5特徵點提取的運算時間 53 圖 4.6不同場景的影像(a)Image1(b) Image2(c) Image3 54 圖 4.7 SIFT效能分析 55 圖 4.8特徵點匹配率 56 圖 4.9近年GPU和CPU的浮點數計算演進[26] 57 圖 4.10拼接場景(a)車輛左後方攝影機影像(b) 車輛左方攝影機影像(c)將(b)的車身影像部分裁切掉(d)拼接的結果 59 圖 4.11拼接場景(a)車輛左後方攝影機影像(b) 車輛左方攝影機影像(c)將(b)的車身影像部分裁切掉(d)拼接的結果 60 圖 4.12拼接場景(a)車輛左後方攝影機影像(b) 車輛左方攝影機影像(c)將(b)的車身影像部分裁切掉(d)拼接的結果 61 表目錄 表 1.1車速對人眼的影響[2] 6 表 4.1 不同高斯模糊次數的SIFT特徵點數目比較(個) 50 表 4.2 不同高斯模糊次數的SIFT速度比較(秒) 50 表 4.3特徵點數目 52 表 4.4運算時間(s) 52 表 4.5特徵點匹配率 56 表 4.6本系統的運算速度&利用GPU加速(fps) 58[[note]]學號: 601450207, 學年度: 10