System Integration and Optimization for 6D-Vision Vehicle Collision-Avoidance

Our main purpose is to identify the object's distance and direction by using the dual-lens camera which can handle the stereo environment. The images are presented in 1920 × 1080 resolution in the paper, so the computing time is large. The computing time to perform disparity generation is the most critical by using ARM DS-5 analysis. Therefore, the resolution reduction and the Sobel edge detection are used to reduce computation time. Then, the value of the disparity will be obtained by our proposed 'diamond census adaptive support weight'. Later, the value of disparity can be converted to depth information of the object's distance. Also, with the depth information, the distance of moving object can be detected by experimenting an object's self-moving. Our proposed methods are implemented and optimized on embedded system platform, so we use a lot of system optimization techniques such as parallel processing, simplified loop, induction variable elimination, memory allocation management and so on. With these achievements above, the function requirements can be achieved. In order to make use of the embedded platform device in the car, an embedded platform is needed to display the image handled by collision avoidance system. The embedded platform is built with a Linux system called Qt creator. The result of the collision avoidance system can be displayed based on the connecting signals and slots of objects. The driver can easily recognize the obstacles on the road due to the dynamic update of the image display system.近幾年來，車禍的發生次數不斷的增加，因此各個車子廠牌也不斷發表車用安全專利與開發許多防護措施來使駕駛者能預防車禍的發生。本論文為應用於嵌入式平台之防撞系統，使用於時速低於50Km/h之行車速度，辨識前方之移動物體與非移動物體，找出移動物體後，判斷之方向，如在駕駛者之行徑方向，將會有警示的標誌來提醒駕駛達到防撞的效果。 在演算法部分，由於本論文為要找出物體之距離與方向，因此使用雙鏡頭攝影機來拍攝之影像，使用雙鏡頭攝影機所得到的資訊可以處理較複雜的環境資訊。本論文使用1920×1080解析度之影像大小，因此在計算過程處理時間過長，首先將系統利用ARM DS-5做分析，得到在視差的部分運算時間最久，所以將影像做Sobel邊緣偵測和降解析度方式來減少運算量，再用鑽石普查轉換之適應性權重來得出視差值，有了視差值後，可以轉換成深度資訊得知物體距離或者做自我運動與移動物體偵測來偵測出移動物體之距離，藉此達到預防的功用。 本論文為應用於嵌入式平台上之系統最佳化，因此使用了多個系統最佳化方式，像是平行處理、迴圈簡化、消除引導變數、記憶體配置管理…等方式，且為了將嵌入式平台裝置於車子內做應用，必定要有個介面來顯示防撞系統之處理影像，所以本論文將嵌入式平台搭建一個Linux之系統，稱為Linaro，透過Linux系統下安裝人性化視窗介面的軟體套件，稱為Qt Creator，藉由物件連接訊號與插槽的方式來呈現此防撞系統之結果，並且動態更新此影像資訊顯示給駕駛者知道行車方向有無障礙物，達到預防的功效。第一章 引言 1 一、 車用安全 3 二、 車用影像系統 3 三、 車用防撞系統 7 四、 嵌入式系統 9 五、 論文組織 10 第二章 基於嵌入式車用防撞系統的理論與文獻 11 一、 速度資訊 12 二、 深度資訊 13 三、 自我運動與移動物體偵測 13 四、 雙鏡頭視差資訊相關文獻介紹 14 (一) Adaptive Support-Weight Approach for Correspondence Search[12] 16 (二) Edge-Directed Hardware Architecture for Real-Time Disparity Map Computation[13] 17 五、 視差的最佳化 18 六、 嵌入式系統 20 第三章 應用於嵌入式車用防撞系統整合和最佳化以及模擬結果 22 一、 前言 22 二、 應用於嵌入式平台之防撞系統效能分析 26 三、 視差最佳化 31 3.3.1 Pyramid階層 31 3.3.2 Sobel邊緣偵測 35 3.3.3 普查轉換 36 3.3.4 漢明距離 39 3.3.5 區塊大小選擇 39 3.3.6 權重產生 43 3.3.7 前景膨脹效應濾除 46 3.3.8 Winner Takes All 48 3.3.9 結果比對 49 四、 嵌入式系統最佳化 53 3.4.1 I/O頻寬最佳化 53 3.4.2 浮點數與記憶體配置 54 3.4.3 位移最佳化與消除引導變數 56 3.4.4 迴圈最佳化與平行處理最佳化 57 五、 車用防撞系統模擬結果 63 第四章 嵌入式平台設計與實作結果 76 一、 前言 76 二、 系統流程架構圖 76 4.2.1攝影機讀取方式 78 4.2.2輸入影像讀取方式 80 4.2.3Qt Creator Compiler 81 三、 嵌入式系統整合設計 82 四、 嵌入式系統整合實作結果 85 五、 嵌入式系統整合模擬結果 87 第五章 結論 90 參考文獻 9