Depth Perception of 2D to 3D Conversion with Distance Estimation for Car Camera and Vanishing Line Architecture Design

近年來3D影像為影像處理中最熱門的話題。由於產生3D影像庫的成本過高，為了節省大量的重新錄製成本，已有許多人著手研究2D轉3D的技術，將現有的龐大2D影像庫轉成3D影像庫。我們利用構想來與行車紀錄器作結合，將行車紀錄器紀錄的2D影像3D化，大大提升使用者日後觀賞紀錄影像的愉悅度與精彩度。此外結合影像測距的方法，來取得與前車相差的距離，藉此提醒駕駛保持適當的安全距離，減少與前車相靠太近而不及反應的意外發生。 首先，我們利用車道線與路面亮度上的明顯差異經過亮度二值化過濾出可能車道線位置，再利用霍夫轉換偵測出影像中的左右車道線。然後將左右車道線的交叉點視為畫面消失點，進而決定出水平消失線，再根據這些消失線資訊對其做場景深度圖的指派來產生背景深度值。接著，利用車底陰影找出車體位置，對其展開一較大區域，對此區域作K-mean分群；統計出車體內分部群組後，再對大區塊內掃描找出車體視為前景，且根據車子位置所在賦予深度值。最後，將前景與背景融合在一起。 定位方面:先建立背景環境收集、統計資料，畫出車子在畫面中位置與真實世界距離的對應曲線，再模擬出此對應曲線，得一函數。在程式運行中找到車子位於畫面中位置後，利用此函數推出車子的真實距離，達到測距目的。 因軟體處理時間過長，故本論文針對運算量最多的區塊作硬體化來加速運算速度。硬體架構設計方面，根據演算法需求排除不必要的運算；再將複雜的三角函數運算利用建表、查表方式達成以利硬體實作、加速運算。因為硬體架構只是整個系統一區塊，須考量整個系統運作時間，所以我們提出規格為每0.2秒30張畫面1080p解析度的消失線偵測之架構電路，運作頻率為68.04MHz。本架構將除法器切成四級管線的設計，得以配合我們演算法之處理速率，並同時降低電路之最長路徑。In recent years, 3D video is a hot topic in video processing. Due to the high cost of producing a 3D video library, many people begin to study 2D to 3D conversion technology to reduce a lot of re-recording cost. They use a large existing 2D video library to turn into a 3D video library. We use the idea to combine with car camera. Convert car camera’s 2D image to 3D image. It can greatly enhance the feeling and excitement of users in viewing car camera video. In addition, it combines with image processing to obtain the distance between user’s car and the car in front to remind drivers to keep of safety distance. It can reduce the traffic accident by being too close to the vehicle in front. First, luminance of the road line is significantly different from luminance of the road surface. Then we use Binarization to filter out the possible road line points. Afterwards we use the Hough Transform to detect the image of the left and right road line, the intersection of the left and right road lines which is the vanishing point of screen, to determine the horizontal vanishing line. Then the background depth value based on the information of the vanishing line is assigned to generate the background depth map. We use the shadow under the vehicle to track the position of front car. We segment the image by K-mean clustering and identify car body by statistics which shows the most count of K-mean group. Finally, merge the foreground depth map and background depth map. iii Distance Estimation procedure: 1. Establish the background environment, and collect and statistics the real distance of front car in screen. 2. Draw the corresponding curves of a car pixels distance in the screen and the real distance in world. 3. Simulate the function of the corresponding curve and find the car position in screen by our Algorithm. 4. Use the function to estimate the car''s real distance. Due to long software processing time, the thesis attempts to speed it up by implementing hardware. To realize the hardware architecture, the algorithm needs to eliminate unnecessary operations. Complex trigonometric functions are replaced by building a look-up table to facilitate hardware accelerated computing. The hardware architecture is only one part of the entire system, we must consider the operation time of the entire system. We propose a spec for the vanishing line detection circuit with 30 frames per 0.33 seconds and 1080p resolution Operating frequency at 68.04 MHz. The divider architecture is partitioned into four stages of pipeline. This way it can conform to the processing speed of our algorithm and at the same time reduce the longest path of the circuit.摘要 i Abstract ii 目錄 iv 圖目錄 vi 表目錄 ix 第一章 引言 1 一、 立體視覺的產生 1 二、 3D立體影像顯示技術 3 (一) 眼鏡式 3 (二) 裸眼式 5 三、 深度資訊 6 四、 2D轉3D影像技術 7 (一) 深度資訊圖 (Depth map) 7 (二) 2D轉3D影像處理系統 8 (三) Depth Image Based Rendering(DIBR)系統 8 五、 論文組織 10 第二章 深度感知資訊相關理論與文獻 11 一、 視覺深度感知線索 11 (一) 雙眼深度線索 12 (二) 單眼深度線索 13 二、 2D轉3D相關文獻介紹 16 (一) An H.264-based Scheme for 2D to 3D Video Conversion[15] 16 (二) AUTOMATIC 2D-TO-3D VIDEO CONVERSION TECHNIQUE BASED ON DEPTH-FROM-MOTION AND COLOR SEGMENTATION[16] 17 (三) Low Complexity 3D Depth Map Generation For Stereo Applications[17] 18 第三章 應用於行車紀錄器之2D to 3D深度圖生成與測距及其模擬結果 19 一、 前言 19 二、 車道偵測 20 三、 消失線偵測by Hough Transform 22 四、 深度背景產生 26 五、 道路延伸 27 六、 車輛陰影偵測 29 (一) 前言 29 (二) 車輛陰影特性分析 29 (三) 車輛陰影偵測演算法 31 七、 車輛位置偵測 34 (一) 車底位置偵測 34 (二) 車體左右邊界偵測 38 (三) 車頂邊界偵測 39 八、 前景產生 40 (一) K-mean 40 (二) Body Detection 43 (三) Hole Filling 44 九、 深度圖融合 45 十、 模擬結果與比較 46 (一) 模擬結果 47 (二) 結果比較 52 十一、 距離估測 55 (一) 距離估測原理 55 (二) 估測結果比較 57 (三) 誤差檢討 58 (四) 結論 58 第四章 硬體架構設計與實作 59 一、 前言 59 二、 硬體規格 60 三、 消失線硬體架構設計(Vanishing Line Architecture Design) 60 四、 各單元之硬體架構設計 61 (一) 查表(Look up table) 61 (二) F_v、F_h Memory: 62 (三) Vanishing Region Accumulator Module 62 (四) Vanishing Line Decision Module 63 五、 設計挑戰 65 六、 實作結果比較 68 (一) 數位IC設計流程簡介 68 (二) 晶片規格 69 (三) Layout圖 73 第五章 結論 75 一、 結論 75 參考文獻 7