[[alternative]]A study of motion based vehicle license plates recognition system

碩士[[abstract]]車牌辨識系統已廣泛應用於收費停車場、社區大樓停車場以及高速公路收費站，等車輛管理與監控系統上之應用。本系統是將攝影機架設在移動載具上持續拍攝前方的動態車輛並且偵測，此研究希望能夠與計程車聯盟合作，協助警調單位於贓車查緝或過濾可疑車輛以及協助銀行於權力車的搜尋。 已提出的系統中，一般是以固定架設攝影機的方式來擷取過往車輛的影像，且背景環境較為單純，本系統的不同處為動態偵測技術，其所偵測的街道背景較為複雜且經常改變，我們針對串流影像提供低運算量的演算法做分析，包括車尾偵測、影像清晰度判別、車牌位置偵測等，並且結合以上方法自動從輸入的影像資訊中擷取所需的車輛影像。同時利用串流影像連續的特性，可以對同一台車作多次的車牌辨識以增加成功的機率，比起過去靜態拍攝的方式更能實際應用於真實世界。 在本篇論文中我們運用離散小波轉換和類神經網路來完成汽車牌照辨識的應用。而本文主要分為幾個部份，第一個部份是車尾位置偵測，第二個部份是汽車車牌的定位，第三個部份是牌照中字元的切割，第四個部份是牌照字元的辦識。 本文所提出的方法中，我們使用Haar小波轉換將輸入影像分為LL、LH、HL、HH四個子頻帶，利用每個頻帶不同的特性來實現，車尾偵測、清晰度判別、車牌定位，可以去除雜訊、減少計算時間、和記憶體的使用量。此演算法有利於實現一個高效能的車牌定位系統。 車牌字元辨識部份，我們利用類神經網路的方法來辨識字元。類神經網路具有高容錯性，這個特性有利於解決切割出的字元具有雜訊或者影像殘缺不全的問題。 本研究將攝影機架於車內後視鏡下方，在實際的市區道路上以正面拍攝前方的車輛作為測試，拍攝環境為白天、晚上、晴天、陰天、雨天。針對前方5~10公尺範圍做偵測。受測對象為一般自用小客車(轎車、休旅車)共257部，以評估系統的效能。[[abstract]]License plate recognition system has been extensively used in a variety of applications, such as parking lot management of community and buildings, highway toll systems, car management and so on. Most commonly available license plate recognition systems recognize only in static pictures. In this study, a motion-based targets vehicle license plate recognition prototype is proposed. Multiple-frames of pictures are used for recognition. As a result, the time for preprocessing stages is critical and developing time-efficient algorithms become more important. This prototype is designed mainly for specific car-search that should be helpful for many organizations such as police departments and bank. This paper presents a algorithm for license plate recognition using Discrete Wavelet Transform (DWT) and Neural Network. Classified into four parts: Locating the car-back in an image. Locating the license plate. Segmenting characters of the license plate. Recognizing each character of the license plate. We accomplish the license-plate localization by high-pass wavelet coefficients. Since the amount of data becomes 1/4 only, we can reduce, a lot of the system required time, the computational complexity, the memory usage, and rid of noise. This methodology provides high efficiency for locating a license plate from an image. In the recognition, we use the neural network because of the ability that a large number of neurons imitate the neural network of living beings. Besides, neural network has high and getting fault-tolerant, and that is helpful to against the noisy or incomplete cut characters. In this system, we set video camera under the rear-view mirror and continuously shoot the front motion-based vehicle. The video can be taken under arbitrary weathers and illuminations. In order to test the system efficiency, there are 257 cars been tested.[[tableofcontents]]第一章 緒論……………………………………………………………1 1.1 研究背景……………………………………………………………1 1.2 研究動機……………………………………………………………2 1.3 研究目的……………………………………………………………3 1.4 論文架構……………………………………………………………4 第二章 影像處理技術之基礎簡介……………………………………5 2.1 彩色模型轉換 ……………………………………………………5 2.2 平滑濾波器…………………………………………………………6 2.3 小波理論……………………………………………………………6 2.4 型態學……………………………………………………………11 2.5 標示連通物件法…………………………………………………13 第三章 影像擷取與車輛偵測………………………………………15 3.1 影像擷取…………………………………………………………16 3.1.1 攝影機的架設與設定………………………………………16 3.2 車輛偵測…………………………………………………………17 3.2.1 影像前處理………………………………………………18 3.2.2 車尾燈偵測………………………………………………20 3.2.3 車體影像擷取………………………………………………22 3.2.4 車體影像的確定……………………………………………24 第四章 車牌定位………………………………………………………25 4.1 車牌種類和規格…………………………………………………26 4.2 車牌初步候選區…………………………………………………27 4.3 細步定位…………………………………………………………31 4.3 去除亮度不均的車牌背景………………………………………32 4.5 微調整邊界………………………………………………………34 4.6車牌的確認………………………………………………………35 第五章 字元切割與辨識 ……………………………………………37 5.1 字元切割…………………………………………………………37 5.1.1 影像前處理…………………………………………………38 5.1.2 標示車牌字元物件…………………………………………40 5.1.3 矯正車牌傾斜………………………………………………41 5.1.4 字元正規化…………………………………………………42 5.2 字元辨識………………………………………………………45 5.2.1 訓練字元取得………………………………………………45 5.2.2 BPNN網路架構………………………………………………45 5.2.3 訓練神經網路………………………………………………46 5.2.4 文字辨識……………………………………………………50 5.2.5 文字再確認…………………………………………………51 第六章 研究結果………………………………………………………53 6.1 樣本取得.…………………………………………………………53 6.2 系統效能測試.……………………………………………………54 6.2.1 系統辨識速度測試……………………………………………54 6.2.2 實驗結果………………………………………………………55 6.2 測試結果討論.……………………………………………………55 6.3 系統測試成功範例.………………………………………………58 6.4 系統測試錯誤範例.………………………………………………62 第七章 結論與未來研究方向…………………………………………64 7.1 研究成果.…………………………………………………………64 7.2 本論文和以往研究不同處.………………………………………64 7.2.1 測試樣本取得…………………………………………………65 7.2.2 本論文處理方法及效率不同處………………………………65 7.3 未來研究方向……………………………………………………66 參考文獻………………………………………………………………68 圖目錄 圖2.1 (a)時域訊號 (b)經傅立葉轉換後的頻域訊號………………7 圖2.2 短時距傅立葉分析………………………………………………8 圖2.3 雙頻帶分析濾波器……………………………………………10 圖2.4 小波係數之階層關係…………………………………………11 圖2.5 二階小波轉換示意圖…………………………………………11 圖2.6 (a) 3x3的結構元件 (b) 使用 3x3的結構元件做Erosion運算 (c) 使用 3x3的結構元件做Dilation運算 (d) 使用 3x3的結構元件做Closing運算…………………………13 圖2.7 (a)4-neighborhood (b)8-neighborhood………………14 圖3.1 車牌辨識系統架構流程圖……………………………………15 圖3.2 攝影機架設位置示意圖………………………………………16 圖3.3 市區的街道背景相當複雜……………………………………17 圖3.4 進入偵測範圍中的減速車輛…………………………………18 圖3.5 一階小波轉換後影像大小示意圖 (a) 原圖 320*240 pixels (b) 一階小波轉換之LL區域160*120 pixels………………………19 圖3.6 (a)(b)分別表示LL頻帶的Y分量和V分量……………………19 圖3.7 由圖3.5(b)所擷取出的車燈方塊……………………………20 圖3.8 (a) 原始輸入影像 (b) 圖中綠色區塊即為系統所判定的有效區塊 (c) 保留屬於同一台車尾燈的區塊…………………………………21 圖3.9(a)~(d)為現行自用小客車較常見的車體結構………………22 圖3.10 車體範圍影像…………………………………………………23 圖3.11(a)(b) 因鏡頭晃動而模糊的車體影像………………………24 圖4.1 車牌定位系統流程……………………………………………25 圖4.2(a) 輸入影像 (b) 經一階小波轉換後之 HL子頻帶…………………………27 圖4.3 (a)車體範圍內的特徵點 (b) 4.3(a)之水平投影長條圖………………………………………28 圖4.4 理想車牌及某一水平列的投影………………………………28 圖4.5 劇烈跳動的水平投影波形……………………………………29 圖4.6 (a) 劇烈跳動的水平投影波形 (b) 4.6(a)經過高斯平滑後的結果…………………………………30 圖4.7(a)(b)分別為輸入影像和HL高頻的初步定位…………………30 圖4.8 5×2的結構元件………………………………………………31 圖4.9 利用5×2的Closing連結特徵點………………………………31 圖4.10 初步候選區內的有效行………………………………………31 圖4.11 車牌的左右界…………………………………………………32 圖4.12 車牌的上下界…………………………………………………32 圖4.13 車牌細步定位的結果…………………………………………32 圖4.14 亮度分佈不均勻的車牌………………………………………33 圖4.15 Black top-hat 示意圖……………………………………33 圖4.16 Black top-hat運算後的結果 ……………………………34 圖4.17 車牌的字元區域……………………………………………34 圖4.18 由中間列分別向外搜尋新邊界……………………………35 圖4.19 車牌定位結果………………………………………………35 圖5.1車牌字元切割流程圖…………………………………………37 圖5.2 車牌灰階度統計圖…………………………………………38 圖5.3 二值化流程圖………………………………………………39 圖5.4 (a)原始車牌影像 (b) HL頻帶中的車牌區域 (c)車牌影像透過所求得的門檻值做二值化處理……………39 圖5.5 未經過去雜點之前…………………………………40 圖5.6 經過去雜點之後……………………………………………40 圖5.7 Bilinear Interpolation…………………………………43 圖5.8 (a)車牌扭正前(b)車牌扭正後(c)車牌字元切割 (d)字元正規化前、字元正規化後………………………………45 圖5.9倒傳遞神經網路模型………………………………………46 圖5.10 倒傳遞演算法的學習過程………………………………47 圖5.11類神經網路辨識車牌字元流程………………………………50 圖5.12 (a)字元D與0差異的部分 (b)字元8與B差異的部分……52 圖6.1 動態車牌辨識系統介面………………………………………54 圖6.2 複雜背景辨識結果…………………………………………58 圖6.3 紅色車體辨識結果…………………………………………59 圖6.4 夜間遠距離辨識結果………………………………………60 圖6.5 雨天辨識結果………………………………………………61 圖6.6 輸入影像對比過低造成定位錯誤……………………………62 圖6.7 車身反光造成定位錯誤………………………………………63 表目錄 表4.1 台灣地區車輛種類及其車牌規格……………………………26 表6.1 系統階段性的成功率…………………………………………55 表6.2 以取得樣本的時段觀點，其辨識成功率……………………56 表6.3 以取得樣本的氣候觀點，其辨識成功率……………………56 表6.4 以取得樣本的車速觀點，其辨識成功率……………………56[[note]]學號: 694350058, 學年度: 9