[[alternative]]Banknote recognition system for smart phone based on SIFT algorithm

碩士[[abstract]]本文旨在開發智慧型手機鈔票辨識系統，提供視障者能使用智慧型手機來辨識鈔票，藉此解決視障者對於鈔票辨識不便之處。本文選用當今最普及與流行的Android智慧型手機平台來建構鈔票辨識系統，設計出能夠讓視障者容易操作的介面，以及快速準確的辨識出鈔票的效能，只要按下開始鍵就會進行拍攝及辨識流程，即可讓視障者獲得鈔票辨識結果。 本文選用尺度不變特徵轉換演算法，將智慧型手機拍攝的相片影像，產生特徵點與128維描述向量，與預先建立且已利用尺度不變特徵轉換運算過的鈔票樣本資料庫進行匹配，最後利用語音回饋給視障者，讓視障者能夠很容易地知道鈔票面額，藉此來解決視障者在鈔票辨識上的不便，提升視障者日常生活的便利性。[[abstract]]The smart phone banknote recognition system is developed in this study to provide a recognizing banknote solution for the visual impaired by using smart phone. The recognition system is built on the Android platform which is the most popular for smart phones. In this system a friendly operating interface for the visual impaired is designed. By pressing a start button on touch screen, the system begins taking photo, processing banknote recognition and gives the final result. In this study, the Scale Invariant Feature Transform is used to create feature points from the banknote image taken by smart phone. Then 128 dimensional vectors of feature points are used to compare with pre-built database of New Taiwan Dollars banknote which is also created by Scale Invariant Feature Transform. The recognition result with the value of the banknote is responded in voice to the visual impaired. It allows the visually impaired to easily know banknote denominations to solve the difficulty on banknote recognitions and improve convenience in their daily life.[[tableofcontents]]中文摘要 I 英文摘要 II 目 錄 III 圖目錄 V 表目錄 IX 第一章 緒論 1 1.1 前言 1 1.2 研究動機 2 1.3 文獻回顧 3 1.4 論文架構 20 第二章 影像處理演算法 21 2.1 色彩空間轉換 21 2.2 尺度不變特徵轉換演算法 21 2.2.1 高斯函數 22 2.2.2 尺度空間極值檢測 23 2.2.3 特徵點定位及過濾 26 2.2.4 特徵點描述 28 2.3 特徵點匹配 29 第三章 系統設計與製作 31 3.1 影像局部特徵演算法之選擇 31 3.2 樣本資料庫建立 32 3.3 系統架構 35 3.4 Android遠端辨識架構 38 3.5 Android智慧型手機上使用方式與使用介面 38 3.6 OpenCV電腦視覺函式庫 41 3.7 Android智慧型手機平台 42 第四章 結果與討論 44 4.1 PC上使用webcam系統測試 44 4.2 Android智慧型手機單機版實測 57 4.3 Android手智慧型機遠端版實測 60 4.4 測試結果彙整 64 第五章 結論與未來展望 65 5.1 結論 65 5.2 未來展望 66 參考文獻 69 圖目錄 圖1-1 3D深度圖像高低落差偵測法 6 圖1-2 Kinect盲人輔具系統架構圖 7 圖1-3 路面偵測影像 8 圖1-4 Kinect座標系與世界座標系轉換示意圖 8 圖1-5 枕木紋偵測示意圖 9 圖1-6 ZigBee遙控式視障輔具流程圖 10 圖1-7 ZigBee無線語音裝置電路圖 11 圖1-8 Android平台上鈔票辨識流程 12 圖1-9 紅外線鈔票辨識系統流程圖 13 圖1-10 3x3遮罩圖像 13 圖1-11 積分影像示意圖 15 圖1-12 SURF特徵點向量示意圖 15 圖1-13 FAST 9-16演算法示意圖 16 圖1-14 SIFT、SURF、BRIEF+FAST、ORB匹配性能測試圖 17 圖1-15 BRISK特徵點檢測方法示意圖 18 圖1-16 FAST 5-8示意圖 18 圖1-17 BRISK特徵點描繪方法示意圖 19 圖2-1 常態份布圖 23 圖2-2 高斯差函數與影像金字塔示意圖 25 圖2-3 特徵點確認示意圖 25 圖2-4 高斯差函檢測出之特徵點 26 圖2-5 經過精確定位之後特徵點 27 圖2-6 消除邊緣效應後的特徵點 28 圖2-7 SIFT梯度合成向量示意圖 29 圖2-8 SIFT特徵點匹配距離實驗圖 30 圖2-9 特徵點匹配結果 30 圖2-10 消去最大歐式距離0.6以上之匹配結果 30 圖3-1 新台幣100元樣張 31 圖3-2 新台幣鈔票樣張 33 圖3-3 新台幣100元鈔票正面10個樣本 34 圖3-4 新台幣500元樣張與其遮罩圖像 34 圖3-5 樣本資料庫建立流程圖 35 圖3-6 JNI調用流程圖 36 圖3-7 主程式流程圖 37 圖3-8 遠端運算架構圖 38 圖3-9 Android智慧型手機上操作示意圖 39 圖3-10 於開發工具Eclipse上的物件佈局圖 39 圖3-11 於Android手機上執行畫面 40 圖4-1 PC版系統測試結果圖說明 44 圖4-2 新台幣100元正面辨識測試圖 45 圖4-3 新台幣100元反面辨識測試圖 45 圖4-4 新台幣200元正面辨識測試圖 45 圖4-5 新台幣200元反面辨識測試圖 46 圖4-6 新台幣500元正面辨識測試圖 46 圖4-7 新台幣500元反面辨識測試圖 47 圖4-8 新台幣1000元正面辨識測試圖 47 圖4-9 新台幣1000元反面辨識測試圖 47 圖4-10 新台幣2000元正面辨識測試圖 48 圖4-11 新台幣2000元反面辨識測試圖 48 圖4-12 新台幣100元正面旋轉擺放辨識測試圖 49 圖4-13 新台幣100元反面旋轉擺放辨識測試圖 49 圖4-14 新台幣200元正面旋轉擺放辨識測試圖 49 圖4-15 新台幣200元反面旋轉擺放辨識測試圖 50 圖4-16 新台幣500元正面旋轉擺放辨識測試圖 50 圖4-17 新台幣500元反面旋轉擺放辨識測試圖 50 圖4-18 新台幣1000元正面旋轉擺放辨識測試圖 51 圖4-19 新台幣1000元反面旋轉擺放辨識測試圖 51 圖4-20 新台幣2000元正面旋轉擺放辨識測試圖 51 圖4-21 新台幣2000元正面旋轉擺放辨識測試圖 52 圖4-22 新台幣100元正面遮蔽辨識測試圖 52 圖4-23 新台幣100元反面遮蔽辨識測試圖 53 圖4-24 新台幣200元正面遮蔽辨識測試圖 53 圖4-25 新台幣200元反面遮蔽辨識測試圖 53 圖4-26 新台幣500元正面遮蔽辨識測試圖 54 圖4-27 新台幣500元反面遮蔽辨識測試圖 54 圖4-28 新台幣1000元正面遮蔽辨識測試圖 54 圖4-29 新台幣1000元反面遮蔽辨識測試圖 55 圖4-30 新台幣2000元正面遮蔽辨識測試圖 55 圖4-31 新台幣2000元反面遮蔽辨識測試圖 55 圖4-32 不具有新台幣鈔票之圖像辨識測試圖-1 56 圖4-33 不具有新台幣鈔票之圖像辨識測試圖-2 56 圖4-34 不具有新台幣鈔票之圖像辨識測試圖-3 57 圖4-35 Sony Xperia ZR 4.4.4 (API 19)單機JNI實測圖- 58 圖4-36 Sony Xperia ZR 4.4.4 (API 19)單機JNI實測圖-2 58 圖4-37 Sony Xperia ZR 4.4.4 (API 19)單機JNI實測圖-3 58 圖4-38 Sony Xperia ZR 5.0.2 (API 21)單機JNI實測圖-1 59 圖4-39 Sony Xperia ZR 5.0.2 (API 21)單機JNI實測圖-2 59 圖4-40 Sony Xperia ZR 5.0.2 (API 21)單機JNI實測圖-3 60 圖4-41 DDMS偵錯記錄 61 圖4-42 HTC HD2遠端版實測圖-1 61 圖4-43 HTC HD2遠端版實測圖-2 62 圖4-44 HTC HD2遠端版實測圖-3 62 圖4-45 Sony Xperia ZR遠端版實測圖 63 表目錄 表1-1 台灣地區消費者行動裝置普及率 4 表1-2 視覺障礙度量表 5 表3-1 四種演算法正面特徵點實測比較 32 表3-2 四種演算法性能比較 32 表3-3 OpenCV 2.4.9版函式庫功能表 41 表3-4 2014年一至十月智慧型手機/平板電腦作業系統市佔率 43 表4-1 實測時間比較表 63[[note]]學號: 602370354, 學年度: 10