[[alternative]]Building 3D face model used to face recognition base on Kinect

碩士[[abstract]]在人臉辨識的相關研究中，側臉的辨識率因側臉的特徵資訊相較正臉來的少，造成辨識上的困難，使得辨識率一直研究學者想要大幅突破的目標，透過增加訓練資料的數量，有助於辨識率的提升，為了蒐集各種角度下之人臉影像，往往耗費大量時間。本論文提出一僅藉由單張正面影像模擬出各角度人臉之3D人臉建模方法，達到節省蒐集各種角度人臉之時間。透過Kinect擷取單張正面彩色及深度影像，經過前處理濾除非人臉之區塊並正規化後，在OpenGL空間中顯示3D人臉模型，透過OpenGL視窗視野角度改變，可以模擬出各種角度下之人臉，將這些人臉保存成2D影像，接著使用PCA降低維度後送入SVM分類。在實驗結果中顯示，用於人臉辨識有不錯之結果。[[abstract]]The applications of face recognition is increasing day by day. The studies of face recognition are mainly occlusions (sunglasses, hats, masks) , illumination (shadows, glare) , facial expressions, age variation , and pose changes (profile, pitch angle is too large) etc, and the side face recognition has been a difficult problem. We propose a simpler and faster method to create 3D face model. First, using ASM(Active Shape Model) to detection and get the color and depth image of face by Kinect, then we based on the information of the depth image portrayed face in opengl three-dimensional. This method retains much texture of information of the original face images, and to create a complete change of face uneven depth. It still has a good result of repairing the distortion in side face. We can get a set face images of the same person with different angles by the method proposed in this paper. In recognition part, we use PCA(Principal Component Analysis) to reduce the dimensions, and combined SVM(Support Vector Machine) to classify. Experiments show that the side face recognition can have good results.[[tableofcontents]]目錄 誌謝 I 中文摘要 II 英文摘要 III 目錄 IV 圖目錄 VII 表目錄 IX 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機 2 1.3 研究方法 2 1.4 論文架構 3 第二章 相關研究與技術 4 2.1 相關研究 4 2.1.1 人臉辨識 4 2.1.2 3D人臉建模 5 2.2 相關技術 8 2.2.1 YCbCr膚色偵測 8 2.2.2 數學形態學(Mathematical Morphology) 10 2.2.2.1 侵蝕 11 2.2.2.2 膨脹 12 2.2.2.3 斷開 13 2.2.2.4 閉合 14 2.2.3 直方圖等化 15 2.2.4 主成分分析(Principal component analysis) 17 2.2.5 支持向量機(Support Vector Machine) 19 2.2.5.1 線性支援向量機(Linear SVM) 20 2.2.5.2 非線性支援向量機(Nonlinear SVM) 22 2.2.6 主動形狀模型(Active Shape Model) 23 2.2.6.1 點分布模型(Point Distribution Model , PDM) 24 2.2.6.2 特徵點座標正規化 25 2.2.6.3 特徵點分布之主成分分析(PCA) 26 2.2.6.4 ASM模型校準(Aligning) 26 第三章 人臉辨識系統 28 3.1 大綱 28 3.2 訓練部分 29 3.2.1 Kinect彩色與深度視角修正 29 3.2.2 ASM擷取人臉影像 30 3.2.3 彩色影像前處理 31 3.2.3.1 YCbCr偵測膚色濾背景 31 3.2.3.2 形態學影像處理 32 3.2.3.3 RGB值前處理並轉成資料型態儲存 33 3.2.4 深度pixel長度比之校正 34 3.2.5 OpenGL創造3D人臉模型之方法 38 3.2.6 直方圖等化 40 3.3 辨識部分 41 第四章 實驗結果 42 4.1 實驗環境 42 4.2 實驗資料庫 42 4.3 實驗結果 45 4.3.1 3D人臉模型 45 4.3.2 人臉辨識 47 4.3.2.1 3D模型轉2D影像之辨識率 47 4.3.2.2 與一般影像進行訓練之人臉辨識比較 48 4.3.2.3 有無表情變化對辨識率之影響 49 4.3.2.4 所選取之特徵向量數對辨識率之影響 50 4.3.2.5 角度辨識 52 第五章 結論與未來展望 54 5.1 結論 54 5.2 未來展望 54 參考文獻 55 圖目錄 圖2.1 Candide人臉模型[5] 7 圖2.2 FaceGen Modeller人臉建模示意圖[6] 8 圖2.3 將原始影像轉成YCbCr影像 9 圖2.4 對YCbCr設閥值過濾膚色 10 圖2.5 對影像做侵蝕之結果 11 圖2.6 對影像做膨脹之結果 12 圖2.7 對影像做斷開之結果 13 圖2.8 對影像做閉合之結果 14 圖2.9 過暗、過亮及低對比度之影像及其像素累計直方圖 15 圖2.10 灰階影像經直方圖除理後之結果 16 圖2.11 彩色影像經直方圖除理後之結果 16 圖2.12 SVM超平面示意圖 19 圖2.13 超平面分類示意圖 20 圖2.14 本論文ASM選取之人臉特徵點 25 圖3.1 流程圖 28 圖3.2 Kinect彩色及深度鏡頭校正前後比較圖 29 圖3.3 ASM人臉偵測之結果 30 圖3.4 ASM所擷取之彩色及深度影像 30 圖3.5 利用YCbCr偵測膚色之結果 31 圖3.6 對YCbCr做3次斷開之結果 32 圖3.7 將人臉與背景區隔之結果 32 圖3.8 原始彩色影像 33 圖3.9 分離後之R、G、B影像 33 圖3.10相同物品和鏡頭之距離與影像中所占pixel數之關係圖 35 圖3.11 需校正深度pixel長度比之例子示意圖 36 圖3.12 因pixel間之距離造成旋轉3D人臉時產生縫隙 38 圖3.13以4點構成之正方形當成3D人臉模型之pixel 39 圖3.14 依本論文提出之方法所創立之3D人臉模型 40 圖3.15 直方圖等化之結果 40 圖3.16 各角度之平均臉 41 圖4.1 部分由3D模型轉成2D影像-無表情 43 圖4.2 部分由3D模型轉成2D影像-有表情 43 圖4.3 部分一般彩色影像-無表情 44 圖4.4 部分一般彩色影像-有表情 44 圖4.5 正臉 45 圖4.6 右側臉 45 圖4.7 左側臉 46 圖4.8 仰角臉 46 圖4.9 俯角臉 46 表目錄 表4.1 3D模型轉2D影像之辨識率 47 表4.2 以一般影像進行訓練之辨識率 48 表4.3 有表情變化之辨識率 49 表4.4 無表情變化之辨識率 50 表4.5 取前5維特徵向量之辨識率 51 表4.6 取前15維特徵向量之辨識率 51 表4.7 取前20維特徵向量之辨識率 52 表4.8 平均角度辨識率 53 表4.9 各角度之辨識率 53[[note]]學號: 601440075, 學年度: 10