[[alternative]]Facial feature replacement and morphing systems

碩士[[abstract]]主動式外觀模型(active appearance model, AAM)是近年來受到關注的一個以模型為基礎的方法，由於它能很成功地用來建立可變形樣板模型(deformable template model)，對具多變性物件的影像有良好的闡釋功能，因而廣泛地被用來解析人臉影像。AAM 除了本身有很好的應用之外，其處理過程使用的模組也非常好用。 本篇論文中提出一個人臉特徵更換系統及一個人臉影像形態轉換系統，兩系統均利用控制點與AAM在變形過程採用到的三角剖分演算法(triangulation algorithm)做人臉特徵裁貼(facial feature pasting)。 實驗結果顯示，本文所提的人臉特徵更換法與人臉影像形態轉換法均能得到頗為自然的結果，對影像中的人臉形狀、大小或旋轉角度之差異完全沒有限制，而且可根據使用者的喜好完成不同的結果，具高度的彈性。[[abstract]]An AAM (Active Appearance Model) is a model-based approach for the interpretation of face images has received a great deal of attention in recent years. Due to its capability of ‘interpreting’ the images containing objects with large variability in terms of a compact set of model parameters, this method has been widely adopted to ‘explaining’ the appearance of human faces. AAM and its auxiliary modules as well are very applicable in many tasks. In this thesis, we proposed a facial feature replacement system and a facial morphing system both using the triangulation algorithm to perform facial feature replacement or blending associated with control points. The experimental results show that both systems are flexible to use and provide quite natural composite images. In addition, the systems have no limit to the shape, size, and plane rotation of the faces.[[tableofcontents]]第一章 緒論 1 1.1 研究背景、動機與目的 1 1.2 論文架構 2 第二章 相關論文回顧 3 2.1 主動式外觀模型 3 2.2 人臉特徵更換 5 2.3 人臉影像形態轉換 9 第三章 主動式外觀模型簡介 11 第四章 人臉特徵更換系統 16 4.1 控制點選取 16 4.2 影像物件變形與裁貼 17 4.3 膚色調整 20 4.4 無縫處理(Seamless process) 23 第五章 人臉影像形態轉換系統 24 5.1 線性內插法之臉部形態轉換 24 5.2 基於特徵點對應與線性內插法之形態轉換 26 第六章 實驗結果與討論 30 6.1 人臉影像特徵更換系統之特色 30 6.2 形態轉換系統之比較 36 第七章 結論 39 參考文獻 41 附錄-英文論文 45 圖1. 主動式外觀模型之人臉偵測 4 圖2. 人臉輪廓偵測 6 圖3. 利用PDF加權比重，調整膚色 7 圖4. 以GA為基礎之人臉合成系統 8 圖5. Karungaru之控制點及三角分割範例 10 圖6. 以控制點做三角剖分範例 11 圖7. 從標記特徵點影像與正規化形狀點集合之形狀正規化裁圖 13 圖8. 人臉特徵更換系統流程圖 16 圖9. 控制點對應範例 17 圖10. 三角形剖分對應範例 18 圖11. 兩個三角型之間的點對應關係 19 圖12. 圖形變形與裁貼範例 20 圖13. 邊界線段鄰近矩形區域選取 22 圖14. 膚色調整 22 圖15. 無縫處理 23 圖16. 影像混合過程 25 圖17. 臉部形態轉換過程 27 圖18. 以控制點對應之形態轉換過程圖 28 圖19. 人臉形態轉換過程 29 圖20. 單純剪貼方法 31 圖21. 本方法對圖20的來源影像之裁貼結果 31 圖22. 平面旋轉角度相異之影像裁貼 32 圖23. 全臉或部分臉裁貼 32 圖24. 多張來源影像之部分臉裁貼至一張目標影像 33 圖25. 來源影像裁貼至不同目標影像 34 圖26. 多個來源影像全臉裁貼至單一目標影像 35 圖27. 形態轉換測試圖 36 圖28. S. Karungaru et al. [18] 提出的形態轉換過程 37 圖29. 本篇論文提出的形態轉換過程 38[[note]]學號: 697411725, 學年度: 9