[[alternative]]Adaptive color interpolation for digital image sensors

碩士[[abstract]]本論文提出一種去馬賽克方法，將數位相機拍攝進來於電荷耦合元件影像感測器上以貝爾圖案排列的馬賽克影像，能經由此方法還原成接近原始色彩的全彩影像。作法上是從綠色像素上做色彩內插的計算開始，首先經由像素與鄰近區域的像素間的梯度大小區分出平滑及複雜的區域，在平滑區域的內插計算部分藉由水平及垂直的梯度當作加權來做平均。而在較複雜的區域則使用像素色差的變異數來決定缺少綠色樣本插值的插值方向來決定插值。接著用前面求出的綠色內插值來使用顏色的相關性來對藍色及紅色做內插計算，在計算完之後再利用像素與周圍像素的色差權重值來針對像素缺少藍色或紅色的色值做優化的內插計算，用來取得在各個像素中較為接近原始色彩的內插值，以完成最終的顏色重建。最後，本論文以峰值訊噪比值及CIELAB數值作為客觀上評量本論文之去馬賽克方法的效能，以及圖片的比較來當作人眼所見的主觀感受。[[abstract]]This thesis presents a demosaicing method to restore the full color image close to the original color image based on the mosaic image arranged in the Bayer pattern on the CCD image sensor. The method begins with the interpolation for the missing green pixels. By calculating the horizontal and vertical gradients in a local region with the missing green pixel as its center, we classify the color texture of the local region to be smooth or complicated. If the color texture of the local region is smooth, the missing green pixel can be computed by the weighted sum of the bilinear interpolation with Laplacian second-order correction. If the color texture of the local region is complicated, the interpolation direction of the missing green pixel is determined by the variances of color differences. After interpolating all missing green pixels, the missing red and blue pixels are estimated by taking consideration of the interpolated green pixels and the color correlation between different channels. The interpolated red and blue pixels are further refined by taking the weighted sum of the four adjacent color difference values. Finally, the PSNR value and the CIELAB value are used as objective measures to quantify the performance of the proposed demosaicing method. We also show the reconstructed images to assess the subjectively visual quality of our method.[[tableofcontents]]目錄 中文摘要 II 英文摘要 III 目錄 V 圖目錄 VII 表目錄 IX 第一章 緒論 1 1.1 研究背景 1 1.2研究的目的與方法 5 1.3論文架構 6 第二章 文獻討論 7 2.1 相關研究 7 2.2 相關領域 10 2.2.1 RGB色彩空間 10 2.2.2 Lab色彩空間 11 2.2.3 CIE 1976 (L*, a*, b*) 色彩空間 13 2.2.4 峰值信噪比(PSNR) 15 第3章 數位影像感測器之適應性色彩內插 16 3.1 系統架構 16 3.2在藍色及紅色像素上內插計算缺失的綠色估計值 18 3.3計算在綠色像素上缺失的藍色與紅色估計值 26 3.4計算在藍色/紅色像素上缺失的紅色/藍色估計值 28 3.5優化藍色及紅色的估計值 29 第4章 實驗結果 33 4.1 圖案比較 33 4.2 PSNR及CIELAB數據比較 39 第5章 結論與未來展望 45 5.1 結論 45 5.2 未來展望 46 附錄 47 参考文獻 65 圖目錄 圖1.1 CCD數位相機 1 圖1.2 CCD與CMOS影像感測器 1 圖1.3 像素感測器 2 圖1.4 Bayer Pattern 3 圖1.5 原始圖片範例 4 圖1.6 馬賽克圖片範例 4 圖1.7 原始圖片和還原後色彩失真的圖片範例 5 圖2.1 近鄰複製法示意圖 7 圖2.2 Bayer Pattern配置的馬賽克圖 8 圖2.3 RGB色彩模型 10 圖2.4 Lab色彩空間，只展示可充入 RGB 色域的顏色 13 圖3.1 本論文演算法流程圖 17 圖3.2 5×5區塊的Bayer CFA pattern 18 圖3.3 閥值T與CPSNR的關係圖 21 圖3.4 9×9區塊的Bayer CFA pattern 21 圖3.5 5×5區塊的Bayer CFA pattern 25 圖3.6 第一種配置5×5區塊的Bayer CFA pattern 26 圖3.7 第二種配置5×5區塊的Bayer CFA pattern 27 圖3.8 計算色差權重的樣本 29 圖3.9 以綠色為中心計算色差加權的樣本 30 圖4.1 測試圖案組 [10] 33 圖4.2 Image 1的解馬賽克圖案部分區塊 34 圖4.3 Image 8的解馬賽克圖案部分區塊 35 圖4.4 Image 10的解馬賽克圖案部分區塊 36 圖4.5 Image 18的解馬賽克圖案部分區塊 37 圖4.6 Image 19的解馬賽克圖案部分區塊 38 表目錄 表1. EECI演算法[6]在紅、綠、藍的PSNR表現 39 表2. CDUV演算法[7]在紅、綠、藍的PSNR表現 40 表3. PCSD演算法[9]在紅、綠、藍的PSNR表現 41 表4. 本篇演算法在紅、綠、藍的PSNR表現 42 表5. 本篇演算法與其他演算法的CPSNR比較 43 表6. 各演算法在CIELAB的色差表現比較 44[[note]]學號: 699470182, 學年度: 10