Automatically Correcting Image Stitching System Based On the Feature Points and the Edge Contour for the Complex Environment

在這篇論文中提出一個針對複雜影像變化場景的自動影像疊合演算法，由於有許多硬體設備上往往會有視野狹窄的情況發生，藉由改良硬體設備去增加視野這種方法對於擴展的視野是有侷限的，然而我們論文的目標是藉由影像疊合的方式擴展硬體裝置的視野，比如在微創手術中的內視鏡往往的視野是非常狹窄的，我們可藉由影像疊合的方式去提升比原本硬體設備更多的視野提供給醫生，如此可以處理內視鏡本身視野狹窄的缺點。在影像疊合的演算法中大部分是基於影像上面的特徵點去尋找影像與影像之間共同的區域與並且假設某特定的轉換關係為前提下計算轉換矩陣用來疊合兩張影像，但是在實際應用方面硬體常以不規則的方式運動對於一般的影像疊合的方式利用特徵點與隨機抽樣演算法去計算轉換關係往往會發生無法偵測到特徵點匹配對或是計算出的轉換關係只符合區域，因此這一類的方式會產生非常不穩定的結果，針對於不規則運動的影像疊合問題在特徵點選取，特徵點估測轉換關係等步驟作一個改良，使得因為只依賴特徵點計算出的轉換誤差藉由加入輪廓訊息去調整此轉換關係使得兩影像疊合能夠更加平順以及可以在不規則的運動下找到特徵點匹配對。以往大多數的影像疊合演算法並沒有辦法知道結合之後是否還存有偏差的區域導致即使有誤差區域也無法修，因此在影像疊合有偏差的區域我們利用邊界數量與遮罩運算可以得知疊合不佳的區域在影像上的位置，而我們利用分層式特徵點匹配找出此區域的局部最佳轉換最後藉由局部與全局的轉換方式結合去處理疊合不佳的區域並且在複雜運動環境中建立二維全景影像。In this thesis, we focus on presenting an auto image stitching system for complex environment. The primary goal is to increase visibility by using the image stitching concept for a narrow visibility device. For example, a doctor’s field of view is important in minimally invasive surgery (MIS); therefore, stitching plural narrow endoscopic images together result in a wider field of view. The wide panoramic image can help the doctor to determine positioning in an MIS environment. The general image stitching process is based on using image feature points to find the overlapping region and estimate the projection between the two adjacent images, but the camera often moves in an irregular way in complex environment, leading to an unstable result for general stitching (random sample consensus) transformation. Therefore we focus mainly on how to improve irregular movement image stitching, feature detection, feature matching, and transformation, so that the image stitching systems can produce a wide field of view from a narrow device imag