Matching Algorithm of Infrared and Visible Artificial Scene based on Feature and Mutual Information

异源图像匹配是对来自不同传感器、不同时间或不同视角的两幅或多幅图像，在空间中寻找一种变换，使其在空间位置上达到一致。红外与可见光图像的匹配属于异源图像匹配，在自主导航、末制导、变化检测等领域中均受到了广泛关注。由于成像机制和条件的不同，同一场景的红外与可见光图像存在比较明显的光谱差异和透视差异，使得红外与可见光图像的匹配具有非常大的挑战性。本文针对红外与可见光图像，提出了一种基于特征和互信息的人工场景图像匹配算法。主要内容包括： 首先，研究了图像中点特征和直线段特征提取方法。Harris算法是一种经典的角点检测算法，但在红外图像中检测出的特征点分布均匀性差，针对这一问题，本文提出了基于子区域划分的角点提取方法；针对红外与可见光图像提取的特征点分布一致性不强的缺点，采用LSD(Line Segment Detector)算法检测出图像中的直线段，按照几何约束规则挑选出关键直线段，并计算它们的交点，将交点与改进的Harris角点一起组成图像特征点。针对局部邻域线段提取效率低的问题，在对全局直线段检测结果像素化表示的基础上，通过检索对应局部区域内的非零像素值实现快速直线段提取。 其次，为了提高异源图像点特征的表征性能，在特征提取的基础上，构建基于线段上下文的特征描述子。本文基于线段的长度l、线段的方向θ、线段到中心点的距离d三个属性设计了得分函数，通过计算特征点四象限邻域内线段的得分，得到每条线段对特征点的贡献，在此基础上采用圆形阵列的方式，构建基于线段上下文的特征描述子。 最后，运用双向匹配策略和RANSAC算法实现红外与可见光图像的粗匹配。为了提高匹配精度，提出了基于互信息的精匹配方法。将粗匹配结果作为精匹配的输入参数，确保搜索结果为全局最优解。为了提高计算速度和收敛效率，采用多分辨率框架和改进的Marquardt-Levenberg 搜索算法进行寻优，使目标函数快速地找到最优解。 实验结果表明，所提方法能够对灰度差异较大的红外与可见光图像实现精确匹配，并且在鲁棒性和时间效率方面都要优于主流异源图像匹配算法