基于对齐度和互信息的红外与可见光图像配准

　　摘要：针对红外与可见光图像的特点，在此提出了一种结合边缘对齐度与互信息的图像配准方法。首先通过小波变换边缘检测得到红外与可见光图像的边缘图像，并将对齐度和归一化互信息自适应加权平均得到新的相似性测度函数，终通过计算相似性测度函数的极值求得待配准图像间的变换参数。实验结果表明，该方法可减少配准所需的时间，具有更高的性和鲁棒性。

　　0 引言

　　随着传感器技术的发展，不同传感器成像时反映出了不同的物理特性，综合利用多传感器图像提取特征和分析已成为一种重要的图像处理手段。在利用红外传感器和可见光传感器的图像进行数据提取和分析前，必须进行几何上和灰度上的严格配准。红外与可见光图像的配准是对同一场景在不同时间、视角和使用不同传感器得到的一组图像进行匹配的过程。红外传感器和可见光传感器作为两种常见的传感器工作于不同波段，正是这种图像信息的互补性，使得它们融合后的结果可以更有效地应用于目标检测识别跟踪等领域。因此研究红外图像和可见光图像的配准技术具有重要意义。

　　根据图像配准中利用的图像信息，可将现有的配准方法大致分为两类：基于区域的配准方法和基于特征的配准方法。基于区域的配准方法有：互信息法、梯度图像相关法、变换域分析法。基于特征的配准方法是指从参考图和待配准图中分别抽取共有特征，在特征空间寻找变换模型参数。从提取特征的类型来看，可分为点特征、线特征、区域特征等。由于红外图像的对比度相对较低，且红外与可见光图像相关性很小，可见光图像中不一定出现红外图像中的特征，因此红外图像与可见光图像配准较复杂，难道较高。针对红外与可见光图像配准的难点，本文提出了小波变换将图像进行多尺度边缘检测，并结合对比度和归一化互信息作为相似性测度，得到配准参数，以提高配准的效率、性和鲁棒性。

　　1 基于小波变换的多尺度边缘提取

　　通过检测二维小波变换的模极大点可以确定图像的边缘点。由于小波变换在各尺度上都提供了图像的边缘信息，所以称为多尺度边缘。沿着边界方向将任意尺度下的边缘连接起来可形成该尺度下沿着边界的模极大曲线。小波变换能够把图像分解成多种尺度成分，并对大小不同的尺度成分采用相应的时域或空域取样步长，从而能够不断地聚焦到对象的任意微小细节。经典的边缘提取算法是对原始图像中每个像素的某个小邻域来构造边缘检测算子，通常是寻找图像灰度函数的一阶导数局部极大值或二阶导数局部过零点。经典的边缘检测算法有：Canny边缘检测算子、R度berts边缘检测算子、Laplace 边缘检测算子和Prewitt边缘检测算子等。相比于经典的边缘检测算法，小波变换具有多尺度特性，可以较好地解决噪声和定位之间的矛盾。

　　在二维情况下，边缘检测算法通过计算图像信号Δf = （Δf /Δx,Δf /Δy） 的模的局部极大值来寻找图像边缘的空间位置。梯度矢量的方向指出了图像灰度值变化快的方向。

　　定义 2 个小波基函数为：ψx（x,y） = - Δθ（x,y）/ Δx,ψy （x,y） = -Δθ（x,y）/ Δy ;θ（x,y） 在 xy 平面的积分为1,且很快地收敛到0.

　　

　　用二进小波变换实现多尺度边缘检测就是寻找M2 j f （x,y） 的局部极大值，A2 j f （x,y）指明了边缘的方向。

　　2 基于互信息的图像配准

　　互信息是信息理论的一个基本概念，通常用来描述两个系统间的信息相关性，它可以用熵来描述。图像的熵是对图像概率分布的一种表述。图像的熵为：

　　

　　两幅图像的互信息可以用图像的熵和联合熵来定义：

　　

　　在红外与可见光的图像配准问题中，虽然两幅图像的来源不同，但是它们是基于同一个对象的信息，所以当两幅图像的空间位置完全一致时，两幅图像所共有的信息应该是的。由于互信息对重叠区域的变化比较敏感，误匹配数量的增加使互信息变大，为了解决这种情况，可采用归一化互信息测度：

　　

　　归一化互信息比传统的互信息稳定性强，匹配也有所提高。

　　3 基于对齐度的图像配准

　　对齐度表示一幅图像每个灰度值在像素位置上对应的另一幅图像的灰度值稳定，在数学上体现为方差。对每个灰度等级n = k （k = 0~255） 定义HA（n） 和HB （n） 分别表示图像IA（x,y） 和IB （x,y） 中灰度值为k 的像素数量，于是灰度值k 在两幅图像中的出现概率分别为PA（k） = HA（k）/MN和PB （k） = HB （k）/MN.对于图像IA（x,y） 的每一个灰度级n ,现定义图像IB （x,y） 相对于图像IA（x,y） 灰度值为n 的对应像素集合的灰度均值和方差分别为：

　　$891011交互方差反映了两幅图像灰度相互对应的稳定性，可以看出两幅图像的内容越相似，它们的交互方差越小。为描述方便，定义对齐度为：

　　

　　交互方差反映了两幅图像灰度相互对应的稳定性，可以看出两幅图像的内容越相似，它们的交互方差越小。为描述方便，定义对齐度为：

　　

　　如果单独使用对齐度作为相似性测度，那么当两幅图像达到配准时，对齐度取值。

　　4 相似性测度函数及数学模型建立

　　为了克服单一使用归一化互信息或者对齐度的不足，本文将归一化互信息与对齐度相结合形成新的相似性测度函数：

　　

　　.对于红外与可见光图像配准问题，当红外图像总体均衡，而可见光图像总体不均衡的情况下，使用归一化互信息能够得到较为明显的互信息曲线，且局部极值比较小；当红外图像总体不均衡，可将光图像均衡，且图像中有大量噪声存在的情况下互信息会有很多局部极值，可能使计算陷入局部极值当中，所以使用边缘对齐度能够得到较好的配准结果。

　　在红外与可见光图像配准过程中，通常假设待配准图像之间满足刚性仿射变换关系。对相同大小的待配准可见光图像A 和红外图像B 建立刚性变换关系：

　　

　　式中：α 表示两幅图像间的旋转角度；Δx 和Δy 分别表示两幅图像在x 方向和y 方向上的平移量。

　　通过对相似性测度函数求极值，求出刚性仿射变换的3个参数，得到两幅图像间的几何变换关系。

　　5 图像配准过程

　　红外图像具有不受天气影响、能穿透衣物和建筑材料等特性，但与可见光相比，红外图像分辨率较低，且由于成像设备限制等因素，图像中往往噪声很强，因此直接对红外图像进行常用的边缘检测算子将达不到预期的效果，图像中的目标及背景的真实边缘将无法得到有效体现。

　　根据小波变换的多分辨率特性，利用小波模极大值边缘检测方法将有效的得到图像边缘，并在边缘检测前对图像进行图像预处理（高斯滤波）可有效抑制图像中的噪声。图像配准就是根据相似性测度对空间几何变换参数的化搜索过程。首先参考图像始终保持不变，对待配准图像进行空间变换后与参考图像相比较，计算相似性测度。通过搜索算法，搜索使相似性测度达到对应的空间变换参数，根据得到的参数对待配准图像进行变换，即与参考图像达到配准。常用的搜索算法有黄金分割法、极值优化法、P度well法、蚁群算法、遗传算法等。

　　这里选用P度well法进行搜索，主要考虑到这种方法不用计算目标函数的梯度，仅通过比较目标函数的数值大小来移动迭代点就可以求出极值。

　　在得到两幅图像间的变换参数后，由于图像的旋转不可避免地出现变换后所得到点坐标不一定是整数像素，因此需要进行插值处理，这里选用近领域法进行插值处理。图像配准的流程图如图1所示。

　　

　　6 实验结果与分析

　　仿真实验是在PC 机上利用Matlab 2011 软件来实现。选取一组红外与可见光图像来进行仿真实验，图像大小都为360×270像素。令可见光为参考图像，红外图像为待配准图像。图2 中（a）和（b）分别为可见光图像和红外图像，（c）和（d）分别是可见光与红外图像利用小波模极大值得到的边缘图像。可以看出，可见光与红外图像中，提取的边缘轮廓有良好的一致性，可以用来进行仿真实验。

　　

　　实验开始首先将两幅已配准的图像进行位置变换，使待配准图像相对于参考图像的水平位移、垂直位移和旋转角度分别为Δx = 10 ,Δy = 5 ,α = 3度 .再确定令搜索为 α：[-10度 ] ,10度 , Δx:[-50,50],Δy:[-50,50].终求得变换参数为Δx = 9 ,Δy = 5 ,α = 3.261度 .

　　为验证本方法有效性，选取其他两种算法的实验结果进行比较，分别为基于互信息的图像配准方法和基于边缘对齐度的图像配准方法。得到各个方法得到的结果对比如表1所示。

　　

　　根据表1中的数据可以得出，就上面提到的相似性测度的配准来说，本文提出的测度在对选定的图像进行配准时，同时也在误差范围内。

　　7 结语

　　本文对红外与可见光图像配准进行了研究，提出了基于互信息与边缘对齐度的配准方法。该方法利用小波变换的多尺度边缘检测方法，并结合了基于特征和基于灰度的图像配准方法的优点，有效地降低了计算量，抑制了噪声，提高了图像配准的准确性和鲁棒性。