基于边缘相关的红外与可见光图像配准方法
摘 要:针对红外与可见光图像的配准问题,在传统的基于图像边缘相关匹配配准的基础上,提出一种改进的方法。该方法首先手动选取待配准图像与参考图像中包含同一目标的子图像;接着利用Canny算子提取子图像的边缘和子图像的边缘相关性,求取出子图像间的仿射变换模型参数;再进一步修正该参数,得到原图像之间的仿射变换模型;然后对待配准图像进行仿射变换及双线性插值,从而实现图像配准。实验结果证明,该方法较之传统的利用图像边缘相关性的配准方法,提高了图像配准的速度,具有较高的实时性和应用价值。
关键词:子图像;边缘检测;相关匹配;图像配准
中图分类号:TP751.1文献标识码:A
文章编号:1004-373X(2009)10-104-03
Infrared-visual Image Registration Based on Edge Correlation
WANG A′ni1,MA Caiwen1,CHAO Changzheng2,LIU Shuang1
(Xi′an Institute of Optics and Precision Mechanics,Chinese Academy of Science,Xi′an,710119,China;
2.Xi′an Institute of Micro-electronics Technology,Xi′an,710075,China)
Abstract:A new method based on the correlation of sub-image and affine transformation is presented in order to realize the registration of infrared image and visual image.It has improved traditional image registration method based on the edge correlation of images.In the method,firstly,croping image manually and getting the sub-image from the reference image and image prepared for registration.The sub-image contains the same target of the scene.Secondly,extracting the edges of sub-image by Canny operator,and calculating parameters of affine transformation model between sub-images by edge correlation.Thirdly,further amending the parameters to get affine transformation model between original images,and carrying out affine transformation and bilinear interpolation in the image prepared for registration to realize image registration.The results prove that the method has a faster image registration speed compared to traditional method based on edge correlation,and have better practical value.
Keywords:sub-image;edge detection;correlation matching;image registration
0 引 言
在融合检测与协同检测中,要综合利用各种成像传感器的图像信息。然而,由于各种成像传感器的成像机理,以及拍摄角度、方位、时间及视场大小等的差异,致使图像之间存在着旋转、缩放、平移等。所以,实现一幅或两幅图像的配准是融合检测与协同检测最基础的步骤[1-3]。
图像配准就是将取自同一目标区域的两幅或多幅影像在空间位置上最佳地套合起来。这些影像来自不同传感器,或者是由同一传感器在不同时相获取的[4]。图像配准的一般步骤是[5-7]:
(1) 从参考和待配准图像中提取共有的特征,如物体的边缘、交叉点等;
(2) 对两幅图像中的特征进行匹配;
(3) 选择变换模型,并从匹配特征对估计变换参数;
(4) 对待配准图像实行几何变换和灰度插值,完成配准。
文献[8]基于图像的边缘特征实现了红外与可见光图像的配准,但是存在3个问题:初始阶段需要进行手工选点,并粗略计算配准参数;在图像全局范围内进行相关运算,运算速度慢,不具有实时性;提取整幅图像的边缘,不一定可以得到理想效果。
1 选取子图像并提取其边界
在此主要针对红外与可见光图像的自动配准问题,提出了一种改进的基于边缘相关的图像配准算法,该方法利用子图像的边缘特征,计算几何变换模型,实现了红外与可见光图像的自动配准。图1为算法流程图。
图1 算法流程图
在图像中,选取其子图像,在子图像上进行各种运算。由于图像较小,可以减少运算次数及复杂度,加快运算速度。对于同一场景拍摄的红外与可见光图像进行配准时,若取相同目标及其邻域所在的子图像,其旋转、缩放的几何变换模型参数与原图像相同。因而可以在子图像上进行运算,求出这两个参数。这里手动选取子图像,考虑需要得到其边缘特征以及后续的参数修正,遵循规则为:参考图像与待配准图像的子图像应包含场景中相同的目标;形状为矩形;具有良好的边缘特征。
提取图像边缘特征的方法很多,有Sobel,Prewitt,Roberts,LoG以及Canny等算法。其中,Sobel,Roberts,Prewitt都为局域窗口梯度算子,对噪声比较敏感,所以对处理实际图像不太适用。而Canny算子较之LoG算子,提取的边缘比较完整,且连续性也较好。所以,这里在选取子图像的边缘特征时,采用Canny算法进行边缘检测。Canny算法进行边缘检测的步骤为:
(1) 降噪将原始图像与高斯mask做卷积,得到的图像与原始图像相比有些轻微的模糊。这样,单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。
(2) 寻找图像中的边缘点 在图像中的每一点处计算局部梯度和边缘方向,边缘点定义为梯度方向上其强度局部最大的点。
(3) 非最大值抑制。在上一条中确定的边缘点会导致梯度幅度图像中出现脊,算法追踪所有脊的顶部,并将所有不在脊的顶部的像素设为零。脊像素使用2个阈值T1和T2(T1
2 利用边缘相关性实现图像配准
得到参考图像以及待配准图像的子图像,就可以提取子图像的边缘,利用边缘相关性,计算变换模型参数,对待配准图像实行变换及插值,完成图像配准。
2.1 计算仿射变换模型参数
常用的变换模型有仿射模型和多项式模型。多项式模型与仿射模型相比,较复杂,计算速度慢,只在两幅图像之间有非线性变换时采用。而当图像获取系统各个光轴基本平行且目标距离较远时,忽略伴随的几何畸变,可以认为图像间只有二维平移、旋转和比例变化,图像间的变换关系可以由一个仿射模型来描述[9]。其定义如式(1)所示。
x′y′〗=scos(a)-sin(a)0sin(a)cos(a)0〗xy1〗+ΔxΔy〗(1)
式中:s为缩放比例;a为旋转角度;Δx,Δy分别为x方向和y方向的平移因子。在进行边界相关匹配前,首先初始化参数a,s,Δx以及Δy。相关匹配时,首先假设Δx,Δy初始值正确,按照一定的步长变化参数a和s,对待配准图像的子图像进行仿射变换,并将变换后的图像与参考图像的子图像公共部分进行相关运算,将相关运算结果最大时的a和s作为最佳参数;再设a和s为最佳值,并保持不变,变化Δx和Δy,利用相同方法求出其最佳值。最终得到最佳仿射变换模型参数a,s,Δx和Δy。
得到子图像的仿射变换模型参数,其中a和s可直接用于对待配准图像进行变换,而Δx和Δy需要进行修正。修正方法如式(2)所示:
ΔxΔy〗=Rcenter-T\(2)
式中:Vcenter为待配准图像的子图像中心在原图上的坐标;Rcenter为参考图像的子图像中心在原图上的坐标;T[]表示仿射变换,如式(1)所示,即用子图像仿射变换后的中心偏移量来修正Δx和Δy。
2.2 对待配准图像进行仿射变换及插值
得到仿射模型后,对待配准图像进行式(1)所示的几何变换,就完成了图像配准。然而,图像在几何变换的过程中,会出现变换后的坐标不是整数,或者在目标图像中存在没有被原图像的点映射到的点,这些点的颜色值需要通过插值来补充进来。常见的插值方法有最邻近插值法、双线性插值法和双三次插值法[10]。考虑到插值的效果,以及计算复杂度,这里采取双线性插值法。
3 实验结果
整个算法是在PC机上,使用VC++6.0环境实现的。实验图像来自文献[5]。
在图2中,红外图像如图2(a)所示,大小为315×235,其子图像的左上角与右下角坐标分别为(104,54),(172,160);可见光图像如图2(b)所示,大小为315×235,其子图像的左上角与右下角坐标分别为(115,58),(191,179),目标为场景中的一个窗口。初始化a=0,s=1,Δx=0和Δy=0。a的搜索范围为(a,a+1),步长为0.1;s的搜索范围为(s-0.1,s+0.1),步长为0.02;Δx的搜索范围为(Δx-10,Δx+10),步长为2;Δy的搜索范围为(Δy-10,Δy+10),步长为2。其子图像配准结果如图2(c)所示,最终配准结果如图2(d)所示,耗时约0.34 s,而若在全局进行相关运算,计算几何变换参数,配准耗时约2.26 s。可见,采用在子图像进行相关运算,配准效果较好,而且提高了运算速度。图3为另一组图像。红外图像大小为319×239;可见光图像大小为295×221;采用本文的方法也实现了很好的配准,并且采用本文方法时,耗时约0.28 s,采用全局法,耗时约2.3 s。
图2 红外与可见光图像配准实例(一)
图3 红外与可见光图像配准实例(二)
4 结 语
从以上实验结果可以看出,该文提出的图像配准方法与传统的基于边界相关的方法相比,具有原理简单,运算复杂度低,实时性好,以及稳健、收敛快等特点,在配准结果相近的情况下,处理速度提高了6倍左右。该方法中,需要注意的问题有2个:子图像的选取和边缘检测算法。
子图像的选取直接影响到边缘检测的效果。因此,所选取的子图像必须具有良好的边缘特征,有利于后续的边缘提取。在边缘提取时,应根据图像的特征,选择最佳的边缘检测算法。图像配准作为融合检测与协同检测的基础工作,在实时性要求比较高的场合,在此所提出的方法完全可以满足要求。
参考文献
[1]杨翠.多波段光电图像融合技术研究[D].西安:西安电子科技大学,2006.
[2]杨必武,郭晓松,赵敬民,等.基于小波变换的视差图像全局几何配准新算法[J].光子学报,2007,36(3):574-576.
[3]邓子健,李弼程,曹闻.一种基于小波变换的图像配准方法[J].测绘通报,2004(2):16-19.
[4]吕海霞.自动图像配准技术研究[D].西安:西北工业大学,2007.
[5]Tomislav Hrkac,Zoran Kalafatic,Josip Krapac.Lecture Notes in Computer Science [M].Berlin:Springer-VerlagBerlin Heidelberg,2007.
[6]高军,李学伟,张建,等.基于模板匹配的图像配准算法[J].西安交通大学学报,2007,41(3):307-311.
[7]王忆锋,张海联,李灿文,等.多传感器数据融合中的配准技术[J].红外与激光工程,1998,27(1):38-41.
[8]金宝刚,王晓蕾.一种红外与可见光图像的自动配准方法[J].光学与光电技术,2007,5(6):60-62.
[9]钮永胜,倪国强.多传感器图像自动配准技术研究[J].光学技术,1999(1):16-18.
[10]石智,郑建国.M尺度函数及其在图像缩放处理中的应用[J].光子学报,2007,36(8):1 548-1 551.
