基于椭圆对称方向矩的可见光与红外图像配准算法

工程科学学报，第39卷，第7期：1107-1113,2017年7月 Chinese Journal of Engineering,Vol.39,No.7:1107-1113,July 2017 D0l:10.13374/j.issn2095-9389.2017.07.018:http://journals..ustb.edu.cn 基于椭圆对称方向矩的可见光与红外图像配准算法 陈世伟，张胜修，杨小冈，齐乃新 火箭军工程大学，西安710025 ☒通信作者，E-mail:cshw3876@tom.com 摘要针对图像匹配制导中异源图像匹配难度大的问题，提出一种基于椭圆对称方向矩的可见光与红外图像配准算法 基于最稳定极值区域提取异源图像中具有尺度和仿射不变特性的椭圆区域，利用聚类分割方法从中自动选取具有异源不变 性的同质区域特征，用椭圆对称方向矩描述区域特征边界各方向上的相似程度，通过互相关性指标进行特征匹配，获取匹配 特征对，利用匹配矫正策略减少误匹配。实验结果表明：较传统算法，进一步提高了可见光与红外图像关联特征的匹配效率， 正确率超过了95%，计算时间缩短了近一半.基本满足图像匹配制导对匹配算法实时性好、匹配正确率高、抗干扰能力强等 要求. 关键词异源匹配：同质区域特征：椭圆对称方向矩：最稳定极值区域 分类号TP394.1:TH691.9 Registration of visual-infrared images based on ellipse symmetrical orientation moment CHEN Shi-wei,ZHANG Sheng-xiu,YANG Xiao-gang,QI Nai-xin Rocket Force University of Engineering,Xi'an 710025,China Corresponding author,E-mail:cshw3876@tom.com ABSTRACT For addressing the difficulties in the registration of multimodal images in image-matching guidance,a new visual- infrared image-registration approach based on ellipse symmetrical orientation moment was proposed.Scale and affine invariant maxi- mally stable external regions features were extracted to fit the ellipse area in multimodal images.Cluster segmentation was used to auto- matically select the homogeneous regional features that were invariant between multimodal images.The ellipse symmetrical orientation moment was used to describe the similarity of the regional feature edges in different orientations.Based on the mutual-correlation crite- rion,the matching feature pairs of the visual and infrared images were obtained.The matching correction strategy was used to reduce the probability of mismatching.The experiments demonstrate that the matching success rate of the corresponding feature pairs between the visual and infrared image is improved to more than 95%,and the computation time is reduced by nearly half as compared with that required by traditional algorithms.The proposed algorithm can meet the image-registration algorithm requirements of a higher success rate and rapid speed as well as strong anti-jamming and stabilization for image-matching guidance. KEY WORDS multimodal images registration:homogeneous regional features:ellipse symmetrical orientation moment;maximally stable external regions 在图像匹配制导系统中，为了提高系统的全天候、 是指在不同类型传感器获取的图像之间进行的匹配， 全天时制导能力，仅仅依靠单一传感器所获得的图像如可见光与红外图像匹配、可见光与合成孔径雷达 数据进行匹配往往不能满足要求。异源图像匹配 (synthetic aperture radar,SAR)图像匹配等.红外传 收稿日期：201607-27 基金项目：国家自然科学基金资助项目(61401470)

工程科学学报，第 39 卷，第 7 期: 1107--1113，2017 年 7 月 Chinese Journal of Engineering，Vol． 39，No． 7: 1107--1113，July 2017 DOI: 10． 13374 /j． issn2095--9389． 2017． 07． 018; http: / /journals． ustb． edu． cn 基于椭圆对称方向矩的可见光与红外图像配准算法 陈世伟，张胜修，杨小冈，齐乃新 火箭军工程大学，西安 710025 通信作者，E-mail: cshw3876@ tom． com 摘 要 针对图像匹配制导中异源图像匹配难度大的问题，提出一种基于椭圆对称方向矩的可见光与红外图像配准算法． 基于最稳定极值区域提取异源图像中具有尺度和仿射不变特性的椭圆区域，利用聚类分割方法从中自动选取具有异源不变 性的同质区域特征，用椭圆对称方向矩描述区域特征边界各方向上的相似程度，通过互相关性指标进行特征匹配，获取匹配 特征对，利用匹配矫正策略减少误匹配． 实验结果表明: 较传统算法，进一步提高了可见光与红外图像关联特征的匹配效率， 正确率超过了 95% ，计算时间缩短了近一半． 基本满足图像匹配制导对匹配算法实时性好、匹配正确率高、抗干扰能力强等 要求． 关键词 异源匹配; 同质区域特征; 椭圆对称方向矩; 最稳定极值区域 分类号 TP394. 1; TH691. 9 Ｒegistration of visual-infrared images based on ellipse symmetrical orientation moment CHEN Shi-wei ，ZHANG Sheng-xiu，YANG Xiao-gang，QI Nai-xin Ｒocket Force University of Engineering，Xi'an 710025，China Corresponding author，E-mail: cshw3876@ tom． com ABSTＲACT For addressing the difficulties in the registration of multimodal images in image-matching guidance，a new visual￾infrared image-registration approach based on ellipse symmetrical orientation moment was proposed． Scale and affine invariant maxi￾mally stable external regions features were extracted to fit the ellipse area in multimodal images． Cluster segmentation was used to auto￾matically select the homogeneous regional features that were invariant between multimodal images． The ellipse symmetrical orientation moment was used to describe the similarity of the regional feature edges in different orientations． Based on the mutual-correlation crite￾rion，the matching feature pairs of the visual and infrared images were obtained． The matching correction strategy was used to reduce the probability of mismatching． The experiments demonstrate that the matching success rate of the corresponding feature pairs between the visual and infrared image is improved to more than 95% ，and the computation time is reduced by nearly half as compared with that required by traditional algorithms． The proposed algorithm can meet the image-registration algorithm requirements of a higher success rate and rapid speed as well as strong anti-jamming and stabilization for image-matching guidance． KEY WOＲDS multimodal images registration; homogeneous regional features; ellipse symmetrical orientation moment; maximally stable external regions 收稿日期: 2016--07--27 基金项目: 国家自然科学基金资助项目( 61401470) 在图像匹配制导系统中，为了提高系统的全天候、 全天时制导能力，仅仅依靠单一传感器所获得的图像 数据进行匹配往往不能满足要求［1--2］． 异源图像匹配 是指在不同类型传感器获取的图像之间进行的匹配， 如可见光与红外图像匹配、可见光与合成孔径雷达 ( synthetic aperture radar，SAＲ) 图像匹配等［3］． 红外传

·1108* 工程科学学报，第39卷，第7期 感器具有夜间探测能力，而可见光成像是目前最主要 文献口]通过实验证明，最稳定极值区域能够有效滤 的目标图像获取手段，两者具有一定的互补性，因此是 除可见光与红外图像中的灰度和对比度差异提取同质 多种异源图像匹配中比较常见的一种组合形式.红外 区域，从而形成关联特征 图像对应目标的能量辐射信息，灰度值取决于温度分 1.1最稳定极值区域 布：而可见光图像对应目标的反射信息，灰度值取决于 2004年Matas等u基于分水岭思想提出了最稳 目标反射强度，不同的成像机理使得可见光与红外图 定极值区域算法，用于宽基线图像匹配.该方法通过 像之间的匹配一直是个难点问题.目前按照数据处理 一系列给定的阈值进行分割得到一组二值图像，然后 对象，异源图像匹配算法主要可分为两类： 分析前后相邻阈值图像间的连通区域，根据连通区域 (1)基于像素灰度的匹配算法. 的面积变化率得到若干个最稳定极值区域.这些区域 基于像素灰度的匹配算法直接利用异源图像的灰 分为正向最稳定极值区域，记为MSER+和反向最稳 度信息进行匹配运算，每一像素的灰度特性对匹配结 定极值区域，记为MSER-,可以理解为图像最暗与最 果都产生影响，因此非常容易受干扰.互信息法是这 亮的区域.当灰度图像通过0到255的256个阈值时， 类方法的典型代表四，但是由于计算量太大，目前主要 记录从0开始的大于阈值的像素点，这样记录下的相 用于医学领域图像配准 邻点就形成了极值区域.那么对于比较宽的阈值范围 (2)基于图像特征的匹配算法 内形状保持稳定的区域就形成了MSER+·通过同样 基于图像特征的匹配算法首先根据图像的灰度特 方法（使灰度图像通过255到0的阈值）可以得到MS 性提取图像的固有特征，然后在这些特征的基础上进 ER-.2005年Mikolajczyk等函对六种主要的图像局 行匹配，如基于点特征的匹配可、基于线特征的匹 部不变特征进行了比较，其中一个很重要的结论就是 配、基于区域特征的匹配切等.这类方法是在更高 使用MSER方法检测出的局部特征在视角变换、尺度 层次的图像描述上进行匹配，具有较强的抗干扰能力， 变换、光照变换、图像压缩和图像模糊这五种情况下在 但是对特征提取方法有很强的依赖性 重现性和区分性方面处于领先位置.最稳定极值区域 两类方法各有优点，关键是如何将两个不同层次 提取后是一种不规则的区域，这不利于后续特征描述， 的图像描述融合，设计出具有异源稳定特性的共性特 因此需要对这些不规则区域进行拟合.由于区域协方 征.Kim等阅设计出一种基于灰度强度与边缘方向的 差矩阵的特征值和特征向量可以唯一确定一个椭圆， 融合特征，用于可见光与红外图像的配准取得一定效 因此通常采用椭圆拟合方法.如图1(b)和图(e) 果，但是要完成匹配需要搜索的区域太大，很难实用. 所示. 李壮等网提出了空间子区一致性异源图像匹配算法， 1.2同质区域特征自动选取 采用无差别子区划分方式，造成算法计算量过大.李 由于特殊提取机理，使得很多MSER特征包含一 想等网利用图像分割提取区域特征，在一定程度上减 定面积的同质区域，这是形成关联特征的基础.MSR 小了匹配搜索空间，但是匹配效果受分割算法影响很 特征中同质区域面积越大，成为关联特征的可能性越 大.廉蔺等基于最稳定极值区域(maximally stable 高.本文将同质区域占特征区域面积一半以上的MS- external regions,MSER)成功提取了可见光与红外图像 ER特征称之为同质区域特征.同质区域特征反映了 的关联特征区域，但同时也提取了大量无关区域，这无 可见光与红外图像对同一场景的稳定共性特征，是一 疑增加了后续特征描述和匹配难度.本文在文献门] 种潜在的关联特征.因此，如何自动选取具有同质区 的基础上对异源图像的最大稳定极值区域特征进行同 域特征是实现可见光与红外图像匹配的关键.可以利 质性筛选，然后利用椭圆对称方向矩对同质区域特征 用K均值聚类分割算法圆对每一个MSER特征区域 进行描述，最后运用互相关性指标实现特征匹配.这 进行分割，判断最大分割区域是否超过所在特征区域 种方法融合基于像素灰度与基于图像特征两类方法的 面积的一半，如果超过则定为同质特征区域.如图1 优点，能够较好的实现可将光与红外图像匹配 (©)和图()所示，通过同质区域特征选取后，大量无 关干扰区域被剔除，关联特征的比例大为提升 1同质区域特征提取 具体选取步骤如下： 关联特征提取是异源图像匹配的关键步骤，也是 (1)提取可见光或红外图像的所有MSER特征区 后续特征描述与特征匹配的前提和基础.通常来说， 域，记作M,i=1,2,3,·,N.针对M选取K个分类数 同质区域在异源图像中具有较稳定的共同属性.尽管 目，随机选取K个像素均值作为初始聚类中心 如此，同质区域在可见光与红外图像中，仍然会存在较 (2)在第i次迭代时，计算每一个像素与所有聚类 大的灰度和对比度差异，因此同质区域提取难度很大. 中心的距离，并将其赋给距离最近的类，即H=min

工程科学学报，第 39 卷，第 7 期 感器具有夜间探测能力，而可见光成像是目前最主要 的目标图像获取手段，两者具有一定的互补性，因此是 多种异源图像匹配中比较常见的一种组合形式． 红外 图像对应目标的能量辐射信息，灰度值取决于温度分 布; 而可见光图像对应目标的反射信息，灰度值取决于 目标反射强度，不同的成像机理使得可见光与红外图 像之间的匹配一直是个难点问题． 目前按照数据处理 对象，异源图像匹配算法主要可分为两类: ( 1) 基于像素灰度的匹配算法． 基于像素灰度的匹配算法直接利用异源图像的灰 度信息进行匹配运算，每一像素的灰度特性对匹配结 果都产生影响，因此非常容易受干扰． 互信息法是这 类方法的典型代表［4］，但是由于计算量太大，目前主要 用于医学领域图像配准． ( 2) 基于图像特征的匹配算法． 基于图像特征的匹配算法首先根据图像的灰度特 性提取图像的固有特征，然后在这些特征的基础上进 行匹配，如 基 于 点 特 征 的 匹 配［5］、基于线特征的匹 配［6］、基于区域特征的匹配［7］等． 这类方法是在更高 层次的图像描述上进行匹配，具有较强的抗干扰能力， 但是对特征提取方法有很强的依赖性． 两类方法各有优点，关键是如何将两个不同层次 的图像描述融合，设计出具有异源稳定特性的共性特 征． Kim 等［8］设计出一种基于灰度强度与边缘方向的 融合特征，用于可见光与红外图像的配准取得一定效 果，但是要完成匹配需要搜索的区域太大，很难实用． 李壮等［9］提出了空间子区一致性异源图像匹配算法， 采用无差别子区划分方式，造成算法计算量过大． 李 想等［10］利用图像分割提取区域特征，在一定程度上减 小了匹配搜索空间，但是匹配效果受分割算法影响很 大． 廉蔺等［7］ 基于最稳定极值区域( maximally stable external regions，MSEＲ) 成功提取了可见光与红外图像 的关联特征区域，但同时也提取了大量无关区域，这无 疑增加了后续特征描述和匹配难度． 本文在文献［7］ 的基础上对异源图像的最大稳定极值区域特征进行同 质性筛选，然后利用椭圆对称方向矩对同质区域特征 进行描述，最后运用互相关性指标实现特征匹配． 这 种方法融合基于像素灰度与基于图像特征两类方法的 优点，能够较好的实现可将光与红外图像匹配． 1 同质区域特征提取 关联特征提取是异源图像匹配的关键步骤，也是 后续特征描述与特征匹配的前提和基础． 通常来说， 同质区域在异源图像中具有较稳定的共同属性． 尽管 如此，同质区域在可见光与红外图像中，仍然会存在较 大的灰度和对比度差异，因此同质区域提取难度很大． 文献［7］通过实验证明，最稳定极值区域能够有效滤 除可见光与红外图像中的灰度和对比度差异提取同质 区域，从而形成关联特征． 1. 1 最稳定极值区域 2004 年 Matas 等［11］基于分水岭思想提出了最稳 定极值区域算法，用于宽基线图像匹配． 该方法通过 一系列给定的阈值进行分割得到一组二值图像，然后 分析前后相邻阈值图像间的连通区域，根据连通区域 的面积变化率得到若干个最稳定极值区域． 这些区域 分为正向最稳定极值区域，记为 MSEＲ + 和反向最稳 定极值区域，记为 MSEＲ － ，可以理解为图像最暗与最 亮的区域． 当灰度图像通过 0 到 255 的 256 个阈值时， 记录从 0 开始的大于阈值的像素点，这样记录下的相 邻点就形成了极值区域． 那么对于比较宽的阈值范围 内形状保持稳定的区域就形成了 MSEＲ + ． 通过同样 方法( 使灰度图像通过 255 到 0 的阈值) 可以得到 MS￾EＲ － ． 2005 年 Mikolajczyk 等［12］对六种主要的图像局 部不变特征进行了比较，其中一个很重要的结论就是 使用 MSEＲ 方法检测出的局部特征在视角变换、尺度 变换、光照变换、图像压缩和图像模糊这五种情况下在 重现性和区分性方面处于领先位置． 最稳定极值区域 提取后是一种不规则的区域，这不利于后续特征描述， 因此需要对这些不规则区域进行拟合． 由于区域协方 差矩阵的特征值和特征向量可以唯一确定一个椭圆， 因此通常采 用 椭 圆 拟 合 方 法． 如 图 1 ( b) 和 图 ( e) 所示． 1. 2 同质区域特征自动选取 由于特殊提取机理，使得很多 MSEＲ 特征包含一 定面积的同质区域，这是形成关联特征的基础． MSEＲ 特征中同质区域面积越大，成为关联特征的可能性越 高． 本文将同质区域占特征区域面积一半以上的 MS￾EＲ 特征称之为同质区域特征． 同质区域特征反映了 可见光与红外图像对同一场景的稳定共性特征，是一 种潜在的关联特征． 因此，如何自动选取具有同质区 域特征是实现可见光与红外图像匹配的关键． 可以利 用 K-均值聚类分割算法［13］对每一个 MSEＲ 特征区域 进行分割，判断最大分割区域是否超过所在特征区域 面积的一半，如果超过则定为同质特征区域． 如图 1 ( c) 和图( f) 所示，通过同质区域特征选取后，大量无 关干扰区域被剔除，关联特征的比例大为提升． 具体选取步骤如下: ( 1) 提取可见光或红外图像的所有 MSEＲ 特征区 域，记作 Mi，i = 1，2，3，…，N． 针对 Mi 选取 K 个分类数 目，随机选取 K 个像素均值作为初始聚类中心． ( 2) 在第 i 次迭代时，计算每一个像素与所有聚类 中心的距离，并将其赋给距离最近的类，即 H = min · 8011 ·

陈世伟等：基于椭圆对称方向矩的可见光与红外图像配准算法 *1109· b (c 图1关联区域特征提取.(a)可见光图像：(b)可见光图像MSER特征提取：(c)可见光图像同质区域提取：()红外图像：（©）红外图像 MSER特征提取：()红外图像同质区域提取 Fig.1 Extraction of corresponding regions'features:(a)visible image:(b)MSER characteristics extraction of visible image:(e)homogeneous re- gions extraction of visible image:(d)infrared image:(e)MSER characteristics extraction of infrared image;(homogeneous regions extraction of in- frared image {‖x-w0‖，j=1,2,3,…,K,则x∈P0.其中 其需要预测搜索范围，否则计算量会非常大.另外，这 x表示图像像素的灰度值，P⑧表示在第i次迭代后 种方向矩是建立在圆形邻域上的像素结构描述，会出 赋给第j类的像素集合，u⊙表示该集合的均值 现较多的重复匹配现象 (3)对于j=1,2,3,…,K,计算新的聚类中心，更 2.1椭圆对称方向矩 新类的均值u④=∑xN,其中N是P0中的像 前面通过同质区域特征提取，得到了可见光与红 外图像的关联特征.这些关联特征内部同为灰度均匀 素个数 的同质区域，很难通过区域内部灰度信息实现特征匹 (4)遍历所有像素，如果对于j=1,2,3,,K,都 配.但对于区域边缘的同名点，由于灰度变化剧烈，有 有0=u”,则算法收敛，否则返回(2)继续下一次 很强的相关性.因此，这里设计了一种椭圆对称方向 迭代. 矩用以描述同质区域特征的相似程度.定义如图2 (5)计算T=max(W)/M,其中N表示聚类算法 所示. 收敛后第j类的像素个数，M表示第i个特征区域的 以特征区域拟合椭圆中心为原点建立极坐标系， 像素个数，如果T>0.5,则M:定为同质特征区域 用距离p和方位角日来表示椭圆上的点.由于椭圆拟 2同质区域特征匹配 合过程中，椭圆上点的坐标可能出现亚像素现象，因此 这里规定其灰度值∫取其四邻域中值.特征区域的椭 区域特征由于包含丰富的图像信息，在异源匹配 圆对称方向矩在0.（0∈D,),k=1,2,…,D)方向上 中具有更好的适应性.如何对特征进行有效描述是进 的分量定义如下： 行特征匹配的关键，区域特征也不例外.Hasan等n 利用交叉累积剩余熵(cross-cumulative residual entro- Mp,0)=三p.p.0)-fp.m+,1+ Ppy,CCRE)来描述灰度特征用于多模卫星图像的配 fpa,-6)-fp.,r-0)i). (1) 准.Wang等u将尺度不变特征变换(scale-invariant 距离p,可以通过下式求出 feature transform,SIFT)描述子用于异源匹配，虽然取 (2) 得了不错的匹配效果，但计算量过大是个无法回避的 .acos(hsin 问题.李想等提出一种方向矩特征描述方法，利用 其中，a是椭圆长半轴长度，b是椭圆短半轴长度.M 异源图像同名点邻域灰度分布的对应性实现匹配，但 为采样分辨率常数

陈世伟等: 基于椭圆对称方向矩的可见光与红外图像配准算法 图 1 关联区域特征提取． ( a) 可见光图像; ( b) 可见光图像 MSEＲ 特征提取; ( c) 可见光图像同质区域提取; ( d) 红外图像; ( e) 红外图像 MSEＲ 特征提取; ( f) 红外图像同质区域提取 Fig． 1 Extraction of corresponding regions’features: ( a) visible image; ( b) MSEＲ characteristics extraction of visible image; ( c) homogeneous re￾gions extraction of visible image; ( d) infrared image; ( e) MSEＲ characteristics extraction of infrared image; ( f) homogeneous regions extraction of in￾frared image { ‖x* － u( i) j ‖，j = 1，2，3，…，K} ，则 x* ∈P( i) j ． 其中 x* 表示图像像素的灰度值，P( i) j 表示在第 i 次迭代后 赋给第 j 类的像素集合，u( i) j 表示该集合的均值． ( 3) 对于 j = 1，2，3，…，K，计算新的聚类中心，更 新类的均值 u( i) j = x ∑* ∈P( i) j x* /Nj ，其中 Nj 是 P( i) j 中的像 素个数． ( 4) 遍历所有像素，如果对于 j = 1，2，3，…，K，都 有 u( i) j = u( i + 1) j ，则算法收敛，否则返回( 2) 继续下一次 迭代． ( 5) 计算 T = max ( Nj ) /Mn i ，其中 Nj 表示聚类算法 收敛后第 j 类的像素个数，Mn i 表示第 i 个特征区域的 像素个数，如果 T ＞ 0. 5，则 Mi 定为同质特征区域． 2 同质区域特征匹配 区域特征由于包含丰富的图像信息，在异源匹配 中具有更好的适应性． 如何对特征进行有效描述是进 行特征匹配的关键，区域特征也不例外． Hasan 等［14］ 利用交叉累积剩余熵( cross-cumulative residual entro￾py，CCＲE) 来描述灰度特征用于多模卫星图像的配 准． Wang 等［15］ 将尺度不变特征变换( scale-invariant feature transform，SIFT) 描述子用于异源匹配，虽然取 得了不错的匹配效果，但计算量过大是个无法回避的 问题． 李想等［16］提出一种方向矩特征描述方法，利用 异源图像同名点邻域灰度分布的对应性实现匹配，但 其需要预测搜索范围，否则计算量会非常大． 另外，这 种方向矩是建立在圆形邻域上的像素结构描述，会出 现较多的重复匹配现象． 2. 1 椭圆对称方向矩 前面通过同质区域特征提取，得到了可见光与红 外图像的关联特征． 这些关联特征内部同为灰度均匀 的同质区域，很难通过区域内部灰度信息实现特征匹 配． 但对于区域边缘的同名点，由于灰度变化剧烈，有 很强的相关性． 因此，这里设计了一种椭圆对称方向 矩用以描述同质区域特征的相似程度． 定义如图 2 所示． 以特征区域拟合椭圆中心为原点建立极坐标系， 用距离 ρ 和方位角 θ 来表示椭圆上的点． 由于椭圆拟 合过程中，椭圆上点的坐标可能出现亚像素现象，因此 这里规定其灰度值 f 取其四邻域中值． 特征区域的椭 圆对称方向矩在 θk ( θ∈［0，π) ，k = 1，2，…，D) 方向上 的分量定义如下: M( ρ，θk ) = ∑ N n = 1 ρn ( | f( ρn，θk ) － f( ρn，π + θk ) | + | f( ρn，－ θk ) － f( ρn，π － θk ) | ) ． ( 1) 距离 ρn 可以通过下式求出 ρn = n M ( acos θk ) 2 + ( bsin θk 槡 ) 2 ． ( 2) 其中，a 是椭圆长半轴长度，b 是椭圆短半轴长度． M 为采样分辨率常数． · 9011 ·

·1110 工程科学学报，第39卷，第7期 策略.首先对匹配特征对进行预检测，即利用位置权 重指数“来消除大量一对多的误匹配情况，对于每组 一对多匹配，只取权重指数最大的一对，然后再采用随 (p.r-0 机抽样一致性(random sample consensus,RANSAC)算 法叨进一步剔除误匹配特征对，最后实现特征区域的 精确匹配.这种误匹配矫正策略既能减少RANSAC算 法的迭代次数加快速度，又能进一步保证匹配精度 f(p, f(p,π+0) 位置权重指数4可由下式计算得出. 图2椭圆对称方向矩定义 corr (4) Fig.2 Definition of the ellipse symmetrical orientation moment 其中，cor为互相关性指标，d为每对匹配特征区域拟 椭圆对称方向矩的设计原则： 合椭圆中心的2范数 (1)应能在噪声干扰下，描述特征区域边缘各方 向上的像素结构式 3实验结果与分析 (2)只对特征区域边缘的椭圆带状区域（如图2 3.1实验参数准备 虚线之间的区域)进行计算，一方面考虑同质区域边 本文算法的匹配对象是在可见光和红外图像上提 缘较内部含有丰富的灰度特征：另一方面考虑尽量减 取的同质特征区域.为了全面衡量算法性能，实验首 少计算量. 先对多种场景的可见光与红外匹配图像对进行同质特 (3)考虑异源图像可能出现对比度反转，同名点 征区域提取实验，然后在此基础上用本文算法与方向 方向矩可能出现负相关，因此在距分量中的灰度差都 矩法和互信息法进行匹配性能比较实验.为了增强实 加上绝对值 时性和针对性实验参数准备如下， (4)由于可见光与红外图像中的关联区域可能发 (1)方向数：方向数划分越多，分辨率越高，但计 生180的旋转，因此采用两个对称方向灰度差之和作 算量也越大.实验中，本文椭圆对称方向矩算法将0， 为一个方向矩分量 π)均分为8个方向：传统方向矩算法将0,2π)均分为 2.2特征匹配 8个方向. 互相关性在早期模板匹配中有较好的应用，但是 (2)椭圆对称矩采样数：在椭圆内外等距离的带 不能抗旋转、扭曲等畸变影响，而这里提取的区域特征 状区域内采样，M=10,n=7,8,9,…,13. 是MSER特征，从而可以消除扭曲变形、尺度大小和旋 (3)传统方向矩法的采样半径分别取拟合椭圆的 转方向上的差异.因此，引入特征区域之间的互相关 短半轴(r=b)和长半轴(r=a)两种情况 性指标cor作为匹配量度.两个特征区域之间的互相 (4)为了增强实时性，更加接近工程应用，可见光 关性指标可以通过下式得出. 基准图的特征提取与描述都在匹配前进行，匹配时只 corr 需对红外实时图进行特征处理 .p8）·.p0 D 3.2实验结果及分析 实验环境为：因特尔酷睿1.7G处理器，4G内存， 12 Windows8操作系统，Matlab R20l4a计算平台.实验 选取10组不同场景类型的可见光与红外图像对，首先 (3) 对每组异源图像进行关联特征提取实验，表1给出了 式中，M.(p.,0)、Mm(p.,0)分别代表红外实时图和 人工关联特征提取的数据对比结果.从实验结果可以 可见光基准图中的关联区域的椭圆对称矩分量. 看出，经过同质区域特征自动选取后，区域特征总数大 由于在可见光基准图上提取的同质特征区域数量 幅下降，但关联特征数目并未明显下降，从而使异源图 有限，且互相关性指标计算简单，因此采用穷尽搜索法 像的关联特征比例大幅提升，这对于提高匹配成功率 来寻找红外实时图上的匹配特征区域。针对基准图上 和实时性都很有帮助.另外，实验中发现同质区域特 的每一个特征，在实时图上搜索匹配过程中首先通过 征的数量受场景类型制约，对于分辨率较高和纹理丰 经验阈值进行粗匹配，然后取互相关性指标最大的一 富的场景图像，同质区域特征很少，从而导致关联特征 对作为匹配结果.尽管这样仍然可能出现一对多的匹 甚至没有，如表1中第9组数据就是一个特例.造成 配结果.针对这个问题，本文设计了一种误匹配矫正 这种结果的本质原因是MSER特征区域内丰富的纹理

工程科学学报，第 39 卷，第 7 期 图 2 椭圆对称方向矩定义 Fig． 2 Definition of the ellipse symmetrical orientation moment 椭圆对称方向矩的设计原则: ( 1) 应能在噪声干扰下，描述特征区域边缘各方 向上的像素结构式． ( 2) 只对特征区域边缘的椭圆带状区域( 如图 2 虚线之间的区域) 进行计算，一方面考虑同质区域边 缘较内部含有丰富的灰度特征; 另一方面考虑尽量减 少计算量． ( 3) 考虑异源图像可能出现对比度反转，同名点 方向矩可能出现负相关，因此在距分量中的灰度差都 加上绝对值． ( 4) 由于可见光与红外图像中的关联区域可能发 生 180°的旋转，因此采用两个对称方向灰度差之和作 为一个方向矩分量． 2. 2 特征匹配 互相关性在早期模板匹配中有较好的应用，但是 不能抗旋转、扭曲等畸变影响，而这里提取的区域特征 是 MSEＲ 特征，从而可以消除扭曲变形、尺度大小和旋 转方向上的差异． 因此，引入特征区域之间的互相关 性指标 corr 作为匹配量度． 两个特征区域之间的互相 关性指标可以通过下式得出． corr = ∑ D k = 1 ∑ N n = 1 Mrt ( ρn，θk ) ·Mref ( ρn，θk ( ) ∑ D k = 1 ∑ N n = 1 M2 rt ( ρn，θk ) ) 1 / ( 2 ∑ D k = 1 ∑ N n = 1 M2 ref ( ρn，θk ) ) 1 /2 ． ( 3) 式中，Mrt ( ρn，θk ) 、Mref ( ρn，θk ) 分别代表红外实时图和 可见光基准图中的关联区域的椭圆对称矩分量． 由于在可见光基准图上提取的同质特征区域数量 有限，且互相关性指标计算简单，因此采用穷尽搜索法 来寻找红外实时图上的匹配特征区域． 针对基准图上 的每一个特征，在实时图上搜索匹配过程中首先通过 经验阈值进行粗匹配，然后取互相关性指标最大的一 对作为匹配结果． 尽管这样仍然可能出现一对多的匹 配结果． 针对这个问题，本文设计了一种误匹配矫正 策略． 首先对匹配特征对进行预检测，即利用位置权 重指数 μ 来消除大量一对多的误匹配情况，对于每组 一对多匹配，只取权重指数最大的一对，然后再采用随 机抽样一致性( random sample consensus，ＲANSAC) 算 法［17］进一步剔除误匹配特征对，最后实现特征区域的 精确匹配． 这种误匹配矫正策略既能减少 ＲANSAC 算 法的迭代次数加快速度，又能进一步保证匹配精度． 位置权重指数 μ 可由下式计算得出． μ = corr d* ． ( 4) 其中，corr 为互相关性指标，d* 为每对匹配特征区域拟 合椭圆中心的 2-范数． 3 实验结果与分析 3. 1 实验参数准备 本文算法的匹配对象是在可见光和红外图像上提 取的同质特征区域． 为了全面衡量算法性能，实验首 先对多种场景的可见光与红外匹配图像对进行同质特 征区域提取实验，然后在此基础上用本文算法与方向 矩法和互信息法进行匹配性能比较实验． 为了增强实 时性和针对性实验参数准备如下． ( 1) 方向数: 方向数划分越多，分辨率越高，但计 算量也越大． 实验中，本文椭圆对称方向矩算法将［0， π) 均分为 8 个方向; 传统方向矩算法将［0，2π) 均分为 8 个方向． ( 2) 椭圆对称矩采样数: 在椭圆内外等距离的带 状区域内采样，M = 10，n = 7，8，9，…，13． ( 3) 传统方向矩法的采样半径分别取拟合椭圆的 短半轴( r = b) 和长半轴( r = a) 两种情况． ( 4) 为了增强实时性，更加接近工程应用，可见光 基准图的特征提取与描述都在匹配前进行，匹配时只 需对红外实时图进行特征处理． 3. 2 实验结果及分析 实验环境为: 因特尔酷睿 1. 7 G 处理器，4 G 内存， Windows 8 操作系统，Matlab Ｒ2014a 计算平台． 实验 选取 10 组不同场景类型的可见光与红外图像对，首先 对每组异源图像进行关联特征提取实验，表 1 给出了 人工关联特征提取的数据对比结果． 从实验结果可以 看出，经过同质区域特征自动选取后，区域特征总数大 幅下降，但关联特征数目并未明显下降，从而使异源图 像的关联特征比例大幅提升，这对于提高匹配成功率 和实时性都很有帮助． 另外，实验中发现同质区域特 征的数量受场景类型制约，对于分辨率较高和纹理丰 富的场景图像，同质区域特征很少，从而导致关联特征 甚至没有，如表 1 中第 9 组数据就是一个特例． 造成 这种结果的本质原因是 MSEＲ 特征区域内丰富的纹理 · 0111 ·

陈世伟等：基于椭圆对称方向矩的可见光与红外图像配准算法 *1111 表1关联特征提取实验结果 Table 1 Extraction results of the corresponding features 可见光图红外图 关联 可见光图 红外图 可见光图 红外图 关联 可见光图 红外图 序号 MSER特征 MSER特征特征 关联特征 关联特征 同质特征 同质特征 特征 关联特征 关联特征 个数 个数 个数 比例/% 比例/% 区域个数 区域个数 个数 比例/% 比例/% 40 30 13 32.5 43.3 16 ◇ 9 56.3 52.9 107 89 27 25.2 30.3 48 29 43.8 72.4 3 55 41 19 34.5 46.3 38 34 17 44.7 50.0 4 79 70 23 29.1 32.9 18 25 14 77.8 56.0 25 19 32.0 42.1 15 12 8 53.3 66.7 6 53 47 29 54.7 61.7 3 18 16 72.7 88.9 7 98 65 5 5.1 7.7 32 21 9.4 14.3 8 47 22 3 6.4 13.6 15 10 2 13.3 20.0 9 34 30 2 5.9 6.7 7 9 0 0 10 46 28 5 10.9 17.9 25 14 5 20.0 35.7 将同质区域分割过小，从而无法形成同质区域特征 像的潜在关联特征区域，进一步利用聚类分割算法自 因此，本算法适用于分布较多灰度平坦区域的场景 动选取同质区域特征，使得关联特征比例大幅上升，将 在关联特征提取实验的基础上，各算法针对每组 异源图像之间匹配区域缩小到较小范围内，从而避免 提取的同质区域特征进行匹配实验，分别进行了5217 了传统异源匹配算法计算量过大的弊端。 次同质区域特征对匹配.匹配统计结果如表2所示 (2)相对于文献]中的方向矩算法，本文选用有 本文算法相对于传统算法有更高的正确匹配率，尽管 限的同质特征区域作为异源匹配对象，摆脱了对异源 以椭圆长半轴为采样半径的方向矩法(r=α)也有较 图像全局匹配搜索的依赖，利用匹配区域边界附近的 高的正确匹配率，但在计算时间是本算法的近两倍. 椭圆对称矩作为相似性量度，可靠实现了可见光与红 本文算法出现个别误匹配现象主要是匹配图像信息不 外图像的匹配.另外，实验过程中对比了方向矩法和 足造成的.图3给出了部分典型的匹配实验对比结 互信息法，结果表明本文算法较大提高了可见光与红 果，椭圆代表提取的同质区域特征，中心点连线代表匹 外图像的正确匹配率，同时减少了匹配计算量. 配结果.互信息法图3(d)和图()及方向矩法(r=b) (3)从实验结果可以看出本文算法并非适用所有 图()由于仅考虑区域内部灰度信息出现了区域差异 场景类型的异源图像匹配.下一步工作的重点研究内 较大的误匹配：方向矩法(r=a)图3()和图(h)尽管 容有两方面：一是增加同质区域特征的提取数量，提高 克服上述两种算法的缺点，但是对于形状和灰度相似 图像对的匹配概率；二是对本文算法在抗缩放和旋转 的区域还是出现了误匹配：本文算法图3(a)、(e)和 方面的应用改进 (g)充分利用区域边界的灰度变化特征，成功区分了 参考文献 相似区域，没有出现误匹配现象 [Hahn D A,Daum V,Hornegger J.Automatic parameter selection 表2异源图像匹配实验结果 for multimodal image registration.IEEE Trans Med Imaging, Table2 Matching results of multimodal images 2010,29(5):1140 同质区域特征对正确 2] Alberga V.Similarity measures of remotely sensed multi-sensor 算法种类 总耗时/ms 匹配率/% images for change detection applications.Remote Sensing,2009, 本文算法 95.6 2145.6 1(3):122 方向矩法(r=a) 91.8 4158.3 B]Pan C,Zhang Z,Yan H,et al.Multisource data registration based on NURBS description of contours.Int J Remote Sensing. 方向矩法(r=b) 62.3 3254.9 2008,29(2):569 互信息法 50.7 3546.4 [4]Pluim J P W,Maintz J B A,Viergever M A.Image registration by maximization of combined mutual information and gradient infor- 4 结论 mation.IEEE Trans Med Imaging,2000,19(8):1 [5]Wang A N,Ma C W,Liu S,et al.Infrared-visual image automat- (1)利用最稳定极值区域的提取可见光与红外图 ie registration based on comers.Acta Photonica Sinica,2009,38

陈世伟等: 基于椭圆对称方向矩的可见光与红外图像配准算法 表 1 关联特征提取实验结果 Table 1 Extraction results of the corresponding features 序号 可见光图 MSEＲ 特征 个数 红外图 MSEＲ 特征 个数 关联 特征 个数 可见光图 关联特征 比例/% 红外图 关联特征 比例/% 可见光图 同质特征 区域个数 红外图 同质特征 区域个数 关联 特征 个数 可见光图 关联特征 比例/% 红外图 关联特征 比例/% 1 40 30 13 32. 5 43. 3 16 17 9 56. 3 52. 9 2 107 89 27 25. 2 30. 3 48 29 21 43. 8 72. 4 3 55 41 19 34. 5 46. 3 38 34 17 44. 7 50. 0 4 79 70 23 29. 1 32. 9 18 25 14 77. 8 56. 0 5 25 19 8 32. 0 42. 1 15 12 8 53. 3 66. 7 6 53 47 29 54. 7 61. 7 22 18 16 72. 7 88. 9 7 98 65 5 5. 1 7. 7 32 21 3 9. 4 14. 3 8 47 22 3 6. 4 13. 6 15 10 2 13. 3 20. 0 9 34 30 2 5. 9 6. 7 7 9 0 0 0 10 46 28 5 10. 9 17. 9 25 14 5 20. 0 35. 7 将同质区域分割过小，从而无法形成同质区域特征． 因此，本算法适用于分布较多灰度平坦区域的场景． 在关联特征提取实验的基础上，各算法针对每组 提取的同质区域特征进行匹配实验，分别进行了 5217 次同质区域特征对匹配． 匹配统计结果如表 2 所示． 本文算法相对于传统算法有更高的正确匹配率，尽管 以椭圆长半轴为采样半径的方向矩法( r = a) 也有较 高的正确匹配率，但在计算时间是本算法的近两倍． 本文算法出现个别误匹配现象主要是匹配图像信息不 足造成的． 图 3 给出了部分典型的匹配实验对比结 果，椭圆代表提取的同质区域特征，中心点连线代表匹 配结果． 互信息法图 3( d) 和图( f) 及方向矩法( r = b) 图( c) 由于仅考虑区域内部灰度信息出现了区域差异 较大的误匹配; 方向矩法( r = a) 图 3( b) 和图( h) 尽管 克服上述两种算法的缺点，但是对于形状和灰度相似 的区域还是出现了误匹配; 本文算法图 3 ( a) 、( e) 和 ( g) 充分利用区域边界的灰度变化特征，成功区分了 相似区域，没有出现误匹配现象． 表 2 异源图像匹配实验结果 Table 2 Matching results of multimodal images 算法种类 同质区域特征对正确 匹配率/% 总耗时/ms 本文算法 95. 6 2145. 6 方向矩法( r = a) 91. 8 4158. 3 方向矩法( r = b) 62. 3 3254. 9 互信息法 50. 7 3546. 4 4 结论 ( 1) 利用最稳定极值区域的提取可见光与红外图 像的潜在关联特征区域，进一步利用聚类分割算法自 动选取同质区域特征，使得关联特征比例大幅上升，将 异源图像之间匹配区域缩小到较小范围内，从而避免 了传统异源匹配算法计算量过大的弊端． ( 2) 相对于文献［7］中的方向矩算法，本文选用有 限的同质特征区域作为异源匹配对象，摆脱了对异源 图像全局匹配搜索的依赖，利用匹配区域边界附近的 椭圆对称矩作为相似性量度，可靠实现了可见光与红 外图像的匹配． 另外，实验过程中对比了方向矩法和 互信息法，结果表明本文算法较大提高了可见光与红 外图像的正确匹配率，同时减少了匹配计算量． ( 3) 从实验结果可以看出本文算法并非适用所有 场景类型的异源图像匹配． 下一步工作的重点研究内 容有两方面: 一是增加同质区域特征的提取数量，提高 图像对的匹配概率; 二是对本文算法在抗缩放和旋转 方面的应用改进． 参 考 文 献 ［1］ Hahn D A，Daum V，Hornegger J． Automatic parameter selection for multimodal image registration． IEEE Trans Med Imaging， 2010，29( 5) : 1140 ［2］ Alberga V． Similarity measures of remotely sensed multi-sensor images for change detection applications． Ｒemote Sensing，2009， 1( 3) : 122 ［3］ Pan C，Zhang Z，Yan H，et al． Multisource data registration based on NUＲBS description of contours． Int J Ｒemote Sensing， 2008，29( 2) : 569 ［4］ Pluim J P W，Maintz J B A，Viergever M A． Image registration by maximization of combined mutual information and gradient infor￾mation． IEEE Trans Med Imaging，2000，19( 8) : 1 ［5］ Wang A N，Ma C W，Liu S，et al． Infrared-visual image automat￾ic registration based on corners． Acta Photonica Sinica，2009，38 · 1111 ·