第6卷第6期 智能系统学报 Vol.6 No.6 2011年12月 CAAI Transactions on Intelligent Systems Dec.2011 doi:10.3969/j.issn.16734785.2011.06.005 SIFT特征匹配的辐射畸变图像 相对校正新方法 周可，秦世引 (北京航空航天大学自动化科学与电气工程学院，北京100191) 摘要：针对常规相对辐射校正方法对未配准的主从图像对校正效果欠佳的问题，在分析了辐射畸变图像的成因与 特点以及相对校正的优势之后，提出了一种基于SFT特征匹配的相对辐射校正算法.从ST特征的不变性出发，分 别提取主从图像对的SFT特征并进行匹配，对匹配点的灰度值进行最小二乘回归分析，得到线性变换系数，最后通 过线性变换得到校正结果.实验结果表明，此方法能够有效地减小未配准主从图像对之间的辐射差异，并在复杂光 照环境下的光流场计算中得到成功的应用. 关键词：未配准主从图像对：尺度不变特征变换；特征匹配；相对辐射校正：光流场 中图分类号：TP751文献标识码：A文章编号：16734785(2011)060507-08 A novel method for relative correction of a radiometric distortion image based on SIFT feature matching ZHOU Ke,QIN Shiyin (School of Automation Science and Electrical Engineering,Beihang University,Beijing 100191,China) Abstract:In view of the issue of traditional relative radiometric correction methods not being able to handle the effects in dealing with unregistered master-slave image couples,systematic analysis of formation causes and radio- metric distortion image characteristics was carried out and the advantages of relative corrections were investigated. Therefore,a novel relative radiometric correction method was proposed based on SIFT feature matching.Depending on their feature invariance,the SIFT features of the master-slave image couple were extracted and matched first, and then the least square regression was employed to analyze the gray values of the matching points in order to ob- tain the linear transformation coefficients.Finally the correction result was achieved through the linear transforma- tion of the slave image.A series of experimental results show that the radiometric differences between the unregis- tered master-slave image couples may be effectively reduced by using this method.In addition,this method has been successfully applied in the calculation of an optical flow field under complex light environments. Keywords:unregistered master-slave image couple;scale-invariant feature transform;feature matching;relative ra- diometric correction;optical flow field 辐射畸变是指传感器在接收来自目标的电磁波 照条件等原因引起的不同时相图像间存在辐射畸变 辐射能时，由于电磁波在大气层中传输和传感器测 的现象.辐射畸变的存在导致许多图像不能应用于 量中受到传感器本身特性、光照条件等因素的影响， 图像识别、目标检测与跟踪中，为了更好地利用目标 导致传感器测量值与目标实际的光谱辐射率不一 在不同时相图像上的信息，需要对多时相图像进行 致12的现象.实际成像过程中，普遍存在着由于光 辐射校正 辐射校正是指消除同一目标在不同时相图像之 收稿日期：20110707. 基金项目：国家自然科学基金资助项目(60875072)；北京市自然科学 间辐射畸变的过程).目前，辐射校正方法主要分 基金资助项目(4112035)：中澳国际合作资助项目 (2007DFA11530). 为绝对辐射校正和相对辐射校正两大类， 通信作者：周可.E-mail:freehawkzk@126.com, 绝对辐射校正方法处理时需要利用图像获取时
508· 智能系统学报 第6卷 的一些参数（例如大气能见度、太阳天顶角和传感 人射辐射能量E, 器标定参数等)，获取这些参数代价昂贵，尤其对于 大气层 tt:::∷：：：：：：：：：：∷%：：： 部分历史存档数据，获取这些参数更是不可能的.由 反射L 透过率T 于绝对辐射校正时需要图像获取时的参数，所以一 部分卫星或航空摄影设备能够在获取图像时通过传 E漫入射 透过率T 感器记录太阳天顶角等参数，将这些参数一起传回 地面保存，为图像的绝对辐射校正准备数据， 相对辐射校正是将一幅图像作为参考图像（基 目标表面反射*R 准图像或主图像)，调整待校正图像（从图像）的灰 图1辐射畸变的成因 度值，使得2幅图像上同一目标具有相同或相近的 Fig.1 The formation cause of radiometric distortion 灰度分布.主图像与从图像组成一组主从图像对.相 由于散射和吸收等原因，光源发出的入射辐射 对辐射校正操作简单，且不需要图像获取时的参数. 能量E,在照射到目标表面之前的传播过程中会发 如何从不同时相的图像中准确确定同一目标的位置 生衰减，在目标表面发生漫反射之后，进入传感器之 是相对辐射校正中的一个挑战性问题.针对这一问 前也会发生衰减.因此，有由光源发出的经过目标表 题，目前的解决途径是通过将主从图像对进行精确 面反射之后进入传感器的辐射能量： 的几何配准，然后通过图像之间的坐标关系来确定 L RT EoT Scos 0. 目标位置.当主从图像对之间的几何配准精度偏低 式中：L,表示进入传感器的辐射能量，R表示目标 或未进行几何配准时，常规的相对辐射校正算法在 表面的反射率，S表示与系统有关的系数，0为人射 扩大或缩小从图像的灰度分布范围的同时，会导致 角，T。为与入射角有关的透过率，T。为与反射角有 图像的直方图与主图像直方图有较大差异，从而导 关的透过率，E。为人射的辐射能量. 致校正效果变差， 部分辐射能量E,经过散射之后通过目标反射 由SIFT特征[41的不变性可知，2幅图像上SFT 进入传感器，用L2表示 特征的匹配点在实际场景中为同一点.因此，可以通 L2 RT SED. 过ST特征提取与匹配来确定不同图像中同一目 除了上述2部分辐射能量之外，还有部分辐射 标的位置.本文提出了一种基于SFT特征匹配的相 能量不通过目标反射而直接进入传感器，这部分能 对辐射校正算法，首先通过对主从图像对进行ST 量通常称为程辐射，用L。表示 特征提取与匹配来进行样本点选择，再利用这些样 因此，进入传感器的总辐射能量： 本点进行线性相对辐射校正， L,=L1+L2+L2= 1辐射畸变图像的成因和特点 RT EoT Scos 0+RT SEp +Lp 在2个不同时相上获取图像时， 成像过程中，输出亮度值是传感器对进入传感器 La RT EoTaSicos 01 +RTeSED +Lp, 的辐射能量的响应.通常，传感器正常工作在线性区， Le RT2EoToS2cos 02 +RT,S2Ep +L2.(1) 即输出亮度值与进入传感器辐射能量成正比关系。 式(1)经过变换，可以得到L与L,的关系如下： w2先N L2 aL +B. 式中：DN表示传感器的输出亮度值，DN表示传感 式中：a= TaEeTeS:cos 0+TmB Tel EoI Ta SiCos 01+TeS EDI 器最大输出亮度值，L,表示进入传感器的辐射值， aLpl. L表示传感器能够做出响应的最低辐射值，Lma表 在不同时相获取图像时，除了目标表面反射率 示传感器的饱和辐射值。 R能够保持基本不变之外，其余参数都有可能发生 在成像过程中，传感器接收到辐射能量主要有 变化，从而导致目标上同一点在不同时相图像上亮 3种途径：1)光源发出的辐射能量经过目标表面反 度不一致，造成辐射畸变 射之后进人传感器；2)部分辐射能量经过多次散射 从辐射崎变图像的成因可以看出，在考虑环境光 之后通过目标反射进入传感器；3)部分辐射能量不 照变化引起的辐射畸变时，对于不同时相的辐射畸变 经过目标反射直接进人传感器如图1所示. 图像，由于相对运动的原因，同一物体上同一点的坐标 关系会比较复杂，但是其灰度值满足线性关系
第6期 周可，等：SFT特征匹配的辐射畸变图像相对校正新方法 ·509· 2相对校正的优势与必要条件 和σ)之差与待检图像进行卷积，则有 D(x,y,o)=[G(x,y,ko)-G(x,y,)]*I(x,y)= 相对辐射校正方法按照其数学基础可分为非线 L(x,y,ko)-L(x,y,). (3) 性校正法和线性校正法[56.直方图匹配(HM) 式(3)表明，此检测策略可以通过尺度空间函 法781是一种典型的非线性相对辐射校正方法，通 数L(x,y,σ)求差来实现.对于某一关键点而言，考 过将从图像与主图像进行直方图匹配，使主从图像 虑尺度维因素，需要将该关键点与同一尺度下周围 对具有相近的灰度概率分布，以达到减小主从图像 8邻域的像素以及相邻尺度上下对应位置的9×2= 对之间辐射差异的目的.线性相对辐射校正方 18邻域的像素，总共26个像素进行比较. 法5，]中，同一目标在不同时相图像上灰度值满足 在获得大量候选特征点的基础上，通过拟合三 线性关系，x和y分别表示主图像与从图像上像素 维二次函数精确确定关键点的位置和尺度，同时去 的灰度值： 除低对比度的关键点和不稳定的边缘响应点，以增 y ax +b. (2) 强匹配稳定性，提高抗噪声能力， 式中：a、b为线性方程的增益和偏移量.可通过最小 3.1.2确定关键，点方向 二乘回归等方法估计式(2)中的参数a、b,并对从图 利用关键点邻域像素的梯度方向分布特性，为 像进行线性变换，以求得校正结果， 每个关键点指定方向参数，使算子具有旋转不变性。 与绝对辐射校正相比，相对辐射校正时需要的 特征点(x,y)处梯度模值和方向的计算公式为 仅仅是同一目标不同时相的图像组成的主从图像 m(x,y）= 对，而不需要图像获取时的诸多参数.因此，相对辐 √（亿x+1y)-Lx-1y)Y+(亿y+1)-Lxy-1)Y, 射校正的成本低，可操作性强，给定主从图像对之 0(x,y)= 后，能够自动进行辐射校正，无需人工干预. 进行相对校正时必须输入合适的主从图像对，要 兴是》光”别 求目标在主从图像对上的姿态基本保持一致，目标可 式中：L所用的尺度为关键点所在尺度.为增强梯度 以在像平面内发生平移和旋转，但是不能有滚动， 计算的稳定性，计算以特征点为中心邻域窗口内的 梯度直方图.梯度直方图峰值处为该特征点处邻域 SIFT特征提取与匹配 梯度的主方向. SIFT是一种对图像尺度变化和旋转的不变 3.1.3描述关魄点 量1o1),在构造SIT特征时进行一些特殊处理，可使 在以关键点为中心的16×16的窗口内，分别计 ST对图像的复杂变形和光照变化也具有较强的适 算每个像素梯度的模值mg和方向0g,然后用高斯窗 应性.同时SFT运算速度比较快，定位精度比较高. 口对其进行加权运算，每个像素对应一个向量，长度 在主从图像对未进行配准时，目标可能存在平移旋转 为G(σ'，i,)·m,G(σ'，i,j)为该像素点的高斯权 以及尺度变化，利用SFT特征的不变性，可以很好地 值，方向为0，每个向量在4×4的子窗口范围内投 找到同一目标点在不同时相图像上的位置， 影到8个梯度方向上，绘制每个梯度方向的累加 3.1SIFT特征提取 值，即可形成一个8维向量.这样每个特征点就用 3.1.1尺度空间极值，点检测与精确定位 4×4×8=128维向量来表征.最后对特征向量归一 一般而言，在合理的假设之下，尺度空间核可表 化，去除光照影响.于是，每一个关键点可以用一个 示为高斯函数.设尺度因子σ可变的高斯函数为 128维的SIFT特征来描述， G(x,y,o),对于图像I(x,y)而言，其尺度空间函数 3.2SIT特征匹配 L(x,y,0)可定义为如下的卷积形式+，即 进行SFT特征匹配时，可以用2个关键点特征 L(x,y,o)=G(x,y,)I(x,y). 向量的欧氏距离作为其相似性测度.2幅图像I和' 式中：6(x,0）=20e02,。决定着卷积过 中特征点L:和的相似性测度为 厂128 程对图像的平滑程度，大尺度注重于图像的概貌特 dist(ij)=[F(I).-F().] 征，小尺度对应着图像的细节特征， 式中：i和j分别表示2个图像中的特征点标号， 为了有效检测出尺度空间中的关键点，可用2 F(L)m和F()m分别表示特征点I:和对应的 个尺度邻近的高斯函数（为简便计，可分别取为σ 特征向量.当2个向量的欧氏距离小于阈值时认为
·510 智能系统学报 第6卷 这2个点已经匹配上， 为了使样本点选择与主从图像对之间的配准精 度无关，本文提出了一种基于ST特征匹配的样本 4基于SFT特征匹配的相对校正策 点选择算法.分别对主图像和从图像提取SFT特 略新方法 征，然后利用得到的SIFT特征进行特征匹配.对于 4.1基于SFT特征匹配的相对辐射校正策略与算 能够匹配的点，认为它们是实际场景中的同一点.通 法流程 过SFT特征描述得到匹配点的坐标之后，将这些匹 结合SIFT特征的不变性，可以利用目标上点的 配，点作为样本点，然后将样本点的灰度值输出，用于 SFT特征来进行样本点的选择.首先将不同时相图 估计线性参数.算法流程如表2所示. 像上目标的SFT特征进行匹配，取匹配点作为样本 表2基于SIFT特征匹配的样本点选择 Table 2 Algorithm of sample selection based on SIFT fea- 点.然后利用样本点的灰度值进行线性回归，估计线 ture matching 性参数.最后对从图像进行线性变换从而得到校正 结果.算法的流程如表1所示. 算法2：基于ST特征匹配的样本点选择 表1基于SFT特征匹配的相对辐射校正算法 Table 1 Relative radiometric correction method based on 输入：主图像refimg,从图像souimg SIFT feature matching 输出：样本点灰度值(，y:),其中￥：与y:分别表示主图像与 从图像上样本点的灰度值 算法1：基于ST特征匹配的相对辐射校正算法 初始化：匹配数组matched(N)为0，N为SIFT_ref中元素个 数，阈值T 输人：主图像refimg,从图像souimg 1)对refimg和souimg分别进行SlFT特征提取，得到特征向 输出：校正结果resultimg 量集ref与ou; 1)样本点选择 2): ①对refimg与souimg进行SlFT特征提取 For ref中的每一个特征向量ref(i) ②进行ST特征匹配，获得样本点坐标 计算f()与sou中每一个特征向量sou()的距离 ③利用样本点坐标，得到样本点灰度值 dist(i) 2)线性关系的参数估计 查找dist(ij》的最小值dist(i,') 利用1)中得到的样本点灰度值，通过最小二乘回归得 if dist(i,j)<T 到线性系数a、b ef()与ou(')匹配成功； End if 3)基于线性变换的校正结果求解 End for 对从图像按照y'(i,)=[y(i,)-b]/a进行线性变换， 3)获得匹配点坐标refimg(r,r)与souimg(is,js),将它们作 得到校正结果resultimg 为样本点，输出其灰度值(y:) 4.2算法流程的技术实现 4.2.2线性关系的参数估计 4.2.1样本点选择 本文通过最小二乘回归法611来估计线性回 在常规线性相对辐射校正方法中，由于其假设 归系数，该方法操作简单，实用性强.样本点灰度值 主从图像对已经进行了几何配准，所以在选择样本 数据集A表示为A1（1,y1),A2（x2,y2),…,A,（xn, 点的过程中，使用了像素点的位置信息和亮度信息. yn),x:与y:分别代表主图像与从图像上样本点的 比如，图像回归法(image regression,R)[91将主从图 灰度值，满足线性回归关系： 像对上所有的像素都作为样本点.伪不变特征法 y=ax+b,i=1,2,…,n. (pseudo-invariant feature,PF)[4s]选择样本点的 式中：y:代表从图像上第i个样本点灰度值的计算 评价标准是： 值.由最小二乘回归分析法可以得到 PIF={y(i,)/x(i,j)≤T,y(i,j)≥T2. 式中：x(i,)与y(i,)分别代表主图像与从图像上 2(4,-)(-刃 像元灰度值，T和T2为阈值.这些方法在主从图像 (4) 对未进行精确配准时，选择的样本点将不符合要求， ∑(x-)2 导致常规线性校正方法不适用于未配准主从图像对 b =y-ax. (5) 之间的相对辐射校正 式中：x:和y:分别表示主图像与从图像上样本点的
第6期 周可，等：SFT特征匹配的辐射畸变图像相对校正新方法 ·511· 灰度均值.因此，将主从图像对上样本点的灰度值分 别代人式(4)和(5)，即可求出式(2)中的线性回归 参数a和b. 4.2.3基于线性变换的校正结果求解 在获得线性变换参数a和b之后，对从图像进 行线性变换，即可得到校正结果.线性关系为 y'(i,j)=[y(i,j)-b]/a. 式中：y(i,)为校正结果上像素(i,)的灰度值， 050150255050150255050150255 (cIR法处理结果(dHM法处理结果(e)本文方法处理结果 y(i,j)为从图像上像素(i,)的灰度值. 4.3实验与评价 图2几何配准后的主从图像对及处理结果 4.3.1校正效果主观评测 Fig.2 The registration of master-slave image couple and the results of relative radiometric correc- 视觉效果是评判相对辐射校正效果的最直接方 tion 法.为了便于比较，特将主图像与各种辐射校正方法 2)几何配准精度欠佳时的实验结果分析. 对从图像的处理结果进行配准.仿真实验中，主从图 图3中给出了进行相对辐射校正前的未配准的 像之间只存在几何位置的旋转、平移变换、灰度值的 主从图像对 线性变换等.对于这类图像的几何配准问题，P. Vandewalle2o1提出了一种基于傅里叶频谱的配准方 法.该方法将图像变换到频域，通过计算2幅图傅里 叶频谱之间的相位相关性来计算旋转角，进行旋转 补偿之后再计算平移向量，具有计算简单、速度快、 精度可控的特点.本文选择该方法对辐射校正前的 从图像及其校正结果与主图像进行几何配准， (a)主图像 )从图像 1)高精度几何配准的辐射校正实验结果， 图3配准前主从图像对 由于几何配准精度对传统方法的校正效果影响 Fig.3 The unregistered master-slave image couple 较大，所以先考虑高精度几何配准条件下本文方法 与传统方法的辐射校正结果之比较.图2(a)、(b) 给出了进行相对辐射校正前进行过精确几何配准的 主从图像对及其直方图，(c)、(d)、(e)为各种辐射 校正方法的处理结果及直方图。 从图2中可以看出，在高精度几何配准条件下， 050150255 050150255 图像回归(R)法、直方图匹配(HM)法以及本文方 (a)配准后的主图像(b)配准后的从图像 法都能够有效地使校正结果中像素的灰度分布接近 于参考图像， e服跳器果提处结设器果 图4相对辐射校正实验结果及其直方图 Fig.4 Experiment results of relative radiometric cor- rection and their histograms 050150255 050150 255 从图4中各灰度直方图可以看出，图像回归 灰度值 灰度值 (a)主图像 (b)从图像 (IR)法、直方图匹配(HM)法以及本文方法都有效 地增大待校正图像的灰度分布范围.但是图像回归 法在增大灰度分布范围的同时也导致灰度直方图与