工程科学学报，第38卷，第6期：876885,2016年6月 Chinese Journal of Engineering,Vol.38,No.6:876-885,June 2016 DOI:10.13374/j.issn2095-9389.2016.06.019:http://journals.ustb.edu.cn 流形正则化多核模型的模糊红外目标提取 杨 焘，付冬梅四 北京科技大学自动化学院，北京100083 ☒通信作者，E-mail:fdm2003@163.com 摘要针对模糊边缘的红外目标提取问题，提出一种基于流形正则化多核半监督分类的提取方法.首先应用最大类间方 差法计算初始分割阈值，获得确定化的目标和背景区域以及待确定化的模糊边缘区域：然后建立各区域内像素点邻域空间 集，并通过多核函数特征映射获得邻域空间中灰度均值和方差信息特征值，通过流形正则获得邻域空间中位置信息特征值： 在特征值基础上，建立半监督分类模型对模糊边缘区域像素点邻域空间集进行类别划分：最后计算最佳分割阈值.对比实验 结果表明，该方法提取模糊边缘红外目标效果好且运算效率高· 关键词模糊边缘：目标提取：核函数：流形正则化 分类号TP391 Extraction of blurred infrared targets based on a manifold regularized multiple-kernel model YANG Tao,FU Dong-mei School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:fdm2003@163.com ABSTRACT Specific to the problem of infrared target extraction with blurred edges,this article introduces an extraction method based on a manifold regularized multiple kernel semi-supervised classification model.Firstly,the maximum variance of inter-elass (OTSU)method is used to compute the initial segmentation threshold,and the certain target and background areas and the uncertain blurred edge area are determined.Then,local space sets of pixels are constructed in each area,the multiple-kernel functions are used to map the grayscale mean and variance in local space,and the location information feature in local space is obtained by manifold regu- larization (MR).On the basis of features,a semi-supervised classification model is established to classify the local space sets of pixels in the blurred edge area.Finally,the optimal segmentation threshold is computed.Experiments with comparisons show that this meth- od is efficient and less in time-consuming. KEY WORDS blurred edge;target extraction:kernel functions;manifold regularization 红外图像是以图像形式表达的红外探测设备测量 条件时其温度场变化随着时间增加而愈加缓慢，使得 物体表面温度分布信息的成像技术，使人眼不能直接 边缘区域更为模糊，这种情况在红外热痕迹图像中更 看到的表面温度分布，转化为可以看到的热图像，能够 加明显.红外热痕迹图像中的目标边缘带有很强的模 作为工业生产的重要测温和诊断手段以及军事中夜视 糊性，以红外热像仪(AVI0H2600)拍摄的手部红外图 设备等重要技术.由于红外图像可观察到目标物体与 像为例，在环境温度为27.2℃的条件下，背景物体为 周围环境温度场分布，从而图像往往是模糊的，尤其是 木板，手部在木板上平放，拍摄手部离开木板后的热痕 图像中目标与周围环境接触的边缘区域，无其他外在 迹图像如图1所示.从图中可知，随着时间增加，目标 收稿日期：201505-28 基金项目：国家自然科学基金资助项目(61272358)
工程科学学报，第 38 卷，第 6 期: 876--885，2016 年 6 月 Chinese Journal of Engineering，Vol． 38，No． 6: 876--885，June 2016 DOI: 10． 13374 /j． issn2095--9389． 2016． 06． 019; http: / /journals． ustb． edu． cn 流形正则化多核模型的模糊红外目标提取 杨 焘，付冬梅 北京科技大学自动化学院，北京 100083 通信作者，E-mail: fdm2003@ 163． com 摘 要 针对模糊边缘的红外目标提取问题，提出一种基于流形正则化多核半监督分类的提取方法． 首先应用最大类间方 差法计算初始分割阈值，获得确定化的目标和背景区域以及待确定化的模糊边缘区域; 然后建立各区域内像素点邻域空间 集，并通过多核函数特征映射获得邻域空间中灰度均值和方差信息特征值，通过流形正则获得邻域空间中位置信息特征值; 在特征值基础上，建立半监督分类模型对模糊边缘区域像素点邻域空间集进行类别划分; 最后计算最佳分割阈值． 对比实验 结果表明，该方法提取模糊边缘红外目标效果好且运算效率高． 关键词 模糊边缘; 目标提取; 核函数; 流形正则化 分类号 TP391 Extraction of blurred infrared targets based on a manifold regularized multiple-kernel model YANG Tao，FU Dong-mei School of Automation and Electrical Engineering，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: fdm2003@ 163． com ABSTＲACT Specific to the problem of infrared target extraction with blurred edges，this article introduces an extraction method based on a manifold regularized multiple kernel semi-supervised classification model． Firstly，the maximum variance of inter-class ( OTSU) method is used to compute the initial segmentation threshold，and the certain target and background areas and the uncertain blurred edge area are determined． Then，local space sets of pixels are constructed in each area，the multiple-kernel functions are used to map the grayscale mean and variance in local space，and the location information feature in local space is obtained by manifold regularization ( MＲ) ． On the basis of features，a semi-supervised classification model is established to classify the local space sets of pixels in the blurred edge area． Finally，the optimal segmentation threshold is computed． Experiments with comparisons show that this method is efficient and less in time-consuming． KEY WOＲDS blurred edge; target extraction; kernel functions; manifold regularization 收稿日期: 2015--05--28 基金项目: 国家自然科学基金资助项目( 61272358) 红外图像是以图像形式表达的红外探测设备测量 物体表面温度分布信息的成像技术，使人眼不能直接 看到的表面温度分布，转化为可以看到的热图像，能够 作为工业生产的重要测温和诊断手段以及军事中夜视 设备等重要技术． 由于红外图像可观察到目标物体与 周围环境温度场分布，从而图像往往是模糊的，尤其是 图像中目标与周围环境接触的边缘区域，无其他外在 条件时其温度场变化随着时间增加而愈加缓慢，使得 边缘区域更为模糊，这种情况在红外热痕迹图像中更 加明显． 红外热痕迹图像中的目标边缘带有很强的模 糊性，以红外热像仪( AVIO-H2600) 拍摄的手部红外图 像为例，在环境温度为 27. 2 ℃ 的条件下，背景物体为 木板，手部在木板上平放，拍摄手部离开木板后的热痕 迹图像如图 1 所示． 从图中可知，随着时间增加，目标
杨焘等：流形正则化多核模型的模糊红外目标提取 877 的边缘区域的模糊性增强 的模糊边缘.与一般的实际红外图像不同，一般的红 本文的研究对象就是图1(b)和图1(c),这类具 外图像中目标是热源，且图像获取的是热源在被拍摄 有独特特点的红外热痕迹图像.由于图像中的目标是 时间点处的温度分布信息：而图1(b)和图1(c)中目 热源经过一定时间热交换后，所接触背景物体表面的 标是热痕迹，且经过一定时间，温度分布已向周围区域 热痕迹区域，在温度分布扩散作用下，此区域出现很强 变化. 图1模糊边缘的手部红外热痕迹图像.(a)手部离开木板1s:(b)离开木板605：(c)离开木板120s Fig.I Infrared hand images with blurred edges.(a)1s after hand leaving:(b)60s after hand leaving:(c)120s after hand leaving 研究如图1(b)和图1(c)的红外热痕迹图像的目 模糊边缘红外目标提取方法.本文分析边缘模糊的 标提取问题，目的是最大程度提取出原热源目标的轮 特征特点，充分利用灰度的统计信息.所提出的方法 廓，反映出图像所包含的已离开背景物体表面的原热 首先应用灰度直方图的最大类间方差来计算初始分 源目标信息，由于这类热痕迹的模糊程度强，提取其真 割阈值，此阈值表征全局的灰度统计信息：在此基础 实轮廓是具有挑战性的，也比一般红外目标的提取具 上，可获得离初始分割阈值较近的不确定的边缘模 有针对性：而且，目前红外检测技术，在发生过重要事 糊区域，也可获得离初始分割阈值较远的确定的背 件现场的侦查遗留痕迹方面，发挥积极作用，多数重要 景和目标区域：在各区域中建立像素点邻域空间集， 遗留痕迹通常就属于红外热痕迹：通过这类热痕迹的 每个邻域空间包含邻域灰度及其统计信息和位置信 分析可以了解原热源目标的状态。因此，研究这类红 息；通过核函数对各邻域空间的灰度及其统计信息 外热痕迹目标提取问题，就具有实用性和实际意义. 特征映射获取特征值，同时考虑到灰度及其统计信 现有的图像目标提取的方法主要有以下几种： 息存在差异，不同参数的核函数特征映射更加能够 (1)基于阈值的分割方法.如最大类间方差法四，该算 充分表征此差异，因此本文应用多核函数获取其特 法是通过灰度直方图体现灰度差异性，实现方便，使用 征值：再通过流形正则获取各邻域空间的位置信息 广泛，但对于图1(b)和图1(c)而言，目标的模糊边缘 的特征值：通过上述特征值信息建立半监督分类模 中灰度差异较小，导致难以得到准确的分割结果四 型，利用模型对不确定的边缘模糊区域中各邻域空 (2)基于边缘模板的方法.即常见的微分算子回如 间进行分类，使其确定化，即归为目标或者背景区 Prewitt模板O,该类模板法边缘定位准确，运算速度 域：综合分析目标与背景区域和确定化后的模糊边 快，然而对于模糊边缘，其连续性和封闭性难以保证 缘区域的灰度值分布，计算最佳分割阈值，达到模糊 (3)基于区域的图像分割方法.该类方法是将图像按 边缘红外目标提取目的. 照相似性准则分成不同的区域，其代表是分水岭法可， 一方面，多核函数特征映射是多核学习的基础，是 但分水岭法对噪声通常较为敏感，而一般来说图像越 应用多个不同参数的核函数线性组合的特征映射方 模糊，信噪比越低，因此对图1(b)和图1()而言也不 式，研究表明多核学习更为灵活和稳定四.通过多核 适用.(4)基于能量泛函的图像分割方法.此类方法 函数映射来表征红外图像不同区域的像素点邻域空间 的代表是Snake模型，该模型通过连续曲线来表达 中灰度及其统计信息.另一方面，流形正则是基于流 目标边缘，应用广泛且效果较好，但是在模糊边缘的提 形学习的，能够表达数据的邻域结构信息.通过流 取中会出现失真问题.(5)智能图像分割方法.如基 形正则获取像素点邻域空间中的位置信息特征值，并 于人工免疫的图像模板法-o和其他自适应模板方 以流形正则方法来增强所建立的半监督分类模型的划 法如，该类方法是基于人工免疫算法的图像分割技 分能力及其连续性.笔者前期对流形正则化多核模型 术，使图像分割的研究向人工智能化方向发展：基于启 已有一定研究基础，能够更好地应用于模糊边缘的 发式学习或者群优化策略，一般对初始条件敏感且时 红外目标对象上.因此，截取图1(b)某部分得到如 间复杂度较高 图2(b)的模糊红外图像，对比无流形正则的多核分类 针对红外图像中边缘模糊的目标提取问题，本 和有流形正则的多核分类模型对模糊边缘红外目标提 文提出一种基于流形正则化多核半监督分类模型的 取的效果，可得出邻域空间中位置信息的重要性
杨 焘等: 流形正则化多核模型的模糊红外目标提取 的边缘区域的模糊性增强． 本文的研究对象就是图 1( b) 和图 1( c) ，这类具 有独特特点的红外热痕迹图像． 由于图像中的目标是 热源经过一定时间热交换后，所接触背景物体表面的 热痕迹区域，在温度分布扩散作用下，此区域出现很强 的模糊边缘． 与一般的实际红外图像不同，一般的红 外图像中目标是热源，且图像获取的是热源在被拍摄 时间点处的温度分布信息; 而图 1( b) 和图 1( c) 中目 标是热痕迹，且经过一定时间，温度分布已向周围区域 变化． 图 1 模糊边缘的手部红外热痕迹图像． ( a) 手部离开木板 1 s; ( b) 离开木板 60 s; ( c) 离开木板 120 s Fig． 1 Infrared hand images with blurred edges． ( a) 1 s after hand leaving; ( b) 60 s after hand leaving; ( c) 120 s after hand leaving 研究如图 1( b) 和图 1( c) 的红外热痕迹图像的目 标提取问题，目的是最大程度提取出原热源目标的轮 廓，反映出图像所包含的已离开背景物体表面的原热 源目标信息，由于这类热痕迹的模糊程度强，提取其真 实轮廓是具有挑战性的，也比一般红外目标的提取具 有针对性; 而且，目前红外检测技术，在发生过重要事 件现场的侦查遗留痕迹方面，发挥积极作用，多数重要 遗留痕迹通常就属于红外热痕迹; 通过这类热痕迹的 分析可以了解原热源目标的状态． 因此，研究这类红 外热痕迹目标提取问题，就具有实用性和实际意义． 现有的图像目标提 取 的 方 法 主 要 有 以 下 几 种: ( 1) 基于阈值的分割方法． 如最大类间方差法［1］，该算 法是通过灰度直方图体现灰度差异性，实现方便，使用 广泛，但对于图 1( b) 和图 1( c) 而言，目标的模糊边缘 中灰度差异较小，导致难以得到准确的分割结果［2］． ( 2) 基于边缘模板的方法． 即常见的微分算子［3］ 如 Prewitt 模板［4］，该类模板法边缘定位准确，运算速度 快，然而对于模糊边缘，其连续性和封闭性难以保证． ( 3) 基于区域的图像分割方法． 该类方法是将图像按 照相似性准则分成不同的区域，其代表是分水岭法［5］， 但分水岭法对噪声通常较为敏感，而一般来说图像越 模糊，信噪比越低，因此对图 1( b) 和图 1( c) 而言也不 适用． ( 4) 基于能量泛函的图像分割方法． 此类方法 的代表是 Snake 模型［6］，该模型通过连续曲线来表达 目标边缘，应用广泛且效果较好，但是在模糊边缘的提 取中会出现失真问题． ( 5) 智能图像分割方法． 如基 于人工免疫的图像模板法［7--10］和其他自适应模板方 法［11］，该类方法是基于人工免疫算法的图像分割技 术，使图像分割的研究向人工智能化方向发展; 基于启 发式学习或者群优化策略，一般对初始条件敏感且时 间复杂度较高． 针对红外图像中边缘模糊的目标 提 取 问 题，本 文提出一种基于流形正则化多核半监督分类模型的 模糊边缘红外目标提取方法． 本文分析边缘模糊的 特征特点，充分利用灰度的统计信息． 所提出的方法 首先应用灰度直方图的最大类间方差来计算初始分 割阈值，此阈值表征全局的灰度统计信息; 在此基础 上，可获得离初始分割阈值较近的不确定的边缘模 糊区域，也可获得离初始分割阈值较远的确定的背 景和目标区域; 在各区域中建立像素点邻域空间集， 每个邻域空间包含邻域灰度及其统计信息和位置信 息; 通过核函数对各邻域空间的灰度及其统计信息 特征映射获取特征值，同时考虑到灰度及其统计信 息存在差异，不同参数的核函数特征映射更加能够 充分表征此差异，因此本文应用多核函数获取其特 征值; 再通过流形正则获取各邻域空间的位置信息 的特征值; 通过上述特征值信息建立半监督分类模 型，利用模型对不确定的边缘模糊区域中各邻域空 间进行分 类，使 其 确 定 化，即 归 为 目 标 或 者 背 景 区 域; 综合分析目标与背景区域和确定化后的模糊边 缘区域的灰度值分布，计算最佳分割阈值，达到模糊 边缘红外目标提取目的． 一方面，多核函数特征映射是多核学习的基础，是 应用多个不同参数的核函数线性组合的特征映射方 式，研究表明多核学习更为灵活和稳定［12］． 通过多核 函数映射来表征红外图像不同区域的像素点邻域空间 中灰度及其统计信息． 另一方面，流形正则是基于流 形学习的，能够表达数据的邻域结构信息［13］． 通过流 形正则获取像素点邻域空间中的位置信息特征值，并 以流形正则方法来增强所建立的半监督分类模型的划 分能力及其连续性． 笔者前期对流形正则化多核模型 已有一定研究基础［14］，能够更好地应用于模糊边缘的 红外目标对象上． 因此，截取图 1 ( b) 某部分得到如 图 2( b) 的模糊红外图像，对比无流形正则的多核分类 和有流形正则的多核分类模型对模糊边缘红外目标提 取的效果，可得出邻域空间中位置信息的重要性． · 778 ·
·878· 工程科学学报，第38卷，第6期 图2多核分类模型在有流形正则和无流形正则时提取效果区别.(a)原图：(b)截取部分：(c)有流形正则：()无流形正则 Fig.2 Difference of multiple classifiers with and without manifold regularization:(a)original image:(b)truncated image:(e)with manifold regu- larization:(d)without manifold regularization 1邻域空间集及特征值获取 中，表示像素点i和j的近邻空间中[a2,ai]和[d2, d]的欧式距离，在其他像素点与j的近邻空间中下标 1.1邻域空间集及其元素 12和13的元素的前k个最小欧式距离范围之内：否则 设分辨率为m×n的红外图像以灰度值矩阵I表 :和之间不连接. 示的，且总像素点有N个.设任一像素点表示为P,’ 在图G中，为进一步刻画像素点之间的位置关 其中下标x和y为位置坐标，x从1取到m,y从1取到 系，需要给每条边赋予权值，来表示近邻的程度，本文 n.对P,而言，其灰度值为I(P).设定像素点P的 采用二值化方法求取权值.设：和巴之间的权值为 3×3邻域是其邻域空间，用A(P,)表示：设A(P,)中 g,则 有13个元素，并以[a1,a2,,a]表示，其各个元素由 1,和有边连接， 图3说明. ,=0其他. (1) [a1=1p-lyi） 当遍历所有参与建立图G的邻域空间集后，可得 Ip.-lwi） 1(p) 1ply+i） a2=1pt） 到权值矩阵W,此时定义对角矩阵B,其对角值为b:= ag=Iplw-i） Σ则有 L=B-W. 1p-i） 1p) 1ptiy） (2) a0= 9 式中，L称为拉普拉斯图，可反映出像素点之间位置关 系的特征，于是通过L便获得位置信息的特征值 ∑(a-ao)2 I(p) 1py-i） 1py-i） 假设半监督分类模型表示为∫，∫(p,)是模型对像 a1= 9 素点P:的邻域空间的类别划分，则流形正则可用下式 ap =x,aB =y 表示： 图3邻域空间元素含义图示 Fig.3 Illustration of elements in local space g=min ∑o,p)-f)2=min FLE 2 由图可知，a1~a,为灰度值信息，ao和a,是灰度 (3) 统计信息，a2和a是位置信息.对若干像素点均建立 其中F=T(p,),f(p,),,f(p)]T.上式为模型f提 其邻域空间并构成集合，则为邻域空间集，设为2，有 供像素点邻域空间的位置信息特征量 {A1,A2,}∈2，其中A:表示像素点i的邻域空间. 1.3多核分类模型 为进一步讨论，设定如下记法：若像素点表示为， 首先，假设M个核函数为K,K2,…,K].在应 则A:是其邻域空间，且[ai,a,…,ai]表示空间中各 用中，均使用高斯核函数，如下式所示： 元素. 1.2流形正则的计算 K.G)-ep( (4) 流形正则的计算是获得像素点邻域空间中的位置 式中M个核函数具有M个参数o,o2…,0u],r和 信息特征量的过程.首先需要根据像素点邻域空间位 x均表示像素点邻域空间中前11个元素构成的向量. 置信息，建立无向图G(V,E),其中V表示图中顶点集 合，E表示图中边集合.以像素点i为例，其对应一个 多核可表达为K=三山，K,K.中元素为，=K（任， 顶点，∈V,通过判定像素点邻域空间的近邻关系来决 x),而K（·,·）表示核函数.dm为核矩阵的组合系 定两个顶点之间是否有边相连.令©，表示连接顶点： 和巴的边，则eg∈E,此时A:存在于A的k近邻集合 数并约定满足条件∑dn=1,dn≥0.实际应用中，本
工程科学学报，第 38 卷，第 6 期 图 2 多核分类模型在有流形正则和无流形正则时提取效果区别． ( a) 原图; ( b) 截取部分; ( c) 有流形正则; ( d) 无流形正则 Fig． 2 Difference of multiple classifiers with and without manifold regularization: ( a) original image; ( b) truncated image; ( c) with manifold regularization; ( d) without manifold regularization 1 邻域空间集及特征值获取 1. 1 邻域空间集及其元素 设分辨率为 m × n 的红外图像以灰度值矩阵 I 表 示的，且总像素点有 N 个． 设任一像素点表示为 px，y， 其中下标 x 和 y 为位置坐标，x 从 1 取到 m，y 从 1 取到 n． 对 px，y而言，其灰度值为 I( px，y ) ． 设定像素点 px，y的 3 × 3 邻域是其邻域空间，用 A( px，y ) 表示; 设 A( px，y ) 中 有 13 个元素，并以［a1，a2，…，a13］表示，其各个元素由 图 3 说明． I( px － 1，y + 1 ) I( px，y + 1 ) I( px + 1，y + 1 ) I( px － 1，y ) I( px，y ) I( px + 1，y ) I( px － 1，y － 1 ) I( px，y － 1 ) I( px + 1，y － 1 ) → a1 = I( px－1，y+1 ) a2 = I( px，y+1 ) a9 = I( px+1，y－1 ) a10 = ∑ 9 i =1 ai 9 a11 = ∑ 9 i =1 ( ai － a10 ) 2 9 a12 = x，a13 = y 图 3 邻域空间元素含义图示 Fig． 3 Illustration of elements in local space 由图可知，a1 ～ a9 为灰度值信息，a10和 a11是灰度 统计信息，a12和 a13是位置信息． 对若干像素点均建立 其邻域空间并构成集合，则为邻域空间集，设为 Ω，有 { A1，A2，…} ∈Ω，其中 Ai 表示像素点 i 的邻域空间． 为进一步讨论，设定如下记法: 若像素点表示为 i， 则 Ai 是其邻域空间，且［ai 1，ai 2，…，ai 13］表示空间中各 元素． 1. 2 流形正则的计算 流形正则的计算是获得像素点邻域空间中的位置 信息特征量的过程． 首先需要根据像素点邻域空间位 置信息，建立无向图 G( V，E) ，其中 V 表示图中顶点集 合，E 表示图中边集合． 以像素点 i 为例，其对应一个 顶点 vi∈V，通过判定像素点邻域空间的近邻关系来决 定两个顶点之间是否有边相连． 令 eij表示连接顶点 vi 和 vj 的边，则 eij∈E，此时 Ai 存在于 Aj 的 k 近邻集合 中，表示像素点 i 和 j 的近邻空间中［ai 12，ai 13］和［aj 12， aj 13］的欧式距离，在其他像素点与 j 的近邻空间中下标 12 和13 的元素的前 k 个最小欧式距离范围之内; 否则 vi 和 vj 之间不连接． 在图 G 中，为进一步刻画像素点之间的位置关 系，需要给每条边赋予权值，来表示近邻的程度，本文 采用二值化方法求取权值． 设 vi 和 vj 之间的权值为 wij，则 wij = 1 vi和 vj有边连接， {0 其他． ( 1) 当遍历所有参与建立图 G 的邻域空间集后，可得 到权值矩阵 W，此时定义对角矩阵 B，其对角值为 bii = ∑ j wij，则有 L = B － W． ( 2) 式中，L 称为拉普拉斯图，可反映出像素点之间位置关 系的特征，于是通过 L 便获得位置信息的特征值． 假设半监督分类模型表示为 f，f( p1 ) 是模型对像 素点 p1 的邻域空间的类别划分，则流形正则可用下式 表示: g = min 1 2 ∑ n i，j wij( f( pi ) － f( pj ) ) 2 = min FLFT ． ( 3) 其中 F =［f( p1 ) ，f( p2 ) ，…，f( pn) ］T ． 上式为模型 f 提 供像素点邻域空间的位置信息特征量． 1. 3 多核分类模型 首先，假设 M 个核函数为［K1，K2，…，KM］． 在应 用中，均使用高斯核函数，如下式所示: Ki ( x，x') ( = exp － ‖x － x'‖2 2 σ2 ) i ． ( 4) 式中 M 个核函数具有 M 个参数［σ1，σ2，…，σM］，x 和 x'均表示像素点邻域空间中前 11 个元素构成的向量． 多核可表达为 K = ∑ M m = 1 dm Km，Km 中元素为 kij = Km ( xi， xj ) ，而 Km ( ·，·) 表示核函数． dm 为核矩阵的组合系 数并约定满足条件 ∑ M m = 1 dm = 1，dm≥0． 实际应用中，本 · 878 ·
杨焘等：流形正则化多核模型的模糊红外目标提取 879· 文将x分为两类向量：(1)[a1,a2,…,ao],(2）[a]. 式中矩阵K的第i行第j列的元素是K(x:,x).为了 不同类向量以不同参数的核函数进行特征映射.于 求解式(10)，需要先将核矩阵的组合系数d视为固定 是，像素点邻域空间的灰度及其统计信息的核函数映 值，即假设有一组[d,d,,dw]满足约束条件，则可 射特征值，即以多核矩阵K的形式所获得. 以对其他的约束采用拉格朗日乘子方法.设拉格朗日 在获取特征值之后，为了建立半监督多核分类模 函数为男，有 型，需要从特征值中学习得到模型∫(f∈.动，水是核 函数映射后的特征空间。约定是损失函数，基于 g-分Ka+2aKa+C∑i-召i- Bach提出的多核理论，给出如下的多核分类模型： 卿Σc0, 会a{宫+小-1小w vd (5) 其中，（和B是拉格朗日乘子.上式应对变量(，b,) la.∑d.=l,d.≥0，m 求极小，利用梯度法，如下所示： 式中C是较大的常数，If。‖2/d。是一个正则项，目的 ra罗 aa =y Ka +y KLKa -KJ'YB =0, 是约束函数∫=∑∫的复杂度，以避免过学习出现， i a6=Bx=0, (12) 每一个∫是核函数K映射的特征空间中的元素.根 据表示定理可知a,式(5)解的形式为 85 86 =C-:-B=0. )=ak)=aK() 其中：Y是对角阵，其对角元素为y:J是×（4)的 (6) 矩阵，其组成为J=D0],I是单位阵.将式(12)等 式中，a∈R" 式结果代入式(11)中，同时，再重新将核矩阵的组合 1.4流形正则化多核半监督分类模型 系数d加入到约束条件中，并根据拉格朗日对偶理论， 利用式(3)作为正则化因子引入到模型式(5)中， 可得到 可得到如下的流形正则化多核半监督分类模型 长近+乡FLF+C 形=m2 Pmg(a,A》=R-B'YJKQFYB. 2 2=(yI+yLK), s.t. y[∑(r)+b≥1-，≥0，i, ={B=0.0≤B≤G,i}, ∑d.=1,d.≥0. (7) 9={g4。=ld.≥0m} 其中y和y,是正则化常数.同式(6)，利用表示定 (13) 理，有如下解的形式： 上述的问题具有两个决策量，一个是B,另一个是d f=盒&= Sa:∑d.Km（t. 本文选择迭代法进行求解，即先固定d优化B,再固定 已优化的B计算当前最优的d,循环迭代，直到满足最 (8) 终的优化条件。为描述具体优化过程，先给定初始组 并且根据希尔伯特空间理论叨，式(8)的解还应满足 合系数d的每一项为相同值，即d。=1/M:以t为上标 再生核性质，即 形式标记变量的当前迭代步数：再设定两个优化问题 fx)=∑d.K(） (9) 如下 将式(8)和式(9)代入式(7)得到 问题A:在组合系数d的条件下，应用式(13)的 吧，aa+aa+c宫 目标函数mg(d,B)和条件集合日，获得B的最优解 B,并更新B的取值，即B:=B: 问题B:在B的条件下，应用式(13)的目标函数 t[宫)≥1-≥0.i mis(d,B)和条件集合获得d的最优解d',并更 K= 新d的取值，即d:=d 显然，问题B的求解结果会影响问题A的条件， 4=ld≥0 因此重新计算问题A的结果，并迭代下去. 问题A是经典的带等式约束的二次规划问题，多 (10) 种优化工具s-回可成熟实现，本文选择Mosek软件的
杨 焘等: 流形正则化多核模型的模糊红外目标提取 文将 x 分为两类向量: ( 1) ［a1，a2，…，a10］，( 2) ［a11］． 不同类向量以不同参数的核函数进行特征映射． 于 是，像素点邻域空间的灰度及其统计信息的核函数映 射特征值，即以多核矩阵 K 的形式所获得． 在获取特征值之后，为了建立半监督多核分类模 型，需要从特征值中学习得到模型 f( f∈H) ，H 是核 函数映射后的特征空间． 约 定 s 是 损 失 函 数，基 于 Bach 提出的多核理论［15］，给出如下的多核分类模型: min { fm} ，s 1 2 ∑m ‖fm‖2 Hm dm + C∑ l i = 1 s( xi，yi，f) ， s． t． ∑m dm = 1，dm ≥ 0， { m． ( 5) 式中 C 是较大的常数，‖fm‖2 / dm 是一个正则项，目的 是约束函数 f = ∑ M m = 1 fm 的复杂度，以避免过学习出现， 每一个 fm 是核函数 Km 映射的特征空间中的元素． 根 据表示定理可知［16］，式( 5) 解的形式为 f( ·) = ∑ n i = 1 αiK( ·，xi ) = ∑ n i = 1 αi ∑ M m = 1 dm Km ( ·，xi ) ． ( 6) 式中，α∈Ｒn ． 1. 4 流形正则化多核半监督分类模型 利用式( 3) 作为正则化因子引入到模型式( 5) 中， 可得到如下的流形正则化多核半监督分类模型． M = min fm，b，d，ξ γA 2 ∑ M m = 1 ‖fm‖2 dm + γI 2 FT LF + C∑ l i = 1 ξi， s． t． yi [ ∑m fm ( xi ) ] + b ≥ 1 － ξi，ξi ≥ 0，i， ∑ M m = 1 dm = 1，dm ≥ 0 ． ( 7) 其中 γA 和 γI 是正则化常数． 同式( 6) ，利用表示定 理，有如下解的形式: f * ( x) = ∑ n i = 1 αiK( xi，x) = ∑ n i = 1 αi ∑ M m = 1 dm Km ( xi，x) ． ( 8) 并且根据希尔伯特空间理论［17］，式( 8) 的解还应满足 再生核性质，即 f( x) =〈f，∑m dm Km (·，x) 〉． ( 9) 将式( 8) 和式( 9) 代入式( 7) 得到 min α，b，d，ξ γA 2 αT Kα + γI 2 αT KLKα + C∑ l i = 1 ξi， s． t． yi [ ∑ l+u j = 1 αj K( xi，xj ) + b ] ≥ 1 － ξi，ξi ≥ 0，i， K = ∑ M m = 1 dm Km， ∑ M m = 1 dm = 1，dm ≥ 0 ． ( 10) 式中矩阵 K 的第 i 行第 j 列的元素是 K( xi，xj) ． 为了 求解式( 10) ，需要先将核矩阵的组合系数 d 视为固定 值，即假设有一组［d1，d2，…，dM］满足约束条件，则可 以对其他的约束采用拉格朗日乘子方法． 设拉格朗日 函数为 L，有 L = γA 2 αT Kα + γI 2 αT KLKα + C ∑ l i = 1 ξi － ∑ l i = 1 ζiξi － ∑ l i = 1 βi { yi [ ∑ l+u j = 1 αj K( xi，xj ) + ] b － 1 + ξi } ． ( 11) 其中，ζ 和 β 是拉格朗日乘子． 上式应对变量( α，b，ξ) 求极小，利用梯度法，如下所示: L α = γA Kα + γIKLKα － KJT Yβ = 0， L b = ∑ l i = 1 βiyi = 0， L ξi = C － ζi － βi = 0 ． ( 12) 其中: Y 是对角阵，其对角元素为 yi ; J 是 l × ( l + u) 的 矩阵，其组成为 J =［I 0］，I 是单位阵． 将式( 12) 等 式结果代入式( 11) 中，同时，再重新将核矩阵的组合 系数 d 加入到约束条件中，并根据拉格朗日对偶理论， 可得到 min d∈D max β∈Θ g( d，β) = ∑ l i = 1 βi － 1 2 βT YJKQJT Yβ， Q = ( γA I + γILK) －1 ， Θ = { β ∑ l i = 1 βiyi = 0，0 ≤ βi ≤ C，i } ， D = d { ∑ M m = 1 dm = 1，dm ≥ 0， } m ． ( 13) 上述的问题具有两个决策量，一个是 β，另一个是 d． 本文选择迭代法进行求解，即先固定 d 优化 β，再固定 已优化的 β 计算当前最优的 d，循环迭代，直到满足最 终的优化条件． 为描述具体优化过程，先给定初始组 合系数 d 的每一项为相同值，即 dm = 1 /M; 以 t 为上标 形式标记变量的当前迭代步数; 再设定两个优化问题 如下． 问题 A: 在组合系数 dt 的条件下，应用式( 13) 的 目标函数max β∈Θ g( d，β) 和条件集合 Θ，获得 β 的最优解 β* t ，并更新 β 的取值，即 βt ∶ = β* t ; 问题 B: 在 βt 的条件下，应用式( 13) 的目标函数 min d∈D g( d，β) 和条件集合 D，获得 d 的最优解 d* t ，并更 新 d 的取值，即 dt ∶ = d* t ． 显然，问题 B 的求解结果会影响问题 A 的条件， 因此重新计算问题 A 的结果，并迭代下去． 问题 A 是经典的带等式约束的二次规划问题，多 种优化工具［18--19］可成熟实现，本文选择 Mosek 软件的 · 978 ·
·880· 工程科学学报，第38卷，第6期 msklpopt函数.问题B可应用既约梯度法求解，即对 任意，其一阶梯度表达如下 K=∑dK计算需要0(11Mn).式(13)中矩阵Q的 Vsz--i(B)Yj(K.Q-nKQLx.Ofwg. 计算需要O(2n).上述优化过程中，问题A的二次规 划方法计算B需要O(n3),问题B的梯度计算需要 (14) O(Mn),d的更新计算需要O(M).因此，本文方法的 假设d中最大元素为d,则对任意d,其既约梯度 整体时间复杂度可以表示为O(n+n2+Mn+n3+Mn3+ 如下： M).式中已忽略常数项，其中低次项可进一步忽略 g={。oV8m+0 (15) 2红外图像模糊目标提取 m=花. 之所以考虑既约梯度，是因为d的更新除了需要考虑 2.1目标、背景与模糊边缘区域提取 负一阶梯度，还需要考虑条件d∈.设d的更新方向 以图1(b)和图1(c)为对象，由于本文方法在于 为p,则p为 分类确定标号，因此首先设定类别.设红外图像中背 Tgr≤0， 景区域为D,其标号是负标号(-1)：模糊边缘区域为 D,其标号是正标号（+1)：目标区域为D,,其标号有 p': -d'-Vg gE>0, (16) 待半监督分类模型来确定(0).采用最大方差阈值法 =- ∑pm 获取三个区域，其基本原理是：把图像的灰度直方图在 方差达到最大处时的灰度作为初始分割阈值日，再取 确定更新方向后，d的更新取值问题便解决了.对于 0,=6-5。和02=0+，其中。和51是人工设定参 既约梯度方法，停机条件设定为‖p-p‖2≤&.上 数，设定原则是保证小于日，灰度的是背景，而大于日2 述主要流程，如图4所示. 的灰度是目标，从而将图像分割为三个区域，分别为 求解优化问题 D1∈D,0]、D2∈[9,02]和D3∈[B2,255]. 式(13) 以归一化的图1(b)为例，初始分割阙值0= 初始化组合 0.4157,取。=专=0.1，则0，=0.3157和02=0.5157， 系数d 问题A 图1(b)的三个区域是D∈[0,0.3157]、D2∈ 二次规划方法 获得 D.3157,0.5157]和D3∈D.5157,1],如图5所示. 立 B 既约梯度方法 问题B 获得 d 图5初始分割阀值获取确定的目标（白）、背景（黑）和模糊边缘 是否达到停机 条件 区域 Fig.5 Target (white),background (black)and blurred edge areas obtained by using the initial segmentation threshold 求解结束 图4优化问题（式(13）)的求解过程流程图 2.2半监督分类特征获取及方法流程 Fig.4 Flow chart of the solving process of the optimization problem 分析图5.从D,和D中分别取r个像素点构造 (Equation(13)） 其邻域空间集，记为2，此时2中共有2r个邻域空间 假设从图像中获取的学习训练的像素点总数为 元素；从D,中取s个像素点构造其邻域空间集，记为 n,多核总数为M:任意像素点的邻域空间中，前11个 2,此时2中有s个邻域空间元素.设某两个邻域空 元素中作为特征向量，由多核函数进行特征映射：后2 间为A,和A,其特征值获取如图6所示 个元素是位置信息，用于计算流形正则项.首先，计算 参数设定为： 流形正则项中，数据样本之间的距离计算需要时间复 (1)前15个高斯核函数的参数为σ∈0.01， 杂度为0(2n),拉普拉斯矩阵L的计算需要0(n2). 0.03,0.05,0.1,0.3,0.5,1,1.5,2,3,5,10,12, 计算任意核函数矩阵K需要0(11n),多核组合15,20]：
工程科学学报，第 38 卷，第 6 期 msklpopt 函数． 问题 B 可应用既约梯度法求解，即对 任意 dt m，其一阶梯度表达如下: Δ gdt m = － 1 2 ( βt ) T YJ( Km Q － γIKQLKm Q) JT Yβ． ( 14) 假设 dt 中最大元素为 dt v，则对任意 dt m，其既约梯度 如下: Ｒ Δ gdt m = Δ gdt m － Δ gdt v m≠v， {0 m = v． ( 15) 之所以考虑既约梯度，是因为 dt 的更新除了需要考虑 负一阶梯度，还需要考虑条件 d∈D． 设 dt 的更新方向 为 pt ，则 pt 为 pt ∶ pt m = － Ｒ Δ gdt－1 m Ｒ Δ gdt－1 m ≤ 0， － dt －1 m Ｒ Δ gdt－1 m Ｒ Δ gdt－1 m { ＞ 0， pt v = － ∑m≠v pt m { ． ( 16) 确定更新方向后，d 的更新取值问题便解决了． 对于 既约梯度方法，停机条件设定为‖pt － pt － 1‖2 ≤ε． 上 述主要流程，如图 4 所示． 图 4 优化问题( 式( 13) ) 的求解过程流程图 Fig． 4 Flow chart of the solving process of the optimization problem ( Equation ( 13) ) 假设从图像中获取的学习训练的像素点总数为 n，多核总数为 M; 任意像素点的邻域空间中，前 11 个 元素中作为特征向量，由多核函数进行特征映射; 后 2 个元素是位置信息，用于计算流形正则项． 首先，计算 流形正则项中，数据样本之间的距离计算需要时间复 杂度为 O( 2n) ，拉普拉斯矩阵 L 的计算需要 O( n2 ) ． 计算任 意 核 函 数 矩 阵 Km 需要 O ( 11n) ，多 核 组 合 K = ∑ M m = 1 dm Km 计算需要 O( 11Mn) ． 式( 13) 中矩阵 Q 的 计算需要 O( 2n3 ) ． 上述优化过程中，问题 A 的二次规 划方法计算 β 需要 O( n3 ) ，问题 B 的梯度计算需要 O( Mn3 ) ，d 的更新计算需要 O( M) ． 因此，本文方法的 整体时间复杂度可以表示为 O( n + n2 + Mn + n3 + Mn3 + M) ． 式中已忽略常数项，其中低次项可进一步忽略． 2 红外图像模糊目标提取 2. 1 目标、背景与模糊边缘区域提取 以图 1( b) 和图 1( c) 为对象，由于本文方法在于 分类确定标号，因此首先设定类别． 设红外图像中背 景区域为 D1，其标号是负标号( － 1) ; 模糊边缘区域为 D2，其标号是正标号( + 1) ; 目标区域为 D3，其标号有 待半监督分类模型来确定( 0) ． 采用最大方差阈值法 获取三个区域，其基本原理是: 把图像的灰度直方图在 方差达到最大处时的灰度作为初始分割阈值 θ，再取 θ1 = θ － ξ0 和 θ2 = θ + ξ1，其中 ξ0 和 ξ1 是人工设定参 数，设定原则是保证小于 θ1 灰度的是背景，而大于 θ2 的灰度是目标，从而将图像分割为三个区域，分别为 D1∈［0，θ1］、D2∈［θ1，θ2］和 D3∈［θ2，255］． 以归一 化 的 图 1 ( b) 为 例，初 始 分 割 阈 值 θ = 0. 4157，取 ξ0 = ξ1 = 0. 1，则 θ1 = 0. 3157 和 θ2 = 0. 5157， 图 1 ( b ) 的 三 个 区 域 是 D1 ∈［0，0. 3157 ］、D2 ∈ ［0. 3157，0. 5157］和 D3∈［0. 5157，1］，如图 5 所示． 图5 初始分割阈值获取确定的目标( 白) 、背景( 黑) 和模糊边缘 区域 Fig． 5 Target ( white) ，background ( black) and blurred edge areas obtained by using the initial segmentation threshold 2. 2 半监督分类特征获取及方法流程 分析图 5． 从 D1 和 D3 中分别取 r 个像素点构造 其邻域空间集，记为 ΩS，此时 ΩS 中共有2r 个邻域空间 元素; 从 D2 中取 s 个像素点构造其邻域空间集，记为 ΩU，此时 ΩU 中有 s 个邻域空间元素． 设某两个邻域空 间为 Ap 和 Aq，其特征值获取如图 6 所示． 参数设定为: ( 1) 前 15 个 高 斯 核 函 数 的 参 数 为 σ∈［0. 01， 0. 03，0. 05，0. 1，0. 3，0. 5，1，1. 5，2，3，5，10，12， 15，20］; · 088 ·