第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202005027 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20210412.1132.004html 相关滤波的运动目标抗遮挡再跟踪技术 戴煜彤，陈志国，傅毅 (1.江南大学人工智能与计算机学院，江苏无锡214122：2.无锡环境科学与工程研究中心，江苏无锡 214153) 摘要：针对相关滤波在抗遮挡方面效果不佳的问题，本文在ECO_HC(efficient convolution operators handcraft)的基础上提出了一种多特征融合的抗遮挡相关滤波算法。在相关滤波算法的框架下，将目标 ULBP(uniform local binary pattern)纹理特征和目标HOG(histogram of oriented gridients)特征进行线性加权融合； 在模型建立与更新阶段通过高斯掩码函数缓解循环移位造成的边界效应：通过计算目标最大响应值的峰值均 值比来判断目标状态，并将卡尔曼算法作为目标被遮挡后重定位策略。实验结果显示，在16个视频序列上，该 文算法的平均精确度达到87.3%.成功率达到76.5%.相比基线算法.分别提升了27.7%和23.7%。 关键词：目标跟踪：相关滤波；特征融合；ULBP:高斯掩码；参数峰值均值比；卡尔曼预测：抗遮挡 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)04-0630-11 中文引用格式：戴煜形，陈志国，傅毅.相关滤波的运动目标抗遮挡再跟踪技术J.智能系统学报，2021,16(4)：630-640. 英文引用格式：DAI Yutong,.CHEN Zhiguo,FUYi.Anti-occlusion retracking technology for a moving target based on correlation filtering J CAAI transactions on intelligent systems,2021,16(4):630-640. Anti-occlusion retracking technology for a moving target based on correlation filtering DAI Yutong',CHEN Zhiguo',FU Yi2 (1.School of Artificial Intelligence and Computer,Jiangnan University,Wuxi 214122,China;2.Wuxi Research Center of Environ mental Science and Engineering,Wuxi 214153,China) Abstract:To address the poor anti-occlusion effect of correlation filtering,this paper proposes an anti-occlusion correla- tion filtering algorithm by means of multifeature fusion based on efficient convolution operators handcraft.First,based on the framework of correlation filtering,a method of linearly weighted fusion is adopted to deal with the target uni- form local binary pattern texture feature and the target histogram of oriented gradients feature.Second,the Gaussian mask function is used during the model establishment and update phase to ease the boundary effect caused by cyclic shift.Lastly,the target state is judged by calculating the peak-to-average ratio of the target maximum response value, and the Kalman algorithm is utilized as the relocation strategy after the target is blocked.Experimental results show that the average accuracy of the proposed algorithm reaches 87.3%,and the success rate reaches 76.5%on 16 test sequences, which are 27.7%and 23.7%higher than those of the baseline algorithm,respectively. Keywords:object tracking;correlation filter;multi-feature fusion;ULBP;Gaussian mask;peak-to-average ratio;Kal- man prediction;anti-occlusion 目标跟踪山近年来因其横跨视频监控、无人 收稿日期：2010-05-21.网络出版日期：2021-04-12. 驾驶、无人飞行器、医学图像分析、空中预警等诸 基金项目：江苏省高等学校自然科学研究面上项目 (17KJB520039):江苏省“333高层次人才培养工程科 多领域而迅速成为计算机视觉研究的热点之一。 研项目”(BRA2018147):江苏省高校“青蓝工程”项 目(2020年). 日标跟踪的主流方法目前正由生成类方法逐渐转 通信作者：陈志国.E-mail:427533@qq.com 向判别式方法，其中基于相关滤波的目标跟踪算
DOI: 10.11992/tis.202005027 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210412.1132.004.html 相关滤波的运动目标抗遮挡再跟踪技术 戴煜彤1 ，陈志国1 ，傅毅2 （1. 江南大学 人工智能与计算机学院，江苏 无锡 214122; 2. 无锡环境科学与工程研究中心，江苏 无锡 214153） 摘 要 ：针对相关滤波在抗遮挡方面效果不佳的问题，本文在 ECO_HC(efficient convolution operators handcraft) 的基础上提出了一种多特征融合的抗遮挡相关滤波算法。在相关滤波算法的框架下，将目标 ULBP(uniform local binary pattern) 纹理特征和目标 HOG(histogram of oriented gridients) 特征进行线性加权融合； 在模型建立与更新阶段通过高斯掩码函数缓解循环移位造成的边界效应；通过计算目标最大响应值的峰值均 值比来判断目标状态，并将卡尔曼算法作为目标被遮挡后重定位策略。实验结果显示，在 16 个视频序列上，该 文算法的平均精确度达到 87.3%，成功率达到 76.5%，相比基线算法，分别提升了 27.7% 和 23.7%。 关键词：目标跟踪；相关滤波；特征融合；ULBP；高斯掩码；参数峰值均值比；卡尔曼预测；抗遮挡 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)04−0630−11 中文引用格式：戴煜彤, 陈志国, 傅毅. 相关滤波的运动目标抗遮挡再跟踪技术 [J]. 智能系统学报, 2021, 16(4): 630–640. 英文引用格式：DAI Yutong, CHEN Zhiguo, FU Yi. Anti-occlusion retracking technology for a moving target based on correlation filtering[J]. CAAI transactions on intelligent systems, 2021, 16(4): 630–640. Anti-occlusion retracking technology for a moving target based on correlation filtering DAI Yutong1 ，CHEN Zhiguo1 ，FU Yi2 (1. School of Artificial Intelligence and Computer, Jiangnan University, Wuxi 214122, China; 2. Wuxi Research Center of Environmental Science and Engineering, Wuxi 214153, China) Abstract: To address the poor anti-occlusion effect of correlation filtering, this paper proposes an anti-occlusion correlation filtering algorithm by means of multifeature fusion based on efficient convolution operators handcraft. First, based on the framework of correlation filtering, a method of linearly weighted fusion is adopted to deal with the target uniform local binary pattern texture feature and the target histogram of oriented gradients feature. Second, the Gaussian mask function is used during the model establishment and update phase to ease the boundary effect caused by cyclic shift. Lastly, the target state is judged by calculating the peak-to-average ratio of the target maximum response value, and the Kalman algorithm is utilized as the relocation strategy after the target is blocked. Experimental results show that the average accuracy of the proposed algorithm reaches 87.3%, and the success rate reaches 76.5% on 16 test sequences, which are 27.7% and 23.7% higher than those of the baseline algorithm, respectively. Keywords: object tracking; correlation filter; multi-feature fusion; ULBP; Gaussian mask; peak-to-average ratio; Kalman prediction; anti-occlusion 目标跟踪[1] 近年来因其横跨视频监控、无人 驾驶、无人飞行器、医学图像分析、空中预警等诸 多领域而迅速成为计算机视觉研究的热点之一。 目标跟踪的主流方法目前正由生成类方法逐渐转 向判别式方法，其中基于相关滤波的目标跟踪算 收稿日期：2010−05−21. 网络出版日期：2021−04−12. 基金项目：江苏省高等学校自然科学研究面上项 目 (17KJB520039)；江苏省“333 高层次人才培养工程科 研项目”(BRA2018147)；江苏省高校“青蓝工程”项 目 (2020 年). 通信作者：陈志国. E-mail：427533@qq.com. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 戴煜形，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631· 法发展尤为快速回。 1 ECO HC跟踪基本原理 相关滤波算法由Bolm等提出的最小输出误 差平方和(minimum output sum of squared error,. 相关滤波器2的核心是通过当前帧和前序 MOSSE)引入目标跟踪领域。Henriques等采用 帧训练的滤波器判定跟踪目标在下一帧的位置。 了HOG特征和循环移位采样方式，提出了核相 ECO HC算法首先在第一帧中选定跟踪目标，获 关滤波器(kernelized correlation filter,KCF)跟踪 取其在图片帧中的实际位置及其他特征信息用以 算法，大大提高了跟踪算法的准确率。Martin 初始化训练跟踪器，后续帧中根据跟踪器中预测 Danelljan等在MOSSE的基础上增加了一个尺度 的位置对其周围进行采样点响应，取最高响应值 滤波器用以应对尺度变换的情况，提出了DSST 的位置为跟踪的目标所在位置，并对跟踪器进行 (discriminative scale space tracking)算法。循环移 更新。相关滤波是根据前序帧训练的模型去预测 位策略的应用使得基于相关滤波的目标跟踪算法 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 会受到边缘效应的影响，Martin Danellja提出的 错误的信息，受到污染，导致后续帧容易跟踪失 SRDCF(spatially regularized discriminant correla- 败。此外，相关滤波采用了循环移位来丰富样 tion filter)采用空间正则化惩罚系数取得了一定 本，这就导致在训练的图像块中，只有万分之一 的效果。之后，Danelljan在2016年提出了C-C0T 的图像块是真实的样本，因此，解决边界效应对 (continuous convolution operators for visual tracking) 提高模型的准确度有着至关重要的作用。 算法，通过差值函数，将不同分辨率的特征图映 1.1相关滤波 射到连续的空间域上，计算机效率却降低了。随 相关滤波的核心思想如下：若滤波器为h,输 后，Danelljan于2017年在CVPR上提出了ECo例 入的图像为∫，对二者做相关运算求得响应值g: (efficient convolution operators),该算法分为手工特 8=f⑧h (1) 征算法(efficient convolution operators handcraft,. 响应值g越大，则f和h的相关度越高。当输 ECO HC)和卷积特征算法两个版本。ECO使用 出的响应值取最大值时，该响应值对应的位置即 高效卷积操作融合多个特征获取特征图，从模型 为当前跟踪目标的位置。为了提高计算速度，可 的大小、训练集的更新策略以及模型更新的频率 将式(1)利用快速傅里叶变换转至频域计算： 3个方面对C-COT改进，极大地提高了算法的时 F(g)=F(fh)F(f)F(h)" (2) 间与空间效率。2018年，Li等9在CVPR上发表 式中：()表示共轭，上述公式可简化为 了Siam-RPN(siamese-region proposal network)网络 G=FOH (3) 架构算法。为了解决Siam-RPN网络架构算法在 对于每一个样本图像∫都存在与其对应的 使用训练好的深层网络时出现的跟踪算法精度下 8,则式(3)可变换为 降问题，Li等11在2019年CVPR上又提出了 Hi-F (4) Siam-RPN+算法。Fan等为了解决大的尺度问 H*的更新公式为 题，在CVPR20I9上提出了多级tracking网络La- FOG SOT(large-scale single object tracking)算法。 (5) 本文针对ECO HC在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 最后，对式（⑤）进行傅里叶逆变换即可求得滤 FHOG特征和ULBP特征进行自适应加权融合， 波器h。 实现了对目标更精确地定位。再利用高斯掩码函 1.2因式分解的卷积操作 数过滤掉一部分负样本，用以解决循环移位造成 ECO HC是在C-COT算法的基础上进行改 的边界效应，缓解模型漂移的情况。最后，根据 进的，C-COT通过学习一个含有M个训练样本的 最大响应值计算的峰值均值比判断目标是否被遮 集合x“cx获得一个卷积滤波器，其中每一个通 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 道d的特征层x∈R都有独立的分辨率N。通过 波器预测的跟踪目标坐标；若目标处于被遮挡状 引入运算符J给出的插值模型，将特征通过插值 态，则启动目标重定位策略，使用卡尔曼算法预 操作转至连续空间域t(t∈[0，T): 测得出目标位置，并停止模型更新，回溯到之前 (6 模型未被污染的状态
法发展尤为快速[2]。 相关滤波算法由 Bolm 等提出的最小输出误 差平方和[3] (minimum output sum of squared error, MOSSE) 引入目标跟踪领域。Henriques 等采用 了 HOG 特征和循环移位采样方式，提出了核相 关滤波器[4] (kernelized correlation filter, KCF) 跟踪 算法，大大提高了跟踪算法的准确率。Martin Danelljan 等在 MOSSE 的基础上增加了一个尺度 滤波器用以应对尺度变换的情况，提出了 DSST (discriminative scale space tracking) 算法[5]。循环移 位策略的应用使得基于相关滤波的目标跟踪算法 会受到边缘效应的影响，Martin Danellja 提出的 SRDCF[6] (spatially regularized discriminant correlation filter) 采用空间正则化惩罚系数取得了一定 的效果。之后，Danelljan 在 2016 年提出了 C-COT[7] (continuous convolution operators for visual tracking) 算法，通过差值函数，将不同分辨率的特征图映 射到连续的空间域上，计算机效率却降低了。随 后，Danelljan 于 2017 年在 CVPR 上提出了 ECO[8] (efficient convolution operators)，该算法分为手工特 征算法 (efficient convolution operators handcraft, ECO_HC) 和卷积特征算法两个版本。ECO 使用 高效卷积操作融合多个特征获取特征图，从模型 的大小、训练集的更新策略以及模型更新的频率 3 个方面对 C-COT 改进，极大地提高了算法的时 间与空间效率。2018 年，Li 等 [9] 在 CVPR 上发表 了 Siam-RPN(siamese-region proposal network) 网络 架构算法。为了解决 Siam-RPN 网络架构算法在 使用训练好的深层网络时出现的跟踪算法精度下 降问题，Li 等 [ 1 0 ] 在 2019 年 CVPR 上又提出了 Siam-RPN++算法。Fan 等 [11] 为了解决大的尺度问 题，在 CVPR 2019 上提出了多级 tracking 网络 LaSOT(large-scale single object tracking) 算法。 本文针对 ECO_HC 在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 FHOG 特征和 ULBP 特征进行自适应加权融合， 实现了对目标更精确地定位。再利用高斯掩码函 数过滤掉一部分负样本，用以解决循环移位造成 的边界效应，缓解模型漂移的情况。最后，根据 最大响应值计算的峰值均值比判断目标是否被遮 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 波器预测的跟踪目标坐标；若目标处于被遮挡状 态，则启动目标重定位策略，使用卡尔曼算法预 测得出目标位置，并停止模型更新，回溯到之前 模型未被污染的状态。 1 ECO_HC 跟踪基本原理 相关滤波器[12-18] 的核心是通过当前帧和前序 帧训练的滤波器判定跟踪目标在下一帧的位置。 ECO_HC 算法首先在第一帧中选定跟踪目标，获 取其在图片帧中的实际位置及其他特征信息用以 初始化训练跟踪器，后续帧中根据跟踪器中预测 的位置对其周围进行采样点响应，取最高响应值 的位置为跟踪的目标所在位置，并对跟踪器进行 更新。相关滤波是根据前序帧训练的模型去预测 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 错误的信息，受到污染，导致后续帧容易跟踪失 败。此外，相关滤波采用了循环移位来丰富样 本，这就导致在训练的图像块中，只有万分之一 的图像块是真实的样本，因此，解决边界效应对 提高模型的准确度有着至关重要的作用。 1.1 相关滤波 相关滤波的核心思想如下：若滤波器为 h，输 入的图像为 f，对二者做相关运算求得响应值 g： g=f ⊗h (1) 响应值 g 越大，则 f 和 h 的相关度越高。当输 出的响应值取最大值时，该响应值对应的位置即 为当前跟踪目标的位置。为了提高计算速度，可 将式 (1) 利用快速傅里叶变换转至频域计算： F (g)=F (f ⊗h)=F (f)⊙ F (h) ∗ (2) ( ∗ 式中： ) 表示共轭，上述公式可简化为 G=F ⊙ H ∗ (3) 对于每一个样本图像 fi 都存在与其对应的 gi，则式 (3) 可变换为 Hi ∗= Gi Fi (4) H*的更新公式为 H ∗= ∑ i Fi⊙Gi ∗ ∑ i Fi⊙Fi ∗ (5) 最后，对式 (5) 进行傅里叶逆变换即可求得滤 波器 h。 1.2 因式分解的卷积操作 { xj }M 1 ⊂ χ x d j ∈ R Nd Jd t ∈ [0,T) ECO_HC 是在 C-COT 算法的基础上进行改 进的，C-COT 通过学习一个含有 M 个训练样本的 集合 获得一个卷积滤波器，其中每一个通 道 d 的特征层 都有独立的分辨率 Nd。通过 引入运算符 给出的插值模型，将特征通过插值 操作转至连续空间域 t( )： Jd { x d } (t) = N∑d−1 n=0 x d [n]bd ( t− T Nd n ) (6) 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631·
·632· 智能系统学报 第16卷 式中：b是周期为T(T>0)的插值内核，所得插值 取的峰值响应值计算参数峰值均值比(peak-to-av- 特征层J{x是一个连续的周期为T的函数。在 erage ration,PAR),使用PAR对目标是否被遮挡 C-COT中，使用J{x表示整个插值特征图，将其 进行判断。若PAR大于一个固定的阈值，说明目 与训练的一个连续的周期为T的多通道卷积滤波 标此时处于正常跟踪状态，根据ECO HC算法预 器f=(f,f尸，…，P)进行相关运算，得到的响应分 测的目标位置，修正Kalman算法预测的目标位 数S{x为 置，并更新滤波器模型；若PAR小于一个固定的 阈值，则说明目标处于遮挡或失踪状态，此时采 Sy(x)=f*Jx)= (7) =1 取目标再定位机制，使用Kalman滤波器预测出当 C-COT对于每个维度的特征都训练了一个对 前目标的位置，并回溯到之前未被污染的模型来 应的滤波器，但是其中很多滤波器的贡献不大。 更新模型。 因此，ECO HC在特征提取的阶段使用了原来特 2.1ULBP特征提取 征的子集，对于D维特征，ECO HC选取了其中 本文使用ULBP提取的特征来加强FHOG提 贡献较大的C个滤波器(C<D)。P是一个D×C的 取的特征。ULBP算法是对LBP(local binary pat- 矩阵，则求得的新的检测函数为 tern)算法的一种改进，是单维度的特征表述， Sy=Pf*Jd=∑Pafr*aK=f*PJ闭(8) LBP描述的是图像局部纹理特征。LBP算子是对 样本中的每个像素点，选取其为中心的3×3邻域， 式中：P为D×C的系数矩阵；PT为线性降维算子； 在该邻域内，将其周围的8个像素值与之比较，大 P:f是特征层为c的滤波器的线性组合：P 于该像素点的值置1，否则置0，然后按照顺时针 方向组合即可产生8位二进制数，即2种模式。 滤波器的学习系数。 但是，过多的二进制模式对于纹理的表达是不利 1.3生成样本空间模型 的，过于复杂且较大的信息量，对快速提取目标 ECO HC更改了训练集的样本更新策略，用 特征信息是不利的，因此需要的是尽可能少且具 高斯混合模型(gaussian mixture model,.GMM生成 有代表性的一些目标特征。因此本文采取了uni- 不同的分量，每个分量是一组相似度较高的样 form LBP(ULBP),其核心思想是对LBP进行降 本，分量之间差异较大。GMM的建模如下： 维，绝大多数LBP模式只包含两次从1到0或者 p)= 2πN(x4;D (9) 从0到1的跳变，并将最多有两次跳变的归为一 个等价模式类，其余的归为混合模式类，通过这 式中：L是高斯分量N(x::D的数量；π是高斯分 样改进，3×3的邻域的二进制模式就由2模式减 量的先验权重；是高斯分量的平均值；单位矩阵 少为58种，并且不会丢失任何信息，也能减少高 I是协方差矩阵。起初，每一个新样本x,都初始 频噪声的影响。 化一个新的分量m: 在FHOG提取得到的一个31通道的梯度直 πm=y,Hm=X (10) 方图M的基础上，用ULBP得到的一维特征MLBr y为学习速率，当分量个数超过设定好的上 与M,的每个通道进行线性加权融合，得到特征 限L时，如果有一组分量的权重π小于设定的阈 图M。通过大量实验，融合系数λ取值为0.01： 值，则丢弃该分量；否则，将两个最相似的分量 M2=M+A.MULBP (12) k与1合并为一个公共分量： 2.2高斯掩码函数 元，=+m,=4+4 (11) 本文在模型更新时采用高斯掩码函数，对跟 πk十π1 对于4：一l,即两组之间的距离是在傅里叶 踪目标的中心取较大的系数，边缘取较小的系 域使用帕斯瓦尔定理进行计算的。 数，保留一定的背景信息，缓解边缘不连续性造 成的影响，以提高模型的准确性。 2再定位基本原理 二维高斯函数将正态分布应用于图像处理 中，随着中心点到边缘的距离增大，取得的加权 本文算法是基于ECO HC实现的目标遮挡后 平均值越小。若(u,)表示像素点坐标，则二维高 的再定位技术19.2。首先，将FHOG特征和UL 斯函数的定义为 BP特征进行自适应加权融合；其次，加人高斯形 1 状的掩码函数解决边缘效应，并保留更多的背景 F(u.)--2m (13) 信息，减少模型漂移；最后，本算法根据每一帧获 因为目标中心位置的样本信息比边界位置上
Jd { x d } Jd {x} f = ( f 1 , f 2 ,··· , f D ) S f {x} 式中：bd 是周期为 T(T>0) 的插值内核，所得插值 特征层 是一个连续的周期为 T 的函数。在 C-COT 中，使用 表示整个插值特征图，将其 与训练的一个连续的周期为 T 的多通道卷积滤波 器 进行相关运算，得到的响应分 数 为 S f {x} = f ∗ J {x} = ∑D d=1 f d ∗ Jd { x d } (7) D×C C-COT 对于每个维度的特征都训练了一个对 应的滤波器，但是其中很多滤波器的贡献不大。 因此，ECO_HC 在特征提取的阶段使用了原来特 征的子集，对于 D 维特征，ECO_HC 选取了其中 贡献较大的 C 个滤波器 (C<D)。P 是一个 的 矩阵，则求得的新的检测函数为 S P f {x} = P f ∗ J {x} = ∑ c,d pd,c f c ∗Jd { x d } = f ∗ P T J {x} (8) D×C P T ∑ c,d pd,c f c pd,c 式中：P 为 的系数矩阵； 为线性降维算子； 是特征层为 c 的滤波器的线性组合； 为 滤波器的学习系数。 1.3 生成样本空间模型 ECO_HC 更改了训练集的样本更新策略，用 高斯混合模型 (gaussian mixture model, GMM) 生成 不同的分量，每个分量是一组相似度较高的样 本，分量之间差异较大。GMM 的建模如下： p(x) = ∑L i=1 πlN (x;µl ;I) (9) N (x;µl ;I) πl µl 式中：L 是高斯分量 的数量； 是高斯分 量的先验权重； 是高斯分量的平均值；单位矩阵 I 是协方差矩阵。起初，每一个新样本 xj 都初始 化一个新的分量 m： πm = γ , µm = xj (10) γ πl 为学习速率，当分量个数超过设定好的上 限 L 时，如果有一组分量的权重 小于设定的阈 值，则丢弃该分量；否则，将两个最相似的分量 k 与 l 合并为一个公共分量 n： πn = πk +πl , µn = πkµk +πlµl πk +πl (11) 对于 ∥µk −µl∥ ，即两组之间的距离是在傅里叶 域使用帕斯瓦尔定理进行计算的。 2 再定位基本原理 本文算法是基于 ECO_HC 实现的目标遮挡后 的再定位技术[19-20]。首先，将 FHOG 特征和 ULBP 特征进行自适应加权融合；其次，加入高斯形 状的掩码函数解决边缘效应，并保留更多的背景 信息，减少模型漂移；最后，本算法根据每一帧获 取的峰值响应值计算参数峰值均值比 (peak-to-average ration，PAR)，使用 PAR 对目标是否被遮挡 进行判断。若 PAR 大于一个固定的阈值，说明目 标此时处于正常跟踪状态，根据 ECO_HC 算法预 测的目标位置，修正 Kalman 算法预测的目标位 置，并更新滤波器模型；若 PAR 小于一个固定的 阈值，则说明目标处于遮挡或失踪状态，此时采 取目标再定位机制，使用 Kalman 滤波器预测出当 前目标的位置，并回溯到之前未被污染的模型来 更新模型。 2.1 ULBP 特征提取 本文使用 ULBP 提取的特征来加强 FHOG 提 取的特征。ULBP 算法是对 LBP(local binary pattern) 算法的一种改进，是单维度的特征表述， LBP 描述的是图像局部纹理特征。LBP 算子是对 样本中的每个像素点，选取其为中心的 3×3 邻域， 在该邻域内，将其周围的 8 个像素值与之比较，大 于该像素点的值置 1，否则置 0，然后按照顺时针 方向组合即可产生 8 位二进制数，即 2 8 种模式。 但是，过多的二进制模式对于纹理的表达是不利 的，过于复杂且较大的信息量，对快速提取目标 特征信息是不利的，因此需要的是尽可能少且具 有代表性的一些目标特征。因此本文采取了 uniform LBP(ULBP)，其核心思想是对 LBP 进行降 维，绝大多数 LBP 模式只包含两次从 1 到 0 或者 从 0 到 1 的跳变，并将最多有两次跳变的归为一 个等价模式类，其余的归为混合模式类，通过这 样改进，3×3 的邻域的二进制模式就由 2 8 模式减 少为 58 种，并且不会丢失任何信息，也能减少高 频噪声的影响。 λ 在 FHOG 提取得到的一个 31 通道的梯度直 方图 M1 的基础上，用 ULBP 得到的一维特征 MULBP 与 M1 的每个通道进行线性加权融合，得到特征 图 M2。通过大量实验，融合系数 取值为 0.01： M2=M1+λ · MULBP (12) 2.2 高斯掩码函数 本文在模型更新时采用高斯掩码函数，对跟 踪目标的中心取较大的系数，边缘取较小的系 数，保留一定的背景信息，缓解边缘不连续性造 成的影响，以提高模型的准确性。 (u,v) 二维高斯函数将正态分布应用于图像处理 中，随着中心点到边缘的距离增大，取得的加权 平均值越小。若 表示像素点坐标，则二维高 斯函数的定义为 F (u,v) = − 1 2πσ2 e − u 2+v 2 2σ2 (13) 因为目标中心位置的样本信息比边界位置上 ·632· 智 能 系 统 学 报 第 16 卷
第4期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·633· 的信息更加重要，所以本文对高斯函数做了相应 为多个不明显的峰值状态，为了解决目标此状态 的改进，使得函数由中心点随着目标框的形状呈 下容易跟踪失败的问题，本算法引入再跟踪机 椭圆形向图像边缘发散，结合掩码函数，对图像 制。由PAR判断跟踪目标在当前帧中的状态，若 边缘不连续性的地方至0，其余地方至改进过后 PAR不小于阈值O,说明目标处于正常跟踪状态； 的高斯函数值。然后将此构造好的掩码矩阵左乘 而当PAR小于阈值0，说明目标处于遮挡状态，开 循环移位样本，得以增加真实训练的样本比例， 始执行再跟踪机制。PAR的定义为 得到的函数如图l(d)所示。定义如下： max(f(i)) PAR= (15) r2 2 i-1 1 2 max(f (n)) g tei-d G(u,v)= W-w H-h 式中：max(f)表示第i帧的最大响应值；PAR即 e 2r2 l≤ 2 为跟踪目标在1帧的最大响应值与前g帧的最大 0. 其他 响应值均值的比值，本文q的值为20。通过大量 (14) 式中：假设原始样本的长宽分别为W与H,则 实验，阈值0取值为0.55。 w与h分别为目标框的长与宽，则只有在 当跟踪目标处于正常跟踪状态时，PAR的值 :-日≤时天与-≤制号时.会发生边缘不 Ww」 H 处于一种相对稳定的波动状态而当目标处于遮挡 状态时，max(f)会突然变小，因而PAR的值也会 连续性的情况，如图1(b)所示。参数σ控制函数 随之变小，见图2。因此，PAR可以判断目标目前 径向作用范围，即控制样本权重衰减的速度。本 的跟踪状态。 文将二维高斯函数分解成两个一维的高斯函数， 先从水平方向对图像进行卷积操作，将所得结果 3.0 再对竖直方向进行操作，提高了算法的效率。图1b) 和图1(c)对比看出，加了高斯掩码函数之后，边 界效应得到了有效的缓解。 750 1500 帧数 图2视频序列Girlmov的PAR时刻值 (a)原图 (b)循环移位示意图 Fig.2 PAR time value of Girlmov -250 200 2.4目标重定位 1S0 卡尔曼滤波四结合前序帧与当前帧可递推地 100 推测下一帧跟踪目标的位置，从而预测出日标被 遮挡后在图片中的位置。若PAR小于阈值O,则 00 25020015010050 目标被遮挡，此时启动目标重定位机制，将卡尔 (c)高斯掩码示意图 (d)高斯掩码函数 曼滤波器预测的目标位置传给核相关滤波器，并 图1高斯掩码示意 回溯至之前未被污染的模型去更新模型；若 Fig.1 Illustration of the mask PAR大于阈值0，则使用ECO算法中目标的位置 2.3参数峰值均值比 修正卡尔曼滤波预测的目标位置。为了提高计算 本文在模型更新时使用参数峰值均值比 效率，将目标中心点的横纵坐标分两步更新。假 (peak to-average-ratio,.PAR)来判断当前目标是否 设是系统噪声，是观测噪声，皆服从高斯分布， 处于遮挡状态。ECO主要采用连续空间域中的 则根据式(16)、(17构造第i帧的横坐标4，状态预 卷积算子对训练样本进行隐式差值，通过对一组 测方程和系统的观测方程： 卷积滤波器来产生目标的连续域置信度图，该图 ui Aiui-1+ri+Bisi (16) 中的最高响应值即为目标位置。而当目标处于遮 Zi=pos,+Vi (17) 挡状态的时候，置信度图则会由一个很高峰值变 式中：为预测的第i帧目标中心点横坐标；s为
的信息更加重要，所以本文对高斯函数做了相应 的改进，使得函数由中心点随着目标框的形状呈 椭圆形向图像边缘发散，结合掩码函数，对图像 边缘不连续性的地方至 0，其余地方至改进过后 的高斯函数值。然后将此构造好的掩码矩阵左乘 循环移位样本，得以增加真实训练的样本比例， 得到的函数如图 1(d) 所示。定义如下： G(u,v) = e − u 2 (w 2 )2 + v 2 ( h 2 )2 2σ2 , |u| ⩽ W −w 2 ,|v| ⩽ H −h 2 0, 其他 (14) W 2 − w 2 ⩽ |u| ⩽ W 2 H 2 − h 2 ⩽ |v| ⩽ H 2 σ 式中：假设原始样本的长宽分别为 W 与 H，则 w 与 h 分别为目标框的长与宽，则只有在 与 时，会发生边缘不 连续性的情况，如图 1(b) 所示。参数 控制函数 径向作用范围，即控制样本权重衰减的速度。本 文将二维高斯函数分解成两个一维的高斯函数， 先从水平方向对图像进行卷积操作，将所得结果 再对竖直方向进行操作，提高了算法的效率。图 1(b) 和图 1(c) 对比看出，加了高斯掩码函数之后，边 界效应得到了有效的缓解。 250 200 150 100 50 0 300 250 200 150 100 50 0 (a) 原图 (b) 循环移位示意图 (c) 高斯掩码示意图 (d) 高斯掩码函数 图 1 高斯掩码示意 Fig. 1 Illustration of the mask 2.3 参数峰值均值比 本文在模型更新时使用参数峰值均值 比 (peak to-average-ratio，PAR) 来判断当前目标是否 处于遮挡状态。ECO 主要采用连续空间域中的 卷积算子对训练样本进行隐式差值，通过对一组 卷积滤波器来产生目标的连续域置信度图，该图 中的最高响应值即为目标位置。而当目标处于遮 挡状态的时候，置信度图则会由一个很高峰值变 θ θ 为多个不明显的峰值状态，为了解决目标此状态 下容易跟踪失败的问题，本算法引入再跟踪机 制。由 PAR 判断跟踪目标在当前帧中的状态，若 PAR 不小于阈值 ，说明目标处于正常跟踪状态； 而当 PAR 小于阈值 ，说明目标处于遮挡状态，开 始执行再跟踪机制。PAR 的定义为 PAR = max(f (i)) 1 q ∑i−1 n=i−q max(f (n)) (15) max(f(i)) θ 式中： 表示第 i 帧的最大响应值；PAR 即 为跟踪目标在 i 帧的最大响应值与前 q 帧的最大 响应值均值的比值,本文 q 的值为 20。通过大量 实验，阈值 取值为 0.55。 max(f(i)) 当跟踪目标处于正常跟踪状态时，PAR 的值 处于一种相对稳定的波动状态而当目标处于遮挡 状态时， 会突然变小，因而 PAR 的值也会 随之变小，见图 2。因此，PAR 可以判断目标目前 的跟踪状态。 3.0 750 1 500 PAR 帧数 1.5 0 图 2 视频序列 Girlmov 的 PAR 时刻值 Fig. 2 PAR time value of Girlmov 2.4 目标重定位 θ θ ri vi 卡尔曼滤波[21] 结合前序帧与当前帧可递推地 推测下一帧跟踪目标的位置，从而预测出目标被 遮挡后在图片中的位置。若 PAR 小于阈值 ，则 目标被遮挡，此时启动目标重定位机制，将卡尔 曼滤波器预测的目标位置传给核相关滤波器，并 回溯至之前未被污染的模型去更新模型； 若 PAR 大于阈值 ，则使用 ECO 算法中目标的位置 修正卡尔曼滤波预测的目标位置。为了提高计算 效率，将目标中心点的横纵坐标分两步更新。假 设 是系统噪声， 是观测噪声，皆服从高斯分布， 则根据式 (16)、(17) 构造第 i 帧的横坐标 ui 状态预 测方程和系统的观测方程： ui = Aiui−1 +ri + Bisi (16) zi = posi +vi (17) bu − i 式中： 为预测的第 i 帧目标中心点横坐标； si为 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·633·
·634· 智能系统学报 第16卷 第i帧的系统控制量；z为第1帧的观测向量。 =+K (-N) (21) A为状态转移矩阵，B为控制输入矩阵。 C=C-KNC (22) i立=A-1+Bs (18) 式(20)(22)是状态更新方程，其中K是卡尔 C=A:C-1A+ (19) 曼增益矩阵，C是卡尔曼增益矩阵的误差值，N是 式(18)和式(19)是状态预测方程和误差协方 修正后的状态转移矩阵，R为修正后的协方差矩 差预测方程。上述两个方程中C是根据前一帧中 阵。式(21)是修正过后的目标中心点的横坐标 的噪声协方差矩阵递推计算出的第i帧的预测的 值。目标中心点纵坐标的预测和更新与横坐标一 误差。Q为协方差矩阵。 致，如若启动重定位机制，则将卡尔曼滤波器预 CN 测的位置传回原滤波器，并停止模型更新。 K=NCN:+R. (20) 本文改进算法的具体流程如图3所示。 开始 创建并初始化卡 结束 尔曼滤波器 读取视频帧 读完视频帧 ULBP和FHOG N如果PAR 更新ECO模型 Y 卡尔曼滤波器 训练卡尔曼和 如果PAR>T N 使用第í帧的模型 预测位置 ECO模型 获得中心点位置 并且修正卡尔曼 高斯掩码 滤波器 图3算法整体流程图 Fig.3 Algorithm overall flow char 3实验结果及分析 rix、Basketball、Boat_ce2。除了与ECO HC进行 对比之外，本文还选取了DSSTIS1、KCF] 3.1实验环境及参数 SRDCE、STRCF四、LDES1和SAMF2进行比 本算法的测试平台为Matlab2018b,所有实验 较。本文分别从精确度、成功率、覆盖率和中心 均在Intel(R)Core(TM)）i5-825 OU CPU with NVIDIA 误差对算法进行分析。精确度DP=m/W(distance GeForce MX1502G,主频1.6GHz.8GB内存配置 precision,DP),成功率SR=Sn/W(success rate,SR), 的windows1064 bit PC系统上完成的。本文算法 中心误差CLE=V,-xo}+,-yoP(center loca-- 仍保留ECO HC算法的基本参数，并在所有测试 tion error,CLE) 视频上保持一致，高斯标签带宽σ的值为0.0625， score =area(R,nRa)/area(R,URa) 学习率为0.009，存储的最大训练样本的数量为30。 为跟踪目标覆盖率，R为跟踪得到的目标窗 3.2性能评估方法 口，R:为真实目标窗口，area是区域面积。Sn为成 为了验证本算法对抗遮挡问题的有效性，本 功的次数，当score>0.5时，Sn加1。(x,y)是第i帧 文选用了数据集Temple Color128中l6个不同程 滤波器得到的目标中心位置，(x00)是目标在第 度遮挡的视频进行测试，16个视频分别为Air- i帧的真实中心位置。N是视频帧总数。 port_ce、Busstation_cel、Coke、Face_ce2、Girlmov、 3.3抗遮挡实验结果 Motorbike_ce、Soccer、Suitcase_ce、Surf_ce3、 3.3.1本文算法与基线ECO HC算法比较 Tiger22、Busstation_cel、Jogging2、Kite_ce2、Mat- 首先将本算法与ECO HC算法在16组有不
第 i 帧的系统控制量； zi为第 i 帧的观测向量。 A 为状态转移矩阵，B 为控制输入矩阵。 uˆ − i = Ai · ui−1 + Bisi (18) C − i = AiCi−1Ai ′ +Qi (19) C − i 式 (18) 和式 (19) 是状态预测方程和误差协方 差预测方程。上述两个方程中 是根据前一帧中 的噪声协方差矩阵递推计算出的第 i 帧的预测的 误差。Q 为协方差矩阵。 Ki = CiNi ′ NiCiNi ′ + Ri (20) uˆi = uˆ − i + Ki(zi − Niuˆ − i−1 ) (21) Ci = C − i − KiNiC − i (22) 式 (20)~(22) 是状态更新方程，其中 K 是卡尔 曼增益矩阵，C 是卡尔曼增益矩阵的误差值，N 是 修正后的状态转移矩阵，R 为修正后的协方差矩 阵。式 (21) 是修正过后的目标中心点的横坐标 值。目标中心点纵坐标的预测和更新与横坐标一 致，如若启动重定位机制，则将卡尔曼滤波器预 测的位置传回原滤波器，并停止模型更新。 本文改进算法的具体流程如图 3 所示。 开始 创建并初始化卡 尔曼滤波器 结束 Y Y Y 读取视频帧 N N N 读完视频帧 ULBP 和 FHOG 如果 PAR>T 如果 PAR>T 更新 ECO 模型 卡尔曼滤波器 预测位置 训练卡尔曼和 ECO 模型 使用第 i 帧的模型 获得中心点位置 并且修正卡尔曼 滤波器 高斯掩码 图 3 算法整体流程图 Fig. 3 Algorithm overall flow char 3 实验结果及分析 3.1 实验环境及参数 σ 本算法的测试平台为 Matlab2018b，所有实验 均在 Intel(R) Core(TM) i5-8250U CPU with NVIDIA GeForce MX150 2G，主频 1.6 GHz，8 GB 内存配置 的 windows10 64bit PC 系统上完成的。本文算法 仍保留 ECO_HC 算法的基本参数，并在所有测试 视频上保持一致，高斯标签带宽 的值为 0.062 5， 学习率为 0.009，存储的最大训练样本的数量为 30。 3.2 性能评估方法 为了验证本算法对抗遮挡问题的有效性，本 文选用了数据集 Temple Color 128 中 16 个不同程 度遮挡的视频进行测试，16 个视频分别为 Airport_ce、Busstation_ce1、Coke、Face_ce2、Girlmov、 Motorbike_ce、Soccer、Suitcase_ce、Surf_ce3、 Tiger2、Busstation_ce1、Jogging2、Kite_ce2、MatDP = m/N SR = S n/N CLE = √ (xt − xt0) 2 +(yt −yt0) 2 rix、Basketball、Boat_ce2。除了与 ECO_HC[8] 进行 对比之外，本文还选取 了 DSST [ 5 ] 、 KCF [ 4 ] 、 SRDCF[6] 、STRCF[22] 、LDES[23] 和 SAMF[24] 进行比 较。本文分别从精确度、成功率、覆盖率和中心 误差对算法进行分析。精确度 (distance precision，DP)，成功率 (success rate，SR)， 中心误差 (center location error, CLE)。 score = area ( Rt ∩Rgt) /area ( Rt ∪Rgt) Rt Rgt area S n score > 0.5 S n (xi , yi) (xi0, yi0) N 为跟踪目标覆盖率， 为跟踪得到的目标窗 口， 为真实目标窗口， 是区域面积。 为成 功的次数，当 时， 加 1。 是第 i 帧 滤波器得到的目标中心位置， 是目标在第 i 帧的真实中心位置。 是视频帧总数。 3.3 抗遮挡实验结果 3.3.1 本文算法与基线 ECO_HC 算法比较 首先将本算法与 ECO_HC 算法在 16 组有不 ·634· 智 能 系 统 学 报 第 16 卷