第14卷第3期 智能系统学报 Vol.14 No.3 2019年5月 CAAI Transactions on Intelligent Systems May 2019 D0:10.11992/tis.201711037 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180426.1510.009html 采用相关滤波的水下海参目标跟踪 刘吉伟，魏鸿磊，裴起潮'，邢利然2 (1.大连工业大学机械工程与自动化学院，辽宁大连116034；2.华北理工大学机械学院，河北唐山063210) 摘要：针对在使用水下机器人采捕时需要实时跟踪定位海参耳标的问题，提出了一种基于核相关滤波器的海 参目标追踪算法。在初始帧中，根据已知的海参目标的外形特征，将海参整体分为九宫格块，通过边界块与中 心块的比较定位海参的两头部位置：使用KC℉算法在后续帧中追踪海参两个头部，通过两个模块之间的距离 变化来估计海参尺度并计算出目标海参的位置。实验结果表明：在追踪水下海参时，该追踪算法的精确度、运 行速度、成功率均高于其他实验算法。 关键词：视觉追踪；循环矩阵；离散傅里叶变换；核方法；岭回归；相关滤波器；海参采捕；尺度估计 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2019)03-0525-08 中文引用格式：刘吉伟，魏鸿磊，裴起潮，等.采用相关滤波的水下海参目标跟踪J.智能系统学报，2019,14(3)：525-532. 英文引用格式：LIU Jiwei,VEI Honglei,,PEI Qichao,et al.Underwater sea cucumber target tracking algorithm based on correla-. tion filteringlJ.CAAI transactions on intelligent systems,2019,14(3):525-532. Underwater sea cucumber target tracking algorithm based on correlation filtering LIU Jiwei,WEI Honglei',PEI Qichao',XING Liran2 (1.Institute of Mechanical Engineering and Automation,Dalian Polytechnic University,Dalian 116034,China;2.College of Mech- anical Engineering,North China University of Science and Technology,Tangshan 063210,China) Abstract:This study proposes a type of sea cucumber target tracking algorithm based on the kernel correlation filter (KCF)to find a solution for real-time tracking while capturing a sea cucumber using an underwater robot.In the initial frame,the image block that contains the target sea cucumber is divided into nine sub-blocks based on the characteristics of the sea cucumber,including its appearance and the positioning of its two heads by comparing the boundary blocks with the central block.Further,the KCF algorithm is used to track the two heads of the sea cucumber in the subsequent frames,estimate the scale,and calculate the location of the sea cucumber based on the distance variation between the two modules.The experimental results exhibit that the accuracy,running speed,and success rate of the tracking al- gorithm are higher than those of other experimental algorithms. Keywords:visual tracking;circulant matrices;discrete Fourier transform;kernel methods;ridge regression;correlation filters:capturing sea cucumbers;scale estimation 随着生活水平的提高，人们对海参等海珍品 量低，养殖企业迫切需要自动化的装备以替代人 的需求量越来越大。底播养殖是海参的主要养殖 工采捕山。目前水下机器人广泛应用于水下检 方式，即将海参苗播撒在海底进行养殖，待长成 测、识别等海洋活动中2，应用带有机器视觉的 后再进行捕捞。由于海参无法采用拖网捕捞，主 水下机器人进行海参采捕也是可行的方式，但由 要以人工下潜作业的方式采捕，劳动强度大、产 于水下光照、悬浮物、水对光线的吸收和散射等 等原因，水下图像通常对比度低，质量差，因此应 收稿日期：2017-11-29.网络出版日期：2018-04-26 基金项目：辽宁省自然科学基金项目(2015020027). 用机器视觉技术对海参目标进行识别和跟踪抓捕 通信作者：魏鸿磊.E-mail:wehl2005@163.com. 非常困难
DOI: 10.11992/tis.201711037 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180426.1510.009.html 采用相关滤波的水下海参目标跟踪 刘吉伟1 ，魏鸿磊1 ，裴起潮1 ，邢利然2 （1. 大连工业大学 机械工程与自动化学院，辽宁 大连 116034; 2. 华北理工大学 机械学院，河北 唐山 063210） 摘 要：针对在使用水下机器人采捕时需要实时跟踪定位海参目标的问题，提出了一种基于核相关滤波器的海 参目标追踪算法。在初始帧中，根据已知的海参目标的外形特征，将海参整体分为九宫格块，通过边界块与中 心块的比较定位海参的两头部位置；使用 KCF 算法在后续帧中追踪海参两个头部，通过两个模块之间的距离 变化来估计海参尺度并计算出目标海参的位置。实验结果表明：在追踪水下海参时，该追踪算法的精确度、运 行速度、成功率均高于其他实验算法。 关键词：视觉追踪；循环矩阵；离散傅里叶变换；核方法；岭回归；相关滤波器；海参采捕；尺度估计 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2019)03−0525−08 中文引用格式：刘吉伟, 魏鸿磊, 裴起潮, 等. 采用相关滤波的水下海参目标跟踪[J]. 智能系统学报, 2019, 14(3): 525–532. 英文引用格式：LIU Jiwei, WEI Honglei, PEI Qichao, et al. Underwater sea cucumber target tracking algorithm based on correlation filtering[J]. CAAI transactions on intelligent systems, 2019, 14(3): 525–532. Underwater sea cucumber target tracking algorithm based on correlation filtering LIU Jiwei1 ，WEI Honglei1 ，PEI Qichao1 ，XING Liran2 (1. Institute of Mechanical Engineering and Automation, Dalian Polytechnic University, Dalian 116034, China; 2. College of Mechanical Engineering, North China University of Science and Technology, Tangshan 063210, China) Abstract: This study proposes a type of sea cucumber target tracking algorithm based on the kernel correlation filter (KCF) to find a solution for real-time tracking while capturing a sea cucumber using an underwater robot. In the initial frame, the image block that contains the target sea cucumber is divided into nine sub-blocks based on the characteristics of the sea cucumber, including its appearance and the positioning of its two heads by comparing the boundary blocks with the central block. Further, the KCF algorithm is used to track the two heads of the sea cucumber in the subsequent frames, estimate the scale, and calculate the location of the sea cucumber based on the distance variation between the two modules . The experimental results exhibit that the accuracy, running speed, and success rate of the tracking algorithm are higher than those of other experimental algorithms. Keywords: visual tracking; circulant matrices; discrete Fourier transform; kernel methods; ridge regression; correlation filters; capturing sea cucumbers; scale estimation 随着生活水平的提高，人们对海参等海珍品 的需求量越来越大。底播养殖是海参的主要养殖 方式，即将海参苗播撒在海底进行养殖，待长成 后再进行捕捞。由于海参无法采用拖网捕捞，主 要以人工下潜作业的方式采捕，劳动强度大、产 量低，养殖企业迫切需要自动化的装备以替代人 工采捕[1]。目前水下机器人广泛应用于水下检 测、识别等海洋活动中[2-4] ，应用带有机器视觉的 水下机器人进行海参采捕也是可行的方式，但由 于水下光照、悬浮物、水对光线的吸收和散射等 等原因，水下图像通常对比度低，质量差，因此应 用机器视觉技术对海参目标进行识别和跟踪抓捕 非常困难。 收稿日期：2017−11−29. 网络出版日期：2018−04−26. 基金项目：辽宁省自然科学基金项目 (2015020027). 通信作者：魏鸿磊. E-mail：weihl2005@163.com. 第 14 卷第 3 期 智 能 系 统 学 报 Vol.14 No.3 2019 年 5 月 CAAI Transactions on Intelligent Systems May 2019
·526· 智能系统学报 第14卷 目前针对目标跟踪问题，已经提出了许多算 1KCF跟踪方法 法，主要分为生成式跟踪算法和判别式跟踪算法 两类。生成式跟踪算法通过搜索与目标外观模型 KCF算法(Kernel correlation filters)通过核化 最相似的区域以实现跟踪。判别式跟踪算法将目 岭回归分析方法解决目标追踪问题。在相关滤波 标跟踪看作二值分类问题，通过对目标进行机器 方法的基础上，利用基准样本的循环位移方法构 学习生成的分类器将视场中的目标和背景区分 造训练集训练分类器，而且在训练和检测时利用 开，分类器置信度最大的位置就是目标位置。考 快速傅里叶变换将耗时的矩阵运算转换到频域求 虑到水下特殊的光学环境，判别式跟踪算法不需 解，显著提高了跟踪精度和效率。 要生成准确的目标模型特征，因此更有优势。判 1.1 循环矩阵 别式算法中的相关滤波跟踪算法由于速度快、精 按图1所示方法，将1×n的基础向量x循环 度高，近年来成为目标跟踪领域的研究热点1。 移位可以得到n×n的循环矩阵C(x),即 David S.Bolme等首先将相关滤波方法应用到视 觉跟踪领域，提出平方输出误差总和最小(MOSSE) X1 X2 …Xn- 的相关滤波器的追踪方法。Henriques等m利用对 X=C(x)= Xn-1 Xn1.. Xn-2 单张目标图像循环移位的方法进行密集采样，并 用核岭回归分析方法训练滤波器，即CSK滤波 X2 X3 器，分类器的训练和检测都利用快速傅里叶变换 转换到频域实现，追踪速度很快。在CSK基础 上，Henriques等I提出了核相关滤波方法(KCF), 引入了梯度方向直方图(HOG)特征，有效提升了 算法性能。杨德东等9在KC℉的基础上，引入空 间正则化和在线SVM分类器重定位组件，以解 决KCF跟踪器在跟踪过程中目标因严重遮挡、相 图1循环矩阵 似目标干扰和移出视野等因素而造成的跟踪失败 Fig.1 Illustration of a circulant matrix 问题。Zhang等o提出了STC方法，利用了置信 循环矩阵可以通过傅里叶变换对角化： 图和快速傅里叶变换减少了图像中目标区域在图 C(x)=Fdiag(F (1) 像模糊时对目标识别与定位的影响，提高了目标 式中：：是基础向量的离散傅里叶变换；H表示矩 定位的准确度和追踪效率。张雷等通过对正则 阵的共轭；F是离散傅里叶变换矩阵(DFT),该矩 化最小二乘分类器学习获得位置和尺度核相关滤 阵的性质为 波器，并通过寻找位置和尺度核相关滤波器输出 =Fx 响应的最大值实现目标位置和尺度的检测。段伟 F =FH=F- 伟等提出一种分块核化相关滤波跟踪算法，根 (2) F=FT 据目标外观特性对目标进行子块划分，单独跟踪 每个目标子块，并根据子块的跟踪结果确定整体 1.2 训练样本的建立 的位置信息。邢运龙等提出了基于相位特征的 在视频第一帧图像中，在给出的目标位置选 高斯核相关算子增强算法对光照强度变化的适应 取大小为M×N的图像块x作为基准输入样本， 能力，并融合kalman滤波器提高系统在目标遮挡 利用式(3)计算得到的相同大小高斯响应图像作 时的准确性。 为基准输出样本y,如图2所示。 大多数的追踪方法，如MOSSE、CSK、KCF (i-w)2+G-h)2 yii exp (3) 等都仅限于检测目标的移动，在检测目标尺度变 263 化时，追踪目标的效果不好。虽然有少数的跟踪 算法可以检测目标尺度变化46，但是运行速度 较慢，不能实现实时追踪要求。本文为实现利用 水下机器人进行海参采捕的要求，在KCF算法的 基础上，提出一种能够适应大尺度变化的海参目 标跟踪算法，主要思想是通过跟踪两个头部位置 图2基础输出样本 计算出目标海参的中心位置，并进行尺度估计。实 Fig.2 Basic output sample 验表明本文提出的算法可以有效地提高跟踪的准 把(x,y)所有循环移位得到的图像块(x,y)作 确性和效率。 为训练样本，如图3所示
目前针对目标跟踪问题，已经提出了许多算 法，主要分为生成式跟踪算法和判别式跟踪算法 两类。生成式跟踪算法通过搜索与目标外观模型 最相似的区域以实现跟踪。判别式跟踪算法将目 标跟踪看作二值分类问题，通过对目标进行机器 学习生成的分类器将视场中的目标和背景区分 开，分类器置信度最大的位置就是目标位置。考 虑到水下特殊的光学环境，判别式跟踪算法不需 要生成准确的目标模型特征，因此更有优势。判 别式算法中的相关滤波跟踪算法由于速度快、精 度高，近年来成为目标跟踪领域的研究热点[5-19]。 David S.Bolme 等 [6]首先将相关滤波方法应用到视 觉跟踪领域，提出平方输出误差总和最小 (MOSSE) 的相关滤波器的追踪方法。Henriques 等 [7]利用对 单张目标图像循环移位的方法进行密集采样，并 用核岭回归分析方法训练滤波器，即 CSK 滤波 器，分类器的训练和检测都利用快速傅里叶变换 转换到频域实现，追踪速度很快。在 CSK 基础 上，Henriques 等 [8]提出了核相关滤波方法 (KCF)， 引入了梯度方向直方图 (HOG) 特征,有效提升了 算法性能。杨德东等[9]在 KCF 的基础上，引入空 间正则化和在线 SVM 分类器重定位组件，以解 决 KCF 跟踪器在跟踪过程中目标因严重遮挡、相 似目标干扰和移出视野等因素而造成的跟踪失败 问题。Zhang 等 [10]提出了 STC 方法，利用了置信 图和快速傅里叶变换减少了图像中目标区域在图 像模糊时对目标识别与定位的影响，提高了目标 定位的准确度和追踪效率。张雷等[11]通过对正则 化最小二乘分类器学习获得位置和尺度核相关滤 波器，并通过寻找位置和尺度核相关滤波器输出 响应的最大值实现目标位置和尺度的检测。段伟 伟等[12]提出一种分块核化相关滤波跟踪算法，根 据目标外观特性对目标进行子块划分，单独跟踪 每个目标子块，并根据子块的跟踪结果确定整体 的位置信息。邢运龙等[13]提出了基于相位特征的 高斯核相关算子增强算法对光照强度变化的适应 能力，并融合 kalman 滤波器提高系统在目标遮挡 时的准确性。 大多数的追踪方法，如 MOSSE、CSK、KCF 等都仅限于检测目标的移动，在检测目标尺度变 化时，追踪目标的效果不好。虽然有少数的跟踪 算法可以检测目标尺度变化[14-16] ，但是运行速度 较慢，不能实现实时追踪要求。本文为实现利用 水下机器人进行海参采捕的要求，在 KCF 算法的 基础上，提出一种能够适应大尺度变化的海参目 标跟踪算法，主要思想是通过跟踪两个头部位置 计算出目标海参的中心位置，并进行尺度估计。实 验表明本文提出的算法可以有效地提高跟踪的准 确性和效率。 1 KCF 跟踪方法 KCF 算法 (Kernel correlation filters) 通过核化 岭回归分析方法解决目标追踪问题。在相关滤波 方法的基础上，利用基准样本的循环位移方法构 造训练集训练分类器，而且在训练和检测时利用 快速傅里叶变换将耗时的矩阵运算转换到频域求 解，显著提高了跟踪精度和效率。 1.1 循环矩阵 1×n x n×n C(x) 按图 1 所示方法，将 的基础向量 循环 移位可以得到 的循环矩阵 ，即 X = C(x) = x1 x2 x3 ··· xn xn x1 x2 ··· xn−1 xn−1 xn x1 ··· xn−2 . . . . . . . . . . . . x2 x3 x4 ··· x1 C ( )= 图 1 循环矩阵 Fig. 1 Illustration of a circulant matrix 循环矩阵可以通过傅里叶变换对角化： C(x) = F H diag(xˆ)F (1) 式中： xˆ 是基础向量的离散傅里叶变换； H 表示矩 阵的共轭；F 是离散傅里叶变换矩阵 (DFT)，该矩 阵的性质为 xˆ = Fx F ∗ = F H = F −1 F = F T (2) 1.2 训练样本的建立 M ×N x y 在视频第一帧图像中，在给出的目标位置选 取大小为 的图像块 作为基准输入样本， 利用式 (3) 计算得到的相同大小高斯响应图像作 为基准输出样本 ，如图 2 所示。 yi j = exp ( − (i−w) 2 +(j−h) 2 2δ 2 p ) (3) 图 2 基础输出样本 Fig. 2 Basic output sample (x, y) (xi 把 所有循环移位得到的图像块 , yi) 作 为训练样本，如图 3 所示。 ·526· 智 能 系 统 学 报 第 14 卷
第3期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·527· 输入x 输出y 离线训练的关键是求解分类器fz)=wz,使 得在输入样本：基础上计算得到的f(x)与输出 样本y的均方差最小，即求解式(4)所示目标函数： min∑fx)-y2+awf (4) (a)基准样本输入及输出 式中1为控制过拟合的正则化系数。式(4)存在 输入x 输出 闭式解： w=X(XXT+Y (5) 式中X和Y分别是由输人样本：和输出样本 组成的循环矩阵。令 a=(K+-Y (6) (b)基准样本左移90像素输入及输出 式中K=Xx,则分类问题由求解w转变为求解 输入x 输出y 对偶解α，即 w=Xa= (7) i=l 利用核技巧，即采用映射函数x→(x),以及 用核函数代替内积u,)→0)p(m),可在不显式 (©)基准样本右移90像素输入及输出 给出映射函数()的情况下，将训练样本x映射 到高维特征空间x,从而将线性分类问题推广为 图3利用基础样本的循环移位方法示例 Fig.3 Examples depicting the cyclic shifts of a base sample 非线性分类问题。则式（⑥中K=中T(x)(x)=K(x,x》 即K转化为核矩阵，可以证明当k采用高斯核函 1.3跟踪算法 数时K是循环矩阵，即K=C((x,x)。应用循环矩 KCF算法的基本流程分为离线训练和在线检 阵的性质即式(1)和式(2)可将式(6)对角化得到 测两步。在训练时，以初始帧中给出的目标图像 为输入信息，对应的高斯响应为输出信息，利用 a=x,x)+ (8) 离散傅里叶变换转换到频域求解滤波器。在线跟 式中x和y分别是组成X和Y的基础向量。 踪检测时，用滤波器对包含目标的图像进行滤波 (x,x)为高斯核函数的傅里叶变换，按式（⑨）计算： 可得到高斯型的响应面。响应面最大的位置就是 1 目标位置。KCF算法的基本流程如图4所示。 Rx,)=expD产+rD2-2F'住o到(9) 输入x 输出)y 式中：⊙表示两向量间对应元素乘运算：符号*表 示复共轭。 利用核技巧，对新输入的图像块，分类器的 响应为 傅里叶变换 ro-o-wo- (10) 滤波器 ..离线训练 aw(C.'a 在线跟踪 应用循环矩阵的性质，即式(1)和式(2)，式 傅里叶反变换 (10)可进一步转换到频域计算： f=F-((x,z)'⊙d) (11) 傅里叶变换 在响应∫中定位极大值位置即为目标位置。 式(11)中，d利用式(8)进行计算，(x,z)按式 (9)计算。在实际跟踪过程中，仅在第一帧图像中 以式(8)计算滤波器à，后续帧按式(12)在线更新 滤波器模型： 图4KCF算法的基本流程 d+1=(1-B)d-1+Ba (12) Fig.4 Schematic representation of the KCF method 为适应目标的变化，对目标模型也需要在线更新：
(a) 基准样本输入及输出 (b) 基准样本左移 90 像素输入及输出 (c) 基准样本右移 90 像素输入及输出 输入 xi 输出 yi 输入 xi 输出 yi 输入 xi 输出 yi 图 3 利用基础样本的循环移位方法示例 Fig. 3 Examples depicting the cyclic shifts of a base sample 1.3 跟踪算法 KCF 算法的基本流程分为离线训练和在线检 测两步。在训练时，以初始帧中给出的目标图像 为输入信息，对应的高斯响应为输出信息，利用 离散傅里叶变换转换到频域求解滤波器。在线跟 踪检测时，用滤波器对包含目标的图像进行滤波 可得到高斯型的响应面。响应面最大的位置就是 目标位置。KCF 算法的基本流程如图 4 所示。 输出 y 傅里叶变换 傅里叶变换 傅里叶反变换 离线训练 在线跟踪 滤波器 输入 x 图 4 KCF 算法的基本流程 Fig. 4 Schematic representation of the KCF method f(z) = w T z xi f(xi) yi 离线训练的关键是求解分类器 ，使 得在输入样本 基础上计算得到的 与输出 样本 的均方差最小,即求解式 (4) 所示目标函数： min w ∑ i (f(xi)−yi) 2 +λ ∥w∥ 2 (4) 式中 λ 为控制过拟合的正则化系数。式 (4) 存在 闭式解： w = X T (XXT +λI) −1Y (5) 式中 X 和 Y 分别是由输入样本 xi 和输出样本 yi 组成的循环矩阵。令 α = (K +λI) −1Y (6) K = XXT w α 式中 ，则分类问题由求解 转变为求解 对偶解 ，即 w = X Tα = ∑n i=1 αixi (7) x → φ(x ′ ) κ(u, v) → φ(u)φ(v) φ(·) x x ′ Ki j=ϕ T (xi)ϕ(xj)=κ(xi , xj) κ K = C(κ(x, x)) 利用核技巧，即采用映射函数 ，以及 用核函数代替内积 ，可在不显式 给出映射函数 的情况下，将训练样本 映射 到高维特征空间 ，从而将线性分类问题推广为 非线性分类问题。则式 (6) 中 ， 即 K 转化为核矩阵，可以证明当 采用高斯核函 数时 K 是循环矩阵,即 。应用循环矩 阵的性质即式 (1) 和式 (2) 可将式 (6) 对角化得到 αˆ ∗ = yˆ κˆ(x, x)+λ (8) κˆ(x, x ′ ) 式中 x 和 y 分别是组成 X 和 Y 的基础向量。 为高斯核函数的傅里叶变换，按式 (9) 计算： κˆ (x, x ′ ) = exp( − 1 σ2 (∥x∥) 2 +(∥x ′ ∥) 2 −2F −1 (xˆ ⊙ xˆ ′ ∗) ) (9) 式中： ⊙ 表示两向量间对应元素乘运算；符号 ∗ 表 示复共轭。 利用核技巧，对新输入的图像块 z，分类器的 响应为 f(z) = ∑n i=1 αiϕ(xi) T ϕ(z) = ∑n i=1 αiϕ T (xi)ϕ(z) = ∑n i=1 αiκ(xi ,z) = (C(κ(x,z)))Tα (10) 应用循环矩阵的性质，即式 (1) 和式 (2)，式 (10) 可进一步转换到频域计算： f = F −1 (κˆ(x,z) ∗ ⊙αˆ) (11) αˆ κˆ(x,z) αˆ 在响应 f 中定位极大值位置即为目标位置。 式 (11) 中 ， 利用式 (8) 进行计算， 按式 (9) 计算。在实际跟踪过程中，仅在第一帧图像中 以式 (8) 计算滤波器 ，后续帧按式 (12) 在线更新 滤波器模型： αˆt+1 = (1−β)αˆt−1 +βαˆt (12) 为适应目标的变化，对目标模型也需要在线更新： 第 3 期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·527·
·528· 智能系统学报 第14卷 41=(1-)元-1+β (13) 则海参中心位置卫为 式中：B为学习速率；1为帧数。 p=%+ 2 (15) 2 改进算法 尺度因子S为 在海参抓取过程中机器人相对目标位置不断 a-p剑 变化，导致目标尺度发生较大变化，直接应用 s=pa-P (16) KCF算法跟踪精度将大幅下降，不能满足任务要 式中：上标“1”代表第1帧，上标1代表第1帧。 求。对KCF算法进行改进，分别对两个头部位置 如图7(a)所示，目标尺寸变化大时KCF算法 进行局部跟踪，并利用两个头部之间的距离变化 不能估计目标尺度，跟踪效果明显不好；如图7b) 估计目标尺度，同时计算出目标的准确位置。 所示，改进算法则可以准确跟踪目标海参的位置 2.1海参头部定位 并正确检测其尺度。 海参在摄像机中显示的姿态可能有如图5所 示的3种情况，不能简单地根据给定的目标中心 位置确定两头部位置。将目标外包框等分成3×3 共9个子图像，标记为x,其中i=1,2,3和j=1,2,3 分别表示图像块的行号和列号。由于海参各部分 的颜色基本相同，且不论海参处于何种姿态，中 心块x22都是海参的中部，因此可通过周围块与中 心块的灰度偏差确定头部位置。两个头部位置xA (a)KCF算法跟踪效果 和x的可能组合有以下种情况（见图5）： (xA,xB)∈{x11,x33),(x12,X32),(x13,X31),(x21,x23)} (a)姿态I (b)姿态Ⅱ (c)姿态Ⅲ (b)改进算法跟踪效果 图5海参目标选点原理图 Fig.5 The target selection principle of a sea cucumber 图7追踪效果的比较 按式(14)计算各图像块组合与中心块的像素 Fig.7 Comparison of the tracking results 偏差，取偏差最小的组合为跟踪目标。 2.3改进算法流程 Dy=uy+ (14) 改进算法流程分为头部定位模块、训练模 式中符号表示对应图像块像素灰度值之差的 块、检测模块3个模块，如算法1所示。在头部定 2-范数。 位模块中，首先将海参目标图像分块，然后计算 2.2尺度和位置估计方法 各块与中心块像素灰度值的距离（即2-范数），选 由初始帧确定海参头部位置后开始跟踪，将 取距离最小的两块作为目标；在训练模块中，分 第t帧中两图像块中心分别记为p和，如图6 别用KC℉方法计算两块的滤波器：在检测模块 所示。 中，分别用KCF方法计算两块的位置，然后计算 目标中心和尺度因子。 算法1改进算法 输入初始目标的定位模块x,2: 输出目标的中心位置p,目标的尺度因子s。 1)当t=1时，根据初始条件计算目标位置p以 和pg,并截取图像块x、2,通过式(3)计算得出 图6海参尺度和位置估计示意 Fig.6 Schematic representation of the scale and location 基准输出样本y、；通过式(9)求核函数的傅氏 estimation for a sea cucumber 变换(x,x)和(x2,x2),并求输出样本的傅氏变
xˆt+1 = (1−β) xˆt−1 +βxˆt (13) 式中： β 为学习速率；t 为帧数。 2 改进算法 在海参抓取过程中机器人相对目标位置不断 变化，导致目标尺度发生较大变化，直接应用 KCF 算法跟踪精度将大幅下降，不能满足任务要 求。对 KCF 算法进行改进，分别对两个头部位置 进行局部跟踪，并利用两个头部之间的距离变化 估计目标尺度，同时计算出目标的准确位置。 2.1 海参头部定位 3×3 xi j i = 1,2,3 x22 xA xB 海参在摄像机中显示的姿态可能有如图 5 所 示的 3 种情况，不能简单地根据给定的目标中心 位置确定两头部位置。将目标外包框等分成 共 9 个子图像，标记为 ，其中 和 j = 1,2,3 分别表示图像块的行号和列号。由于海参各部分 的颜色基本相同，且不论海参处于何种姿态，中 心块 都是海参的中部，因此可通过周围块与中 心块的灰度偏差确定头部位置。两个头部位置 和 的可能组合有以下种情况 (见图 5)： (xA, xB) ∈ {(x11, x33),(x12, x32),(x13, x31),(x21, x23)} (a) 姿态Ⅰ (b) 姿态Ⅱ (c) 姿态Ⅲ 图 5 海参目标选点原理图 Fig. 5 The target selection principle of a sea cucumber 按式 (14) 计算各图像块组合与中心块的像素 偏差，取偏差最小的组合为跟踪目标。 Di j = xi j − x22 + x4−i,4−j − x22 (14) 式中符号 ∥·∥ 表示对应图像块像素灰度值之差的 2-范数。 2.2 尺度和位置估计方法 t p t A p t B 由初始帧确定海参头部位置后开始跟踪，将 第 帧中两图像块中心分别记为 和 ，如图 6 所示。 图 6 海参尺度和位置估计示意 Fig. 6 Schematic representation of the scale and location estimation for a sea cucumber p 则海参中心位置 t 为 p t = p t A + p t B 2 (15) 尺度因子 S 为 S = p t A − p t B p 1 A − p 1 B (16) 式中：上标“1”代表第 1 帧，上标 t 代表第 t 帧。 如图 7(a) 所示，目标尺寸变化大时 KCF 算法 不能估计目标尺度，跟踪效果明显不好；如图 7(b) 所示，改进算法则可以准确跟踪目标海参的位置 并正确检测其尺度。 (a) KCF 算法跟踪效果 (b) 改进算法跟踪效果 图 7 追踪效果的比较 Fig. 7 Comparison of the tracking results 2.3 改进算法流程 改进算法流程分为头部定位模块、训练模 块、检测模块 3 个模块，如算法 1 所示。在头部定 位模块中，首先将海参目标图像分块，然后计算 各块与中心块像素灰度值的距离 (即 2-范数)，选 取距离最小的两块作为目标；在训练模块中，分 别用 KCF 方法计算两块的滤波器；在检测模块 中，分别用 KCF 方法计算两块的位置,然后计算 目标中心和尺度因子。 算法 1 改进算法 输入 初始目标的定位模块 x1，x2； p t 输出 目标的中心位置 ，目标的尺度因子 s。 t = 1 p 1 A p 1 B x1 x2 y1 y2 κˆ (x1, x1) κˆ (x2, x2) 1) 当 时，根据初始条件计算目标位置 和 ，并截取图像块 、 ，通过式 (3) 计算得出 基准输出样本 、 ；通过式 (9) 求核函数的傅氏 变换 和 ，并求输出样本的傅氏变 ·528· 智 能 系 统 学 报 第 14 卷
第3期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·529· 换，和2。通过式(8)分别求解滤波器d,和d2。 #28 2)当t>1时，在当前帧图像位置p和p哈 截取图像块和，并通过式(9)求核函数的傅 氏变换(，)和(，)：通过式(11)计算响应 (a)视频1跟踪结果 面和分，并求响应面最大值得到两跟踪目标位 置p和pa;通过式(14)求出目标的中心位置卫， 通过式(15)求出目标尺度因子：通过式(12)更 新滤波器+和，并通过(13)更新目标外观模 型和。 (b)视频2跟踪结果 3实试验结果分析 在处理器为Intel Core i5-3317UCPU,主频 1.70GHz,内存为4 GB RAM的笔记本上进行跟 踪实验，采用MATLABR2014a软件编程。使用本 (C)视频3跟踪结果 文算法和4种性能优秀的相关滤波算法KCF劉 CSKm、STCo、DSST进行对比追踪测试，每种算 法均使用作者提供的源代码和预设参数。实验所 用视频为在海参养殖水域拍摄的7个水下监控视 (d视频4跟踪结果 频具体参数如表1所示。 表1视频参数 Table 1 Video parameters 分类 视频帧数 图像尺寸 (e)视频5跟踪结果 视频1 36 640×360 视频2 82 150 640×360 视频3 498 640×360 视频4 216 640×360 ()视频6跟踪结果 视频5 138 640×360 34 视频6 194 640×360 视频7 108 856×480 3.1定性分析 (g)视频7跟踪结果 5种对比算法中只有本文算法和DSST算法 OURS --DSST KCF --CSK --STC 具有尺度估计环节，另外3种算法KCF、CSK和 图85种算法的定性比较 STC均采用固定尺度跟踪。图8中7组视频的共 Fig.8 Qualitative evaluation of the five algorithms 同特点是：目标尺度变化大，且由于水下特殊的 3.2定量分析 成像环境导致图像质量较差。从跟踪结果可以看 为了评测本文跟踪算法的性能，采用了本领 出：KCF、CSK和STC3种算法追踪效果较差，而 域广泛应用的每秒运行帧数、距离精度和成功率 本文算法和DSST算法跟踪效果较好，可见对于 3种评测指标。 尺度变化大的应用来说，尺度估计环节非常重 1)跟踪速度 要。图8中视频1~7代表7组视频系列实验比较 通过每秒跟踪帧数可以对比跟踪算法的运行 结果。 速度。表2给出了5种算法的运算速度，其中下
换 yˆ1 和 yˆ2。通过式 (8) 分别求解滤波器 αˆ 1 和 αˆ 2。 t > 1 p t−1 A p t−2 B zˆ t 1 zˆ t 2 κˆ ( x t 1 ,z t 1 ) κˆ ( x t 2 ,z t 2 ) f t 1 f t 2 p t A p t B p t s t αˆ t+1 1 αˆ t+1 2 xˆ t+1 1 xˆ t+1 2 2) 当 时，在当前帧图像位置 和 截取图像块 和 ，并通过式 (9) 求核函数的傅 氏变换 和 ；通过式 (11) 计算响应 面 和 ，并求响应面最大值得到两跟踪目标位 置 和 ；通过式 (14) 求出目标的中心位置 ， 通过式 (15) 求出目标尺度因子 ；通过式 (12) 更 新滤波器 和 ，并通过 (13) 更新目标外观模 型 和 。 3 实试验结果分析 在处理器为 Intel Core i5-3317U CPU，主频 1.70 GHz，内存为 4 GB RAM 的笔记本上进行跟 踪实验，采用 MATLABR2014a 软件编程。使用本 文算法和 4 种性能优秀的相关滤波算法 KCF[8] 、 CSK[7] 、STC[10] 、DSST[9]进行对比追踪测试，每种算 法均使用作者提供的源代码和预设参数。实验所 用视频为在海参养殖水域拍摄的 7 个水下监控视 频具体参数如表 1 所示。 表 1 视频参数 Table 1 Video parameters 分类 视频帧数 图像尺寸 视频 1 36 640×360 视频 2 150 640×360 视频 3 498 640×360 视频 4 216 640×360 视频 5 138 640×360 视频 6 194 640×360 视频 7 108 856×480 3.1 定性分析 5 种对比算法中只有本文算法和 DSST 算法 具有尺度估计环节，另外 3 种算法 KCF、CSK 和 STC 均采用固定尺度跟踪。图 8 中 7 组视频的共 同特点是：目标尺度变化大，且由于水下特殊的 成像环境导致图像质量较差。从跟踪结果可以看 出：KCF、CSK 和 STC 3 种算法追踪效果较差，而 本文算法和 DSST 算法跟踪效果较好，可见对于 尺度变化大的应用来说，尺度估计环节非常重 要。图 8 中视频 1~7 代表 7 组视频系列实验比较 结果。 (a) 视频 1 跟踪结果 (b) 视频 2 跟踪结果 (c) 视频 3 跟踪结果 (d) 视频 4 跟踪结果 (e) 视频 5 跟踪结果 (f) 视频 6 跟踪结果 (g) 视频 7 跟踪结果 OURS DSST KCF CSK STC 图 8 5 种算法的定性比较 Fig. 8 Qualitative evaluation of the five algorithms 3.2 定量分析 为了评测本文跟踪算法的性能，采用了本领 域广泛应用的每秒运行帧数、距离精度和成功率 3 种评测指标[5]。 1) 跟踪速度 通过每秒跟踪帧数可以对比跟踪算法的运行 速度。表 2 给出了 5 种算法的运算速度，其中下 第 3 期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·529·