第7卷第1期 智能系统学报 Vol.7 No.1 2012年2月 CAAI Transactions on Intelligent Systems Feh.2012 D0I:10.3969/j.i8sn.1673-4785.201107006 动态成像条件下基于SURF和Mean shift的 运动目标高精度检测 胡光龙，秦世引 (北京航空航天大学自动化科学与电气工程学院，北京100191) 摘要：针对动态成像条件下运动目标检测的难点问题，提出了一种将SURF特征和M©an shift图像分割相结合的高 精度运动目标检测方法.首先利用SU℉特征进行图像配准，以补偿背景图像的运动漂移：然后利用差分求积二值化 和形态学滤波方法检测出运动目标区域：最后结合Mean shift图像分割方法实现运动目标的精确检测.通过一系列 实拍视频的运动目标检测实验验证了此算法的有效性和可行性.实验结果表明，此方法能精确检测出动态成像条件 下所形成的动态背景中的运动目标，而且具有良好的鲁棒性和抗噪能力，对于光照条件和亮度变化等不利因素也有 较强的适应能力。 关键词：SURF;图像配准；Mean shift;图像分割；动态背景；目标检测 中图分类号：TP391.41文献标志码：A文章编号：16734785(2012)01006108 High precision detection of a mobile object under dynamic imaging based on SURF and Mean shift HU Guanglong,QIN Shiyin (School of Automation Science and Electrical Engineering,Beihang University,Beijing 100191,China) Abstract:Taking into account the difficulty of moving-object detection with a dynamic background caused by cam- era motion,a new method was proposed based on speeded-up robust features (SURF)and Mean shift.First,the image registration based on SURF was applied to compensate the background motion,and then binarization of quad- rature by difference method and morphological filters was carried out to detect the moving-object's area so that the accurate detection and segmentation of the moving object was accomplished with Mean shift.Finally,the effective- ness and satisfactory performance were validated through a series of experiments of dynamic videos.The results in- dicate that the proposed algorithm is characterized by high precision,low false detection,and strong robustness to noises,and thus can be extended to application in practical engineering. Keywords:speeded-up robust features(SURF);image registration;Mean shift;image segmentation;dynamic background;object detection 运动目标检测是计算机视觉领域的研究热点之 列，进行目标检测较为容易，且计算简单，常用的方 一，在目标跟踪、视频监控、生物医学、机器人技术等 法有：帧间差分法、背景差分法、光流法「6]等.在动 领域都有着广泛的应用14.根据摄像机是否运动， 态背景目标检测中，由于摄像机处于运动状态，导致 运动目标检测方法可分为2类：静态背景目标检测 图像中的背景和目标同时运动，使目标检测变得非 和动态背景目标检测5].在静态背景目标检测中， 常复杂，是运动目标检测中的难点问题. 摄像机处于静止状态，产生的是背景静止的图像序 动态背景下的运动目标检测方法主要有3类： 背景配准法、光流法和相机几何模型法].背景配 收稿日期：201107-13. 准法是在没有相机内外参数的情况下，利用图像配 基金项目：国家自然科学基金资助项目(60875072)；北京市自然科学 准，结合背景差分法，检测出运动目标.光流法中，由 基金资助项目(4112035)：中澳国际合作项目 (2007DFA11530). 于背景和目标运动速度不同，导致光流存在较大差 通信作者：胡光龙.E-mail:hglg007@163.com. 异，并据此检测出运动物体；但光流法计算量大，且
62+ 智能系统学报 第7卷 有孔径问题.相机几何模型法利用相机的内外参数 只存在平移和旋转变化时，能够取得较好的效果，但 计算出像素位置的变化，实现相机运动的补偿，但在 无法适应缩放变化.文献[15]中提出的基于SFT 实际应用中很难实时得到相机内外参数， 特征和差分求积二值化的运动目标检测方法，利用 图像配准方法有模板匹配、基于特征的方法和 SFT特征准确补偿背景运动；但形态学处理后容易 基于傅里叶变换的方法3类[8].特征匹配法具有计 导致目标被割裂，造成多检情况的发生， 算简单、精度高的特点，但现有的角点匹配方法受匹 文献[16]结合光流估计和背景配准方法来实 配误差和环境变化的影响较大.2006年，H.Bay在 现航拍图像下汽车和行人的检测和跟踪，取得了较 分析、总结多种特征检测方法的基础上，提出了 好的效果；但速度较慢，且对小目标的检测效果较 SURF(speeded-up robust features)描述算子[9]，其对 差.文献[17]提出了结合光流场的模图像和Mean 图像平移、旋转、缩放等变化具有良好的不变 sh近图像分割的方法来精确检测运动目标，取得了 性o.文献[12]利用SURF特征进行了图像配准 较好的结果；然而光流场计算量大，且该方法无法检 和拼接方面的研究，取得了良好的效果。 测出大位移运动目标.但其提出的结合Mean shi进 针对动态视频中进行运动目标检测的难点问 图像分割来检测运动目标的方法，可有效减少误检、 题，鉴于Mean shift算法在图像分割中的优势Is],本 多检情况的发生。 文提出了一种基于SURF和Mean shift的运动目标 因此，结合图像分割和边缘检测等方法来实现 检测方法：首先利用SURF特征进行图像配准以补 运动目标的精确检测，是动态成像条件下运动目标 偿背景运动，然后利用差分求积二值化和形态学滤 检测的发展趋势 波检测出运动目标区域，最后结合Mean shift图像 分割的方法，精确检测出运动目标.实验结果表明， 2运动目标高精度检测策略与算法 该方法能精确检测出运动目标，有效减少误检、多检 2.1算法原理与实现策略 情况的发生，具有良好的鲁棒性和抗噪能力， 本文提出的算法原理如图1所示，其处理流程 为：对输入视频进行采集得到相邻4帧的彩色图像 相关研究工作与发展趋势 lc、lc2、lca、Ic4,对其进行灰度化处理得到相应的灰 目前，针对动态背景下的运动目标检测，大多数 度图像Ic1、Ic2、Ic3、I4;然后通过提取SURF特征进 研究者倾向于使用背景配准法和光流法，以获得高精 行视频帧配准，可以得到Is配准到Ic的图像Ic3!和 度的检测结果，并尽可能减少误检、多检情况的发生 Ic4配准到Ic2的图像Ic42;进而利用差分求积二值化 利用背景配准法来检测运动目标的重点在于准 和形态学滤波实现运动目标区域的有效检测；最后 确补偿背景运动.文献[14]中提出的基于相位相关 结合Mean shift图像分割和边缘提取以精确检测出 和差分求积二值化的运动目标检测方法，在摄像机 运动目标 基于 SURE 基于 图像 差分求积二 的 的 配准 值化 输入 运动 输出目标 视 视频采集 度化处理 运 域生 日标 检测 检测结果 基于 SURF 基 特征 配准 提取 图 的差 形态学滤波后处 频顿 配淮 Mean shift 边缘检演 图像分割 图1动态成像条件下基于SURF和Mean shift的运动目标检测原理 Fig.1 Principle of moving object detection under dynamic imaging conditions based on SURF and Mean shift
第1期 胡光龙，等：动态成像条件下基于SURF和Mean shift的运动目标高精度检测 63 2.2基于SURF特征提取的视频帧配准 都大的点才被选为兴趣点，然后利用三维2次函数 基于SURF特征提取的视频帧配准需经过以下 拟合方法1对兴趣点精确定位，至此可以得到兴趣 3个步骤：首先，在图像的尺度空间中，提取SURF 点的位置和尺度信息(x,y,s). 兴趣点，生成特征描述符；其次，在一定的尺度空间 范围内，匹配来自不同图像的SURF兴趣点；最后， 结合RANSAC算法和最小二乘法来估计出待配准 4 5994网 图像和参考图像间的变换参数。 3 2.2.1兴趣点检测 盗 2715网 2 SURF兴趣点的检测是基于尺度空间理论，采 152395 用近似的Hessian矩阵来检测兴趣点.对于图像I中 9152127 某点X,X=(x,y),该点在尺度o上的Hessian矩 2 4 阵H定义为 尺度 H- rL(X,o）Lw(X,o)1 图34阶尺度空间框状滤波器的尺寸 Fig.3 Box filters size for four different octaves in scale LL(X,o）Ln(X,o)J space 式中：L.(X,0)是高斯滤波二阶号(o)与图像1 2.2.2兴趣点描述和匹配 为保证旋转不变性，SURF兴趣点描述分2步 卷积的结果，其中g(o）=26r: 1 来实现： 1)以每一个兴趣点为圆心，计算半径为6s(s为 L(X,o)与Ln(X,o)的含义类似. H.Bay等提出用框状滤波器来近似代替高斯滤 其尺度值)的邻域内的点在x、y方向的Haa小波 波二阶导（图2为9×9框状滤波器模板，图中灰色 (Haar小波边长取4s)响应，并给这些响应值赋予高 部分模板值为0)，然后用积分图像来加速卷积，以 斯权重系数.再将60°范围内的响应相加形成新的 提高计算速度.将框状滤波器与图像卷积的结果 矢量，然后遍历整个圆形区域，选择模长最长的矢量 的方向为该兴趣点的主方向. Da、Dy、Dy分别代替La、Ly、Ln得到近似Hessian 矩阵Hpm,其行列式为 2)以兴趣点为中心，将坐标轴旋转到主方向， 按照主方向选取边长为20s的正方形区域，并将该 det(Hpm）=DDn-(oD）2. 区域分成4×4的子区域.在每一个子区域内，按照 5×5的大小进行采样，分别计算相对于主方向的水 平和垂直方向上的Haar小波响应，记为d.和d,同 样赋予权重系数.然后对每个子区域的响应以及响 应的绝对值求和，在每个子区域可以得到一个4维 向量V=（∑d,∑Id.l,∑d,∑Id,I)T,这样16个 ax方向 (b)y方向 (cx-y方向 子区域可形成一个64维的描述向量. 图29×9框状滤波器模板 在获得参考图像和待配准图像的兴趣点及其描 Fig.2 Box filters with 9 x9 述向量后，采用最近距离比次近距离的方法进行兴 尺度空间是按阶分层形成的，SURF采用增大 趣点匹配.设N,、N2分别为图像I1、I2用SURF方法 方框滤波器的尺寸来达到尺度空间分层的效果，尺 提取的兴趣点集合，对N,中的任一兴趣点：，W2 度空间的建立是从9×9的滤波器开始，每一阶分4 中与：的欧氏距离最近和次近的2个兴趣点分别 层.图3为建立4阶的尺度空间，图中方框内的数字 为n、n,对应距离分别为d,d,如果d≤入×d, 表示框状滤波器模板的尺寸，对数横坐标表示相应 则n:与n2为匹配点对，遍历L1中的兴趣点，找出所 的尺度，如滤波器模板尺寸为N×N,则对应的尺度 有潜在的匹配点对.这是可利用Hessian矩阵迹的 为s=1.2×N/9. 正负性来加速匹配，提高匹配效率 对于某一像素点，用近似的Hessian矩阵求出 2.2.3透视变换模型参数估计 极值后，其上一尺度、下一尺度及本尺度可构造一个 获得2帧图像间的匹配点对后，就可以计算图像 3×3×3的立体邻域.在三维尺度空间(x,y,s)中， 间的变换关系.对于存在旋转、缩放、平移变化的运动 进行非最大值抑制，只有比临近的26个点的响应值 模型，可用透视变换模型近似透视变换矩阵M为
·64 智能系统学报 第7卷 「m m2 则轮廓的运动目标图像，在该图像中仍可能残留一 M= ms m6 些孤立的噪声点，利用形态学滤波处理技术对差分 图像进行后处理，通过形态学开、闭运算弥补断裂的 设p=(x1,y)和q=(名2y2)是匹配的兴趣点对，则有 轮廓线和填补空洞，并滤除残留的噪声点，以检测出 2 运动目标区域。 m m3 2.4基于Mean shift的图像分割与精确检测 ms ms Y2 由于差分运算会把运动目标区域扩大，经过上 1 mo- 述差分求积二值化检测得到的包含运动目标区域的 由于最近距离比次近距离匹配方法得到的匹配 图像，很容易出现将背景当做运动目标区域的误检 点对中，还可能有误匹配，因此本文结合RANSAC 情况.此外形态学开运算容易将连接纤细的运动目 算法和最小二乘法计算得到图像间的透视变换关 系[ 标区域割裂开来，造成多检情况的发生.为此，采用 结合Mean shift图像分割方法来精确提取运动目标 2.2.4视频帧配准 轮廓。 在完成透视变换模型参数的求解之后，就要利 基于Mean shi近的图像分割与图像平滑非常类 用得到的透视变换矩阵M把待配准视频帧中的每 似，只需要把收敛到同一点的起始点归为一类，然后 一点映射到参考图像的坐标系中，对待配准的视频 帧进行插值重采样，就可以得到同一坐标系下的配 把这一类的标号赋给这些起始点.在图像分割中有 时还需要把包含像素点太少的区域去掉.该分割方 准结果.常用的插值方法有最近邻法、双线性法、双 法能有效得到图像中物体的轮廓[0 三次卷积法等，本文采用双线性插值的方法 2.5运动目标检测实现算法 2.3差分求积二值化与形态学滤波 综合上述内容，给出SURF特征与Mean shift图 2.3.1差分求积二值化运动目标区域检测 确定了相邻帧之间的透视变换关系后，将后一 像分割相结合的运动目标检测实现算法， 帧按此变换关系与前一帧图像配准，再进行差分运 算法：动态成像条件下基于SURF和Mean shi近 算，以减掉背景图像.理论上对于差分图像来说，只 的运动目标检测， 有运动重叠部分对应的像素值非零，但由于噪声的 输人：连续4帧视频图像Ic1、Ig la、Ic4 影响，差分图像中存在很多虚假的运动目标.为解决 输出：运动目标检测结果R. 这一问题，考虑差分图像之间必然存在运动重叠区 1)基于SURF特征的视频帧配准.先将连续4 域，采用多帧差分求积二值化的方法使差分图像中 帧的原始视频图像Ic1、I2、Lca、I4转化成灰度图像 运动边缘的相关峰更加尖锐，这样就能有效排除噪 Iclc2、lale4 声，正确检测出运动目标区域.因此，采用相邻4帧 a)对连续4帧图像Ic1、Ia、Ica、I4分别进行 差分求积二值化的方法，算式如式(1)： SURF兴趣点检测和描述； F'(x,y）=lf(x,y）-f3(x,y）I× b)将Ic和I3、Ic2和Ic4中的兴趣点分别进行匹 1f(x,y)-f4(x,y)1. (1) 配，得到匹配的兴趣点对； 式中：f(x,y)为第1帧图像f2(x,y)为第2帧图像， c)根据Ic1和Ia、I2和Ic4之间匹配的兴趣点 (x,y)为第3帧配准到第1帧得到的图像f(x,y) 对，进行透视变换模型参数的最小二乘估计； 为第4帧配准到第2帧得到的图像，F(x,y)为差分 d)利用双线性插值方法，将Is配准到Ic图像 求积图像.如果图像中没有运动物体，则2幅图像灰 坐标系下、I4配准到I2图像坐标系下，配准结果分 度差为零，只有运动重叠区域会在差分图像中产生 别为Ica1、Ic2 高的相关峰，按阈值α分割得到二值图像F(x,y), 2)差分求积二值化分割与形态学滤波处理 检测出运动目标 a)将配准后的图像Ica1、I42分别与原始图像 F(x,y）=l,F'(,J)≥a; Ic1、Ic2做差分运算，得到差分后的图像Ics、I6; L0,F'(x,y)a. b)将Is、Is相乘，并按阈值a分割得到二值图 与其他方法相比，该方法具有计算简单、精度高 像Ica; 和抗噪性强的优势， c)对Ic进行形态学滤波处理，结果为Ics: 2.3.2形态学滤波后处理 3)基于Mean shift的图像分割与边缘检测.分 经过差分求积二值化处理后，得到了包含不规 别用x:和：（i=1,2,…,n)表示1I4和Ic4分割后图
第1期 胡光龙，等：动态成像条件下基于SURF和Mean shift的运动目标高精度检测 ·65 像中的像素点.对每一像素点： 实验步骤如下： a)初始化j=1,并且使y,1=x; 1)基于SURF特征的视频帧配准，如图5所示. b)运用Mean shi讥算法计算yw+i直到收敛，记 收敛后的值为y,c: ©)将收敛到同一点的起始点归为一类，把这一 类的标号赋给这些起始点，把包含像素点太少的区 域去掉，将每个类之间的边界点赋值0，其余点赋值 (a)第159与157懒配准b)第160与158帧配准 1,就得到分割结果Ic9; d)对I进行边缘检测，结果为Ic1o 图5基于SURF特征的视频帧配准 Fig.5 Registration of video frames based on SURF 4)基于SURF和Mean shift的运动目标检测. 2)差分求积二值化分割与形态学滤波处理.分 a)将Ic和Ico做相与运算，得到具有重叠区域 的轮廓图像Ic1; 别将第157帧与配准后的第159帧图像I159.、第158 b)以Ic中的非零像素点为种子点，在Ico中进 帧与配准后的第160帧图像I16.做差分运算，差分 行区域生长，精确得到运动目标轮廓1c2· 结果如图6所示.然后并将差分图像相乘，按阈值α 5)输出运动目标检测结果R.根据Ic2中非零像 (本文所设阈值α=64)来分割得到二值图像1，形 素点的坐标，在Ic4中检测得到运动目标轮廓，输出 态学滤波处理结果为【1，并据此在第160帧原始图 运动目标检测结果R 像中检测得到运动目标轮廓，如图7所示， 该算法在运行过程中，差分求积二值化中的阈 值α影响着分割后的结果，过小容易将背景噪声扩 大，过大容易将运动目标区域减小 3实验结果与分析 a)第I57与159r帧差分 (b)第158与160r帧差分 根据前文所述的基于SURF和Mean shift的运 图6差分结果图像 动目标高精度检测算法，在Visual Studio2008的环 Fig.6 Images of differential results 境下和OpenCV2.1的基础上，编写应用程序.为验 证该算法的有效性，进行了面向航拍序列图像和手 持摄像机序列图像的运动目标检测2组实验. 3.1面向航拍序列图像的运动目标检测实验 实验选取的航拍视频来自卡耐基梅隆大学的标 ()差分求积二值化图像1。(b)形念学滤波处理结果！ 准视频库，该视频共438帧，分辨率为320×240像 素大小，帧频为23帧/8.图4为视频中的第157~ 160帧原始图像 (a)第157锁 )第158制 (c)第160惊始图像中检测得到运动日标轮廓 图7基于SURF的运动目标区域检测结果I (c)第159帧 (d)第160帧 Fig.7 Area detection result of moving object based 图4原始航拍图像 on SURF Fig.4 Original aerial images 3)基于Mean shift的图像分割与边缘检测，结 果为2，如图8所示