第13卷第6期 智能系统学报 Vol.13 No.6 2018年12月 CAAI Transactions on Intelligent Systems Dec.2018 D0:10.11992/tis.201706070 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180410.1519.022.html 联合加权重构轨迹与直方图熵的异常行为检测 徐志通2，骆炎民2，柳培忠3 (1.华侨大学计算机科学与技术学院，福建厦门361021；2.华侨大学厦门市计算机视觉与模式识别重点实验 室，福建厦门361021；3.华侨大学工学院，福建泉州362021) 摘要：为解决多目标打斗、抢劫等异常行为检测精度不高的问题，提出一种联合加权重构轨迹与直方图嫡的 异常行为检测算法。首先，采用背景相减法结合宽高比提取行人目标；然后将卡尔曼滤波器及HOG特征融入 时空上下文算法中，实现短时间内被完全遮挡行人的鲁棒跟踪：最后对跟踪轨迹进行训练，构造正常行为字典 并稀疏重构待检测轨迹，通过联合加权最小重构残差和直方图熵，实现对异常行为的有效检测。通过对比实 验，表明该算法对于打斗和抢劫等异常行为具有较好的检测效果，在静态背景且无遮挡的情况下，检测率可达 92%以上。 关键词：异常行为检测：联合加权：重构轨迹：直方图嫡：卡尔曼滤波器；HOG特征；时空上下文：行为字典 中图分类号：TP39141文献标志码：A文章编号：1673-4785(2018)06-1015-12 中文引用格式：徐志通，骆炎民，柳培忠.联合加权重构轨迹与直方图熵的异常行为检测.智能系统学报，2018,13(6)： 1015-1026. 英文引用格式：XUZhitong,LUO Yanmin,LIU Peizhong.Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy CAAI transactions on intelligent systems,2018,13(6):1015-1026. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy XU Zhitong2,LUO Yanmin,LIU Peizhong (1.College of Computer Science and Technology,Huaqiao University,Xiamen 361021,China;2.Xiamen Key Laboratory of Com- puter Vision and Pattern Recognition,Huaqiao University,Xiamen 361021,China,3.College of Engineering,Huaqiao University, Quanzhou 362021,China) Abstract:To solve the problem of low precision in detecting multi-target abnormal behaviors such as fighting and rob- bery,in this paper,a novel human abnormal behavior detection algorithm is proposed based on a combination of the weighted reconstruction trajectory and histogram entropy.First,the background subtraction method is combined with aspect ratio to extract pedestrian targets,and then Kalman filters and histogram of oriented gradient(HOG)features are integrated into a spatio-temporal context algorithm to realize a robust tracking of completely occluded pedestrians in a short time,and finally the tracked trajectories are trained;a normal behavior directory is constructed for the motion tra- jectories defined as normal,and the trajectories to be tested are sparsely reconstructed.An effective detection of abnor- mal behavior is realized by combining the weighted minimum reconstruction residuals and amplitude direction histo- gram entropy.A comparative experiment shows that the algorithm can effectively detect abnormal behaviors such as fighting and robbery,and the detection rate can exceed 92%under static background without occlusions. Keywords:abnormal behavior detection;jointly weighted;reconstruction trajectory;histogram entropy;Kalman filters; HOG features;spatio-temporal context;behavior directory 收稿日期：2017-06-22.网络出版日期：2018-04-10. 基金项目：国家自然科学基金项目(61605048)：福建省自然科 近年来，社会存在诸多潜在的安全问题，一旦 学基金项目(14BS215):泉州市科技计划项目 (2015Z120). 发生必会引起严重的社会后果。而在安全问题发 通信作者：骆炎民.E-mail:lym@hqu.edu.cn.. 生之前，运动目标在行为上会表现出不同程度的
DOI: 10.11992/tis.201706070 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180410.1519.022.html 联合加权重构轨迹与直方图熵的异常行为检测 徐志通1,2，骆炎民1,2，柳培忠3 （1. 华侨大学 计算机科学与技术学院，福建 厦门 361021; 2. 华侨大学 厦门市计算机视觉与模式识别重点实验 室，福建 厦门 361021; 3. 华侨大学 工学院，福建 泉州 362021） 摘 要：为解决多目标打斗、抢劫等异常行为检测精度不高的问题，提出一种联合加权重构轨迹与直方图熵的 异常行为检测算法。首先，采用背景相减法结合宽高比提取行人目标；然后将卡尔曼滤波器及 HOG 特征融入 时空上下文算法中，实现短时间内被完全遮挡行人的鲁棒跟踪；最后对跟踪轨迹进行训练，构造正常行为字典 并稀疏重构待检测轨迹，通过联合加权最小重构残差和直方图熵，实现对异常行为的有效检测。通过对比实 验，表明该算法对于打斗和抢劫等异常行为具有较好的检测效果，在静态背景且无遮挡的情况下，检测率可达 92% 以上。 关键词：异常行为检测；联合加权；重构轨迹；直方图熵；卡尔曼滤波器；HOG 特征；时空上下文；行为字典 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2018)06−1015−12 中文引用格式：徐志通, 骆炎民, 柳培忠. 联合加权重构轨迹与直方图熵的异常行为检测[J]. 智能系统学报, 2018, 13(6): 1015–1026. 英文引用格式：XU Zhitong, LUO Yanmin, LIU Peizhong. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy[J]. CAAI transactions on intelligent systems, 2018, 13(6): 1015–1026. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy XU Zhitong1,2 ，LUO Yanmin1,2 ，LIU Peizhong3 (1. College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China; 2. Xiamen Key Laboratory of Computer Vision and Pattern Recognition, Huaqiao University, Xiamen 361021, China; 3. College of Engineering, Huaqiao University, Quanzhou 362021, China) Abstract: To solve the problem of low precision in detecting multi-target abnormal behaviors such as fighting and robbery, in this paper, a novel human abnormal behavior detection algorithm is proposed based on a combination of the weighted reconstruction trajectory and histogram entropy. First, the background subtraction method is combined with aspect ratio to extract pedestrian targets, and then Kalman filters and histogram of oriented gradient (HOG) features are integrated into a spatio-temporal context algorithm to realize a robust tracking of completely occluded pedestrians in a short time, and finally the tracked trajectories are trained; a normal behavior directory is constructed for the motion trajectories defined as normal, and the trajectories to be tested are sparsely reconstructed. An effective detection of abnormal behavior is realized by combining the weighted minimum reconstruction residuals and amplitude direction histogram entropy. A comparative experiment shows that the algorithm can effectively detect abnormal behaviors such as fighting and robbery, and the detection rate can exceed 92% under static background without occlusions. Keywords: abnormal behavior detection; jointly weighted; reconstruction trajectory; histogram entropy; Kalman filters; HOG features; spatio-temporal context; behavior directory 近年来，社会存在诸多潜在的安全问题，一旦 发生必会引起严重的社会后果。而在安全问题发 生之前，运动目标在行为上会表现出不同程度的 收稿日期：2017−06−22. 网络出版日期：2018−04−10. 基金项目：国家自然科学基金项目 (61605048)；福建省自然科 学基金项 目 (14BS215) ；泉州市科技计划项 目 (2015Z120). 通信作者：骆炎民. E-mail：lym@hqu.edu.cn. 第 13 卷第 6 期 智 能 系 统 学 报 Vol.13 No.6 2018 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2018
·1016· 智能系统学报 第13卷 异常，因此，及时识别异常行为对防止潜在危险 的发生具有重要的现实意义。随着公众对社 bg(x,y)= fx,y） (1) 会安全要求的日益增加，异常行为检测技术成为 该建模方法在监控设备固定的情况下，能较 了计算机视觉的新兴研究方向，广泛应用于智能 完整地从视频中获取背景模型。因此，本文通过 监控、医学诊断、运动分析等领域，并受到国内 融合均值背景结合双边滤波法对背景进行建模。 外研究学者的广泛关注。Jiang等采用上下文感 知方法来检测异常，通过跟踪获取行人运动轨 迹，并与正常行为轨迹进行比较，将偏离较大的 输入视頫序列 轨迹视为异常，该方法依赖于获取目标轨迹的跟 背景建模 踪算法，因此无法长时间适应视觉上下文的变化： Bouttefroy等o对运动轨迹的相关特征进行提取， 当前顿 更新背景 并通过估计概率分布模型来识别异常行为，该方 背景差分法 法需要准确获取行人运动轨迹，若发生遮挡便容 易丢失目标，应用具有较大的局限性；Zhao等四 运动前景提取 提出一种完全无监督的动态稀疏编码方法来检测 异常事件，由于正异常行为样本分布的不平衡， 导致对行人异常行为的识别效果较差；Lu等提 最后一顿 出稀疏组合学习框架，提取视频底层特征，通过 Y 学习正常行为的表示方式来区分异常，该方法需 结束 大量正常行为作为正样本进行训练，无法达到实 图1运动前景提取流程图 时性检测；Lⅰ等通过采用轨迹稀疏重构分析方 Fig.1 The flow chart of moving foreground extraction 法对行人异常行为进行检测，该方法对不同尺寸 1.1.2背景更新 样本均能达到良好的检测性能，但受控制点参数 为了降低光照、天气等对运动像素变化的 的影响，也无法满足实时性要求。 影响，需对背景进行动态更新，本文采用分块分 本文提出一种联合加权稀疏重构轨迹与直方 类1的背景更新算法，具体的更新过程如式(2) 图熵的异常行为检测算法。该算法对运动轨迹进 所示： 行训练，构造正常行为字典，同时对测试行人轨 f.(i,j),fa(i,j)-bg-1(i,j)<Ta 迹进行稀疏重构作为轨迹特征，并计算幅值方向 bgn(i,j)= (2) 直方图嫡作为熵特征。通过对异常行为多特征进 axbg(i,j)+Bf(i,)+ (1-a-)f(i,), 其他 行联合加权，实现对异常行为的检测。虽然本文 式中：阈值T设置为30，a与B为权重，a+B<1。 算法在时间上也无法达到实时性要求，但在复杂 算法通过计算当前帧与前一帧背景对应点像 场景中可以实现更加精确的异常行为检测率。 素值的绝对差，若小于给定的阈值，认为是由光 1行人检测 照、天气等因素带来的细微变化，便将当前像素 点设置成当前背景像素点，提供给下一帧考虑； 1.1运动目标检测 若绝对差超出给定阈值，则认为当前帧中存在运 本文采用背景相减法对运动目标进行检测， 动的物体，便结合前一帧背景，前一帧图像和当 其关键在于对背景的建模，考虑到存在天气、光 前帧图像来对当前帧背景进行更新。 照及树叶摆动等引起的前景像素变化，需要对背 1.1.3运动前景提取 景进行实时动态更新，图1为运动前景提取流程图。 获得更新的背景模型之后，对当前帧与当前 1.1.1背景建模 背景模型进行差分操作，提取当前存在运动的像 常用背景建模方法1包括混合高斯建模山 素点形成二值图像，通过选取适当的阈值去除由 码本建模)、双背景建模及均值建模41等。 非运动目标带来的像素值的细微变化，并进行相 均值建模法是将当前遍历到的所有帧像素值取平 应的形态学处理，从而提取感兴趣的运动前景， 均作为背景的估计，由式()表示： 提取过程可表示为式(3)：
异常，因此，及时识别异常行为对防止潜在危险 的发生具有重要的现实意义[1-2]。随着公众对社 会安全要求的日益增加，异常行为检测技术成为 了计算机视觉的新兴研究方向，广泛应用于智能 监控[3-4] 、医学诊断、运动分析等领域，并受到国内 外研究学者的广泛关注。Jiang 等 [5]采用上下文感 知方法来检测异常，通过跟踪获取行人运动轨 迹，并与正常行为轨迹进行比较，将偏离较大的 轨迹视为异常，该方法依赖于获取目标轨迹的跟 踪算法，因此无法长时间适应视觉上下文的变化； Bouttefroy 等 [6]对运动轨迹的相关特征进行提取， 并通过估计概率分布模型来识别异常行为，该方 法需要准确获取行人运动轨迹，若发生遮挡便容 易丢失目标，应用具有较大的局限性；Zhao 等 [7] 提出一种完全无监督的动态稀疏编码方法来检测 异常事件，由于正异常行为样本分布的不平衡， 导致对行人异常行为的识别效果较差；Lu 等 [8]提 出稀疏组合学习框架，提取视频底层特征，通过 学习正常行为的表示方式来区分异常，该方法需 大量正常行为作为正样本进行训练，无法达到实 时性检测；Li 等 [9]通过采用轨迹稀疏重构分析方 法对行人异常行为进行检测，该方法对不同尺寸 样本均能达到良好的检测性能，但受控制点参数 的影响，也无法满足实时性要求。 本文提出一种联合加权稀疏重构轨迹与直方 图熵的异常行为检测算法。该算法对运动轨迹进 行训练，构造正常行为字典，同时对测试行人轨 迹进行稀疏重构作为轨迹特征，并计算幅值方向 直方图熵作为熵特征。通过对异常行为多特征进 行联合加权，实现对异常行为的检测。虽然本文 算法在时间上也无法达到实时性要求，但在复杂 场景中可以实现更加精确的异常行为检测率。 1 行人检测 1.1 运动目标检测 本文采用背景相减法对运动目标进行检测， 其关键在于对背景的建模，考虑到存在天气、光 照及树叶摆动等引起的前景像素变化，需要对背 景进行实时动态更新，图 1 为运动前景提取流程图。 1.1.1 背景建模 常用背景建模方法[10]包括混合高斯建模[11] 、 码本建模[12] 、双背景建模[13]及均值建模[14-15]等。 均值建模法是将当前遍历到的所有帧像素值取平 均作为背景的估计，由式 (1) 表示： bg(x, y) = 1 N ∑N i=1 fi(x, y) (1) 该建模方法在监控设备固定的情况下，能较 完整地从视频中获取背景模型。因此，本文通过 融合均值背景结合双边滤波法对背景进行建模。 当前帧 结束 Y N 输入视频序列 背景建模 更新背景 背景差分法 运动前景提取 最后一帧 图 1 运动前景提取流程图 Fig. 1 The flow chart of moving foreground extraction 1.1.2 背景更新 为了降低光照、天气等对运动像素变化的 影响，需对背景进行动态更新，本文采用分块分 类 [16]的背景更新算法，具体的更新过程如式 (2) 所示： bgn(i, j) = fn(i, j), fn(i, j)−bgn−1(i, j) < Td α×bgn−1(i, j)+β fn−1(i, j)+ (1−α−β)fn(i, j), 其他 (2) 式中：阈值 Td设置为 30，α与 β 为权重，α+β < 1。 算法通过计算当前帧与前一帧背景对应点像 素值的绝对差，若小于给定的阈值，认为是由光 照、天气等因素带来的细微变化，便将当前像素 点设置成当前背景像素点，提供给下一帧考虑； 若绝对差超出给定阈值，则认为当前帧中存在运 动的物体，便结合前一帧背景，前一帧图像和当 前帧图像来对当前帧背景进行更新。 1.1.3 运动前景提取 获得更新的背景模型之后，对当前帧与当前 背景模型进行差分操作，提取当前存在运动的像 素点形成二值图像，通过选取适当的阈值去除由 非运动目标带来的像素值的细微变化，并进行相 应的形态学处理，从而提取感兴趣的运动前景， 提取过程可表示为式 (3)： ·1016· 智 能 系 统 学 报 第 13 卷
第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1017· 0,f.(i,j)-bg.(i.j)<T g.伍)=1其他 (3) 选取视频序列任意10帧，分别计算行人与车 辆高宽比、2，表1为n,和2的数值分布，此处列 式中：阈值T设置为30，f(位，)，bg位，》分别表示当 出6组实验得出的数据。 前帧像素值和背景像素值，此处选取视频第93帧 由表1可知，行人高宽比n范围为1.92~3.24， 作为当前帧，g(位，)表示提取到的运动前景，图2 车辆高宽比2范围为0.49-0.86，因此可选择适当 显示了3种方法对运动前景的提取效果图。 高宽比阈值6，用于区分运动前景中的行人与车 辆，实现对行人的识别。本文设置阈值6为1.5，分 别对3个视频进行验证，行人识别结果如图4所示。 表1刀1和2的数值分布 Table 1 Numerical distribution of n and n2 帧数 72 (a)当前帧 (b)帧差法 27 2.67 0.71 64 1.92 0.86 97 2.41 0.62 138 3.24 0.49 182 2.53 0.83 251 2.99 0.57 (c)减背景法 (d均值建模+双边滤波 图2运动前景检测图 Fig.2 Moving foreground detection results 1.2行人识别 由于本文研究的异常行为检测是基于室外环 境的，为保证运动前景只含行人，需要从复杂运 图4行人识别效果图 动前景中区分行人与其他运动目标，并对行人进 Fig.4 Pedestrian recognition results 行跟踪获取运动轨迹，实现进一步的异常行为 识别。 2行人跟踪 在监控设备固定的情况下，若只考虑直立行 时空上下文(STC)算法通过对行人目标及相 走的行人，而刚性车辆不易发生形变，因此选择 应场景中局部上下文区域的时空关系进行建模， 外接矩形高宽比作为主要特征以区分行人与车 并统计相应的低阶特征，通过结合时空上下文信 辆，图3中(a)、(b)分别表示车辆和行人的外接矩 息，实现对行人目标的跟踪，行人跟踪可视为对 形框。 目标置信度图的求解过程。 对于第k帧，采用式(4)计算置信图c),并将 置信图响应最大的位置作为该帧的质心位置k。 c=∑Pk3lo)=∑P.oP(v(J)(④ 2)E 式中：Pv,o)为行人当前位置与局部上下文之 (a)车辆 间的时空关系，P(v(o)为上下文先验概率。 STC算法采用式(5)对置信图c进行建模， 并采用式(6)对上下文先验概率P(v(o)进行建模。 c(k)=bxexp( (5) b)行人 P(v())-Ixbxexp-k-kT 02 (6) 图3外接矩形框 式中：σ为尺度函数，b为正则化常数，B为形状参 Fig.3 External rectangle box 数，设置为1,1)表示图像在z处的像素值
fgn(i, j) = { 0, fn(i, j)−bgn(i, j) < T 1, 其他 (3) T fn(i, j) bgn(i, j) fgn(i, j) 式中：阈值 设置为 30， ， 分别表示当 前帧像素值和背景像素值，此处选取视频第 93 帧 作为当前帧， 表示提取到的运动前景，图 2 显示了 3 种方法对运动前景的提取效果图。 (a) 当前帧 (b) 帧差法 (c) 减背景法 (d) 均值建模+双边滤波 图 2 运动前景检测图 Fig. 2 Moving foreground detection results 1.2 行人识别 由于本文研究的异常行为检测是基于室外环 境的，为保证运动前景只含行人，需要从复杂运 动前景中区分行人与其他运动目标，并对行人进 行跟踪获取运动轨迹，实现进一步的异常行为 识别。 在监控设备固定的情况下，若只考虑直立行 走的行人，而刚性车辆不易发生形变，因此选择 外接矩形高宽比作为主要特征以区分行人与车 辆，图 3 中 (a)、(b) 分别表示车辆和行人的外接矩 形框。 η1 η2 η1 η2 选取视频序列任意 10 帧，分别计算行人与车 辆高宽比 、 ，表 1 为 和 的数值分布，此处列 出 6 组实验得出的数据。 η1 η2 δ δ 由表 1 可知，行人高宽比 范围为 1.92~3.24， 车辆高宽比 范围为 0.49~0.86，因此可选择适当 高宽比阈值 ，用于区分运动前景中的行人与车 辆，实现对行人的识别。本文设置阈值 为 1.5，分 别对 3 个视频进行验证，行人识别结果如图 4 所示。 表 η1 η2 1 和 的数值分布 Table 1 Numerical distribution of η1 and η2 帧数 η1 η2 27 2.67 0.71 64 1.92 0.86 97 2.41 0.62 138 3.24 0.49 182 2.53 0.83 251 2.99 0.57 图 4 行人识别效果图 Fig. 4 Pedestrian recognition results 2 行人跟踪 时空上下文 (STC) 算法通过对行人目标及相 应场景中局部上下文区域的时空关系进行建模， 并统计相应的低阶特征，通过结合时空上下文信 息，实现对行人目标的跟踪，行人跟踪可视为对 目标置信度图的求解过程。 k c(k) k ∗ 对于第 帧，采用式 (4) 计算置信图 ，并将 置信图响应最大的位置作为该帧的质心位置 。 c(k) = ∑ v(z)∈Kc P(k, v(z)|o) = ∑ v(z)∈Kc P(k|v(z),o)P(v(z)|o) (4) P(k|v(z),o) P(v(z)|o) 式中： 为行人当前位置与局部上下文之 间的时空关系， 为上下文先验概率。 c(k) P(v(z)|o) STC 算法采用式 (5) 对置信图 进行建模， 并采用式 (6) 对上下文先验概率 进行建模。 c(k) = b×exp(− k−k ∗ σ β ) (5) P(v(z)|o) = I(z)×b×exp(− |z−k ∗ | σ2 2 ) (6) σ b β I(z) z 式中： 为尺度函数， 为正则化常数， 为形状参 数，设置为 1， 表示图像在 处的像素值。 (a) 车辆 (b) 行人 图 3 外接矩形框 Fig. 3 External rectangle box 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1017·
·1018· 智能系统学报 第13卷 空间上下文Pv(,o,表示行人目标与局部 为卡尔曼滤波算法起始位置，并结合目标HOG 上下文之间的相似度，定义方式如式(7)所示： 特征，对目标下一帧的质心位置进行最佳预测， P(klv(z),o)=h(k-z) (7) 有效地提高行人跟踪精度，具体跟踪精度对比如 将式(6)和式(7)代入式(4)中计算置信图 图6所示。 c的具体表达形式，如式(8)所示： 223 c=∑k-8x@xbxexp-b-)= e0,k) (8) h产⑧(Ia)×bxexp((-) 式中：®为卷积操作符，通过将傅里叶变换操作应 一[17刀STC-[18]STC+Kalman一[19]STC+HOG-本文算法 用于卷积操作中，可大大加快运行速度。 (a)视频1 对式(8)进行快速傅里叶变换，再进行傅里叶 #183 #212 反变换，便可得到目标与局部上下文之间的时空 关系，即空间上下文模型，如式(9)所示： F(c() hs(k)=F- F(()xaxexp()) [17刀STC-[18]STC+Kalman一[19]STC+HOG一本文算法 02 (9) (b)视频2 F(bxexp(-k-kp 图5视频序列跟踪结果图 F(I(z)xaxexp(-k-kE Fig.5 Video sequence tracking results 02 式中F表示快速傅里叶变换。 0.9 获取到第k帧视频序列的时空上下文模型 0.8 0.7 H(K)之后，可通过式(10)求第k+1帧的置信图 c(k+1)来确定该帧目标质心位置(k+1)广。 c(k+1)=F-1(F(H,(k) 是0.4 ◆STC1 0.3 (10) STC+Kalman周 F(Ik+1)×aXexp(- , 0.2 ◆STC+HOG例 0.1 +本文算法 将置信图最大的位置作为行人目标在第k+1 0 50100150200250300350 帧的质心位置，计算过程如式(11)所示： 当前帧数 k+1'=argc+） (11) (a)视频1 1.0r4 并通过该模型更新第k+1帧的上下文模型， 0.9 更新过程如式(12)所示： 0.8 0.7 H,(k)=(1-)H(k)+k) (12) 式中为学习率。 基于STC算法在处理目标部分遮挡时的优 ￥0.4 ◆STC1 0.3 越性，为了进一步解决跟踪过程中目标被短时完 ·STC+Kalmantis 0.2 ◆STC+HOG网 全遮挡及目标旋转的问题，本文在STC算法基础 0.1 +本文算法 上融入卡尔曼滤波器及HOG特征。 0 50100150200250300350 图5为当行人存在完全遮挡时，采用4种算 当前帧数 (b)视频2 法进行行人跟踪的结果对比图。从图中可以看出，当 目标未发生完全遮挡时，本文算法与文献[17算法， 图6视频序列跟踪精度图 文献[18]算法和文献[19]算法在跟踪效果方面相 Fig.6 Video sequence tracking precision results 差不多；一旦被跟踪的行人目标被完全遮挡，即 3 行人异常行为检测 从(a)中的#154和(b)中的#183开始，本文算法的 跟踪效果比其他3种算法更加准确，而且更加鲁棒。 在实际监控场景中，对行人异常行为的检测 这是因为在通过STC算法预测下一帧目标 主要是通过对行人运动轨迹进行分析，或采用运 质心位置之前，本文算法将当前帧的质心位置作 动幅值方向直方图嫡进行判别。文献[20]通过引
空间上下文 P(k|v(z),o) ，表示行人目标与局部 上下文之间的相似度，定义方式如式 (7) 所示： P(k|v(z),o) = h sc(k−z) (7) c(k) 将式 (6) 和式 (7) 代入式 (4) 中计算置信图 的具体表达形式，如式 (8) 所示： c(k) = ∑ z∈Ωc (k ∗ ) h sc(k−z)× I(z)×b×exp(− |z−k ∗ | 2 σ2 ) = h sc(k)⊗(I(z)×b×exp(− |z−k ∗ | 2 σ2 )) (8) 式中： ⊗ 为卷积操作符，通过将傅里叶变换操作应 用于卷积操作中，可大大加快运行速度。 对式 (8) 进行快速傅里叶变换，再进行傅里叶 反变换，便可得到目标与局部上下文之间的时空 关系，即空间上下文模型，如式 (9) 所示： h sc(k) = F −1 F(c(k)) F(I(z)×α×exp(− |z−k ∗ | 2 σ2 )) = F −1 F(b×exp(− |k−k ∗ | β α )) F(I(z)×α×exp(− |z−k ∗ | 2 σ2 )) (9) 式中 F 表示快速傅里叶变换。 k H sc k (K) k+1 c(k+1) (k+1)∗ 获取到第 帧视频序列的时空上下文模型 之后，可通过式 (10) 求第 帧的置信图 来确定该帧目标质心位置 。 c(k+1) = F −1 (F(H sc k+1 (k))• F(I(k+1)×α×exp(− z−k ∗ k 2 σ2 )) (10) 将置信图最大的位置作为行人目标在第 k+1 帧的质心位置，计算过程如式 (11) 所示： (k+1)∗ = arg max k∈Ωc (k ∗ k ) c(k+1) (11) 并通过该模型更新第 k+1 帧的上下文模型， 更新过程如式 (12) 所示： H sc k+1 (k) = (1−λ)H sc k (k)+λh sc k (k) (12) 式中 λ 为学习率。 基于 STC 算法在处理目标部分遮挡时的优 越性，为了进一步解决跟踪过程中目标被短时完 全遮挡及目标旋转的问题，本文在 STC 算法基础 上融入卡尔曼滤波器及 HOG 特征。 图 5 为当行人存在完全遮挡时，采用 4 种算 法进行行人跟踪的结果对比图。从图中可以看出，当 目标未发生完全遮挡时，本文算法与文献[17]算法， 文献[18]算法和文献[19]算法在跟踪效果方面相 差不多；一旦被跟踪的行人目标被完全遮挡，即 从 (a) 中的#154和 (b) 中的#183 开始，本文算法的 跟踪效果比其他 3 种算法更加准确，而且更加鲁棒。 这是因为在通过 STC 算法预测下一帧目标 质心位置之前，本文算法将当前帧的质心位置作 为卡尔曼滤波算法起始位置，并结合目标 HOG 特征，对目标下一帧的质心位置进行最佳预测， 有效地提高行人跟踪精度，具体跟踪精度对比如 图 6 所示。 (a) 视频1 (b) 视频2 [17]STC [18]STC+Kalman [19]STC+HOG 本文算法 [17]STC [18]STC+Kalman [19]STC+HOG 本文算法 #90 #154 #223 #65 #183 #212 图 5 视频序列跟踪结果图 Fig. 5 Video sequence tracking results 0 50 100 150 200 250 300 350 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 当前帧数 跟踪精度 STC[17] STC+Kalman[18] STC+HOG[19] 本文算法 (a) 视频 1 0 50 100 150 200 250 300 350 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 当前帧数 跟踪精度 STC[17] STC+Kalman[18] STC+HOG[19] 本文算法 (b) 视频 2 图 6 视频序列跟踪精度图 Fig. 6 Video sequence tracking precision results 3 行人异常行为检测 在实际监控场景中，对行人异常行为的检测 主要是通过对行人运动轨迹进行分析，或采用运 动幅值方向直方图熵进行判别。文献[20]通过引 ·1018· 智 能 系 统 学 报 第 13 卷
第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1019· 入轨迹稀疏重构分析，提出最小二乘三次样条曲 图7显示了正/异常行为运动轨迹样本及特 线逼近方法检测异常行为，该方法检测性能受控 征表示，其中左侧为运动轨迹样本图，右侧为相 制点参数的影响；文献[21]提出基于幅值的加权方 应的特征表示图。 向直方图描述行为，计算运动区域内直方图嫡来 300 判断行为的异常，该方法可较好地反映异常行为的 200 发生，但单一特征无法满足高精度的异常行为表达。 100 为了解决最小二乘三次样条曲线逼近方法受 控制点参数的影响，本文提出一种控制点参数自 40 300200 适应的方法对行人运动轨迹进行表示。并通过加 00 100200300 00 权考虑行人运动轨迹的稀疏重构残差和幅值方向 (a)正常行为轨迹 直方图嫡等多种特征，对人体行为进行多种表 300 达，从而有效提升行人异常行为的检测率。 200 3.1控制点参数自适应的运动轨迹表示 100 根据本文跟踪算法获取一组行人运动轨迹， 由于视频中行人出现的帧数不同，因此运动轨迹 可视为由不同长度的坐标序列组成。对于时空轨 上100 200300 100 00 迹序列(x,y,),本文采用自适应曲线控制点以参数 (b)异常行为轨迹 化P={K,K,…,K,K,K,…,K的方式来表示 轨迹T={(xy),(2y2),…,(x,y》的形状和时空特 图7正常/异常轨迹表示 Fig.7 Trajectory representation of normal/abnormal 征，以提取定长参数向量对轨迹进行表示。其中 3.2基于幅值方向直方图的异常行为表示 p为控制点个数，K与K,分别为第p个控制点的归 本文将行人异常行为定义为运动幅度变化 -化横纵坐标，t为轨迹长度。 大、运动方向不一致的一些不规则行为，如打斗、 轨迹T上的点(xy)所经过的总距离d可表示 抢劫等，这些行为都具有运动速度快、方向紊乱 为2-矿+60-a=2.3…0.定义参数 等特征。由于行人运动幅值方向直方图2具有旋 向量。-，…，小.其中.可表示为式(3： 转平移不变性，能够很好地反映出行人动作的幅 度大小，直方图熵能够反映运动方向的混乱程 ∑a-x+60m-P 度，因此可采用幅值方向直方图熵对异常行为进 i≠0 行表示。 V= (13) 芝x-x+01-)2 首先将运动轨迹分成8个子区域，以每45°作 为一个区域边界，对于行人运动轨迹上的每一个 0,i=0 点(o,%),(x1,y),…,(x,yn,分别根据式(17)计算每 及节点向量k,表示为式(14)： 个轨迹点的切线方向属于哪个子区域中，若某个 k=0,0.0,01.2 p-4 p33…1.1,1l 14) 运动轨迹的所有点的切线方向均稳定处于少量几 个子区域，则该运动轨迹为正常行为的概率更 根据2四，采用式(15)计算三次B样条基函数， 大，而如果某运动轨迹的所有切线方向占了绝大 中ng(n)= a-Kp中p.H 部分的子区域，说明该运动轨迹更加紊乱，更有 效 (15) 可能为异常行为所产生的运动轨迹。 Kptg-Kp+1 p+1g-1(vn) sarcsin()i=0,l,…,n (17) 式中：a{6其爸< 对于打架、抢劫等剧烈运动，通过计算基于 并通过式计算自适应的控制点参数，使原始 幅值的加权方向直方图可有效抑制由噪声造成的 轨迹与其近似轨迹之间的误差平方和达到最小， 小范围方向混乱，实现更好的异常行为识别，假 从而对行人运动轨迹进行有效表示 设第R帧的直方图模型如式(18)所示 PXY =(OT2)OTTXY (16) HR)={h(R=12-m= 1a4(1)…p4() =28) 式中2= 式中：m为直方图区间的个数，此处取I2。h,(R)为 14()…a4(y)
入轨迹稀疏重构分析，提出最小二乘三次样条曲 线逼近方法检测异常行为，该方法检测性能受控 制点参数的影响；文献[21]提出基于幅值的加权方 向直方图描述行为，计算运动区域内直方图熵来 判断行为的异常，该方法可较好地反映异常行为的 发生，但单一特征无法满足高精度的异常行为表达。 为了解决最小二乘三次样条曲线逼近方法受 控制点参数的影响，本文提出一种控制点参数自 适应的方法对行人运动轨迹进行表示。并通过加 权考虑行人运动轨迹的稀疏重构残差和幅值方向 直方图熵等多种特征，对人体行为进行多种表 达，从而有效提升行人异常行为的检测率。 3.1 控制点参数自适应的运动轨迹表示 (x, y,t) P = { K X 1 ,K X 2 ,··· ,K X p ,K Y 1 ,K Y 2 ,··· ,K Y p } T = {(x1, y1),(x2, y2),··· ,(xt , yt)} p K X p K Y p p t 根据本文跟踪算法获取一组行人运动轨迹， 由于视频中行人出现的帧数不同，因此运动轨迹 可视为由不同长度的坐标序列组成。对于时空轨 迹序列 ，本文采用自适应曲线控制点以参数 化 的方式来表示 轨迹 的形状和时空特 征，以提取定长参数向量对轨迹进行表示。其中 为控制点个数， 与 分别为第 个控制点的归 一化横纵坐标， 为轨迹长度。 T (xi , yi) di ∑n−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 (n = 2,3,··· ,t) v = { v1, v2,··· , vt} vn 轨迹 上的点 所经过的总距离 可表示 为 ，定义参数 向量 ，其中 可表示为式 (13)： vn= ∑n−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 ∑t−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 , i , 0 0, i = 0 (13) 及节点向量 κ ，表示为式 (14)： κ= ( 0,0,0,0, 1 p−3 , 2 p−3 ,··· , p−4 p−3 ,1,1,1,1 ) (14) 根据[22] ，采用式 (15) 计算三次 B 样条基函数， ψp,q(vn) = vn −κp κp+q−1 −κp ψp,q−1(vn)+ κp+q −vn κp+q −κp+1 ψp+1,q−1(vn) (15) ψp,1 (vn)= { 1, κp ⩽ vn < κp+1 0, 其他 式中： 并通过式计算自适应的控制点参数，使原始 轨迹与其近似轨迹之间的误差平方和达到最小， 从而对行人运动轨迹进行有效表示 P XY = ( Ω TΩ )−1 Ω TT XY (16) Ω= ψ1,4 (v1) ··· ψp,4 (v1) . . . . . . ψ1,4 (vt) ··· ψp,4 (vt) 式中 。 图 7 显示了正/异常行为运动轨迹样本及特 征表示，其中左侧为运动轨迹样本图，右侧为相 应的特征表示图。 300 200 100 0 t/s 400 300 300 200 200 100 100 0 0 X Y 300 200 100 0 t/s 400 300 300 200 200 100 100 0 0 X Y (a) 正常行为轨迹 (b) 异常行为轨迹 图 7 正常/异常轨迹表示 Fig. 7 Trajectory representation of normal/abnormal 3.2 基于幅值方向直方图的异常行为表示 本文将行人异常行为定义为运动幅度变化 大、运动方向不一致的一些不规则行为，如打斗、 抢劫等，这些行为都具有运动速度快、方向紊乱 等特征。由于行人运动幅值方向直方图[23]具有旋 转平移不变性，能够很好地反映出行人动作的幅 度大小，直方图熵能够反映运动方向的混乱程 度，因此可采用幅值方向直方图熵对异常行为进 行表示。 (x0, y0),(x1, y1),··· ,(xn, yn) 首先将运动轨迹分成 8 个子区域，以每 45°作 为一个区域边界，对于行人运动轨迹上的每一个 点 ，分别根据式 (17) 计算每 个轨迹点的切线方向属于哪个子区域中，若某个 运动轨迹的所有点的切线方向均稳定处于少量几 个子区域，则该运动轨迹为正常行为的概率更 大，而如果某运动轨迹的所有切线方向占了绝大 部分的子区域，说明该运动轨迹更加紊乱，更有 可能为异常行为所产生的运动轨迹。 θ = arcsin( yi √ x 2 i +y 2 i ) i = 0,1,··· ,n (17) R 对于打架、抢劫等剧烈运动，通过计算基于 幅值的加权方向直方图可有效抑制由噪声造成的 小范围方向混乱，实现更好的异常行为识别，假 设第 帧的直方图模型如式 (18) 所示， H(R) = { hj(R) } j=1,2,···,m = C ∑ j i=1 wFiΦ(a(Fi)− j) j=1,2,···,m (18) 式中：m为直方图区间的个数，此处取 12。hj(R) 为 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1019·