工程科学学报.第42卷，第3期：381-389.2020年3月 Chinese Journal of Engineering,Vol.42,No.3:381-389,March 2020 https://doi.org/10.13374/j.issn2095-9389.2019.06.06.005;http://cje.ustb.edu.cn 复杂环境下一种基于SiamMask的时空预测移动目标跟 踪算法 周珂”，张浩博2)区，付冬梅，赵志毅)，曾惠2) 1)北京科技大学高等工程师学院，北京1000832)北京科技大学自动化学院，北京100083 ☒通信作者，E-mail:cocofay126@126.com 摘要随着无人工厂、智能安监等技术在制造业领域的深人应用，以视觉识别预警系统为代表的复杂环境下动态识别技术 成为智能工业领域的重要研究内容之一，在本文所述的工业级视觉识别预警系统中，操作人员头发区域由于其具有移动形 态非规则性、运动无规律性的特点，在动态图像中的实时分割较为困难.针对此问题，提出一种基于SiamMask模型的时空预 测移动目标跟踪算法.该算法将基于PyTorch深度学习框架的SiamMask单目标跟踪算法与ROI检测及STC时空上下文预 测算法相融合，根据目标时空关系的在线学习，预测新的目标位置并对SiamMask模型进行算法校正，实现视频序列中的目标 快速识别.实验结果表明，所提出的算法能够克服环境干扰、目标遮挡对跟踪效果的影响，将目标跟踪误识别率降低至 0.156%.该算法计算时间成本为每秒30帧，比改进前的SiamMask模型帧率每秒提高3.2帧.算法效率提高11.94%.该算法 达到视觉识别预警系统准确性、实时性的要求，对移动目标识别算法模型的复杂环境应用具有借鉴意义 关键词深度学习：复杂环境：移动目标识别：SiamMask:STC 分类号TG142.71 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask ZHOU Ke,ZHANG Hao-bo2,FU Dong-me),ZHAO Zhi-yi,ZENG Hup) 1)School of Advanced Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:cocofay126@126.com ABSTRACT Moving target recognition in a complex environment is recently an important research direction in the field of image recognition.The current research focus is how to track moving objects online in complex scenes to meet the real-time and reliability requirements of image tracking and subsequent processing.With the in-depth application of unmanned factory,intelligent safety supervision and other technologies in the field of manufacturing industry,dynamic recognition technology in the complex environment represented by a visual recognition warning system has become an important research in the field of intelligent industry,and the detection requirements of high reliability and real-time for mobile target detection have been identified.In the industrial level vision recognition warning system described in this paper,the hair area of operators was difficult to be segmented in real time because of its irregular movement.To solve this problem,a space-time predictive moving target tracking algorithm was proposed based on the SiamMask model.This algorithm combined the SiamMask single target tracking algorithm based on the PyTorch deep learning framework with ROI detection and STC spatiotemporal context prediction algorithm.According to the online learning of the spatiotemporal relationship of the target,it predicted the new target location and corrected the algorithm of the SiamMask model to 收稿日期：2019-06-06 基金项目：国家自然科学基金资助项目(61375010：北京科技大学基本科研业务费资助项目(FRF-0T-18-020SY)
复杂环境下一种基于 SiamMask 的时空预测移动目标跟 踪算法 周 珂1)，张浩博2) 苣，付冬梅2)，赵志毅1)，曾 惠2) 1) 北京科技大学高等工程师学院，北京 100083 2) 北京科技大学自动化学院，北京 100083 苣通信作者，E-mail: cocofay126@126.com 摘 要 随着无人工厂、智能安监等技术在制造业领域的深入应用，以视觉识别预警系统为代表的复杂环境下动态识别技术 成为智能工业领域的重要研究内容之一. 在本文所述的工业级视觉识别预警系统中，操作人员头发区域由于其具有移动形 态非规则性、运动无规律性的特点，在动态图像中的实时分割较为困难. 针对此问题，提出一种基于 SiamMask 模型的时空预 测移动目标跟踪算法. 该算法将基于 PyTorch 深度学习框架的 SiamMask 单目标跟踪算法与 ROI 检测及 STC 时空上下文预 测算法相融合，根据目标时空关系的在线学习，预测新的目标位置并对 SiamMask 模型进行算法校正，实现视频序列中的目标 快速识别. 实验结果表明，所提出的算法能够克服环境干扰、目标遮挡对跟踪效果的影响，将目标跟踪误识别率降低至 0.156%. 该算法计算时间成本为每秒 30 帧，比改进前的 SiamMask 模型帧率每秒提高 3.2 帧，算法效率提高 11.94%. 该算法 达到视觉识别预警系统准确性、实时性的要求，对移动目标识别算法模型的复杂环境应用具有借鉴意义. 关键词 深度学习；复杂环境；移动目标识别；SiamMask；STC 分类号 TG142.71 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask ZHOU Ke1) ，ZHANG Hao-bo2) 苣 ，FU Dong-mei2) ，ZHAO Zhi-yi1) ，ZENG Hui2) 1) School of Advanced Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: cocofay126@126.com ABSTRACT Moving target recognition in a complex environment is recently an important research direction in the field of image recognition. The current research focus is how to track moving objects online in complex scenes to meet the real-time and reliability requirements of image tracking and subsequent processing. With the in-depth application of unmanned factory, intelligent safety supervision and other technologies in the field of manufacturing industry, dynamic recognition technology in the complex environment represented by a visual recognition warning system has become an important research in the field of intelligent industry, and the detection requirements of high reliability and real-time for mobile target detection have been identified. In the industrial level vision recognition warning system described in this paper, the hair area of operators was difficult to be segmented in real time because of its irregular movement. To solve this problem, a space-time predictive moving target tracking algorithm was proposed based on the SiamMask model. This algorithm combined the SiamMask single target tracking algorithm based on the PyTorch deep learning framework with ROI detection and STC spatiotemporal context prediction algorithm. According to the online learning of the spatiotemporal relationship of the target, it predicted the new target location and corrected the algorithm of the SiamMask model to 收稿日期: 2019−06−06 基金项目: 国家自然科学基金资助项目 (61375010)；北京科技大学基本科研业务费资助项目 (FRF-OT-18-020SY) 工程科学学报，第 42 卷，第 3 期：381−389，2020 年 3 月 Chinese Journal of Engineering, Vol. 42, No. 3: 381−389, March 2020 https://doi.org/10.13374/j.issn2095-9389.2019.06.06.005; http://cje.ustb.edu.cn
382 工程科学学报，第42卷，第3期 realize the fast recognition of the target in the video sequence.The experimental results show that the proposed algorithm can overcome the influence of environmental interference and target occlusion on the tracking effect,reducing the target tracking error recognition rate to 0.156%.The computational time cost is 30 frames per second,which is 3.2 frames per second greater than the frame rate of the improved SiamMask model and 11.94%greater efficiency than that of the original SiamMask model.The algorithm meets the requirements of accuracy and real-time performance of the visual recognition and early warning system,and has reference significance for the application of the moving target recognition algorithm model in a complex environment. KEY WORDS deep learning;complex environment;moving target recognition;SiamMask;STC 视频图像的跟踪及特征分割，是视频应用中 生产操作环节里，由于人的安全防护不符合规范， 的一项基本任务，如自动监视山，车辆导航，视频标 操作人员的头发往往是导致严重安全事故的隐患 签，人机交互四和行为识别等，如何在使用场景 之一.如女性操作车床时，若未扎好头发或未戴帽 中，对视频流在线执行目标跟踪，满足图像跟踪及 子，散落的发梢极易被卷进高速旋转的车床部件 后续处理的实时性、可靠性需求，是目前图像识别 中，带来严重的人身安全事故.随着数字化管理手 领域的重要研究方向 段的普及，操作环节的全时监控已在生产过程中 20l6年，Bertinetto等]提出SiamFC算法，利 得到普遍应用，预警系统可通过监控视频的目标 用CNN的全卷积(Fully-convolutional)神经网络进 识别，达到对危险因素监测、预警的目的.然而头 行实时图像的跟踪处理，克服了传统深度学习在 发由于移动中的非规则性、运动无规律性，使得头 实时视频图像处理中计算量大、效率过低的缺陷 发区域在运动图像中的分割较为困难.常见的动 2018年，Li等结合了SiameseFC和Faster R- 态图像识别Camshift算法以颜色直方图为特征对 CNN中的RPN(Region proposal network),使得实 目标进行跟踪8-，对刚性目标的跟踪具有较强的 时图像的提取速度大大加快，同时也达到较高精 鲁棒性.但当目标过于复杂、目标被遮挡或做加 度效果，其目标跟踪算法的代码实现精度在 速运动时，很容易发生目标跟丢的情况.目前国内 VOT2018排名第一，鲁棒性大大增强.2019年，中 外头发区域分割多集中在二维图像中心四，对移 科院Wang等提出新算法SiamMask,实时进行 动目标的头发区域分割尚无工业实现的先例 目标跟踪和半监督视频对象分割，采用基于数百 本文的动态识别检测以北京科技大学工程训 万视频帧上离线训练的全卷积网络Siamese,.缩小 练中心金工实习车床加工环节为样本，其结果需 任意目标跟踪与VOS之间的差距，在视频跟踪任 满足生产环节的安全操作预警，要求较高的识别 务上达到最优性能，并且在视频目标分割上取得 准确性及算法效率.因此提出了一种基于PyTorch 了当前最快速度 深度学习框架，将SiamMask单目标跟踪算法与 上述算法在已有开源数据库的实时识别中均 ROI(Region of interest)检测及STC(Spatio-temporal 有出色表现，但在应用场景里，由于识别背景的复 context learning)时空上下文目标跟踪算法融合的 杂性及遮挡性、目标特征的差异性、环境影响的 方法)，满足实际场景中对人员头发区域动态分 随机性等因素，会存在一定的目标误识别现象6刃 割识别的任务需求 针对如何在识别准确度要求较高的应用场景中 1.2基于SiamMask模型的面部动态检测实现 (如生产安全智能预警系统中的移动目标实时图 动态视频检测的重要技术难题就是如何更 像识别)，实现高效、快速的实时图像识别，开展了本文研 快、更有效，本文基于2019年5月PySOT目标跟 究内容.提出一种基于SiamMask的时空预测移动 踪库l的最新成果SiamMask模型进行面部动态 目标跟踪算法，克服环境干扰、目标遮挡对跟踪效 检测).SiamMask是当前视频图像目标跟踪模型 果的影响，实现视频序列中的目标快速识别，对移动 中，最为出色的快速跟踪和分割方法.该算法基 目标识别算法模型的复杂环境应用具有借鉴意义 于PyTorch深度学习框架，实时进行目标跟踪和半 监督视频对象分割，通过增加目标分割的损失，改 基于SiamMask的时空预测移动目标跟 进了全卷积网络Siamese跟踪方法的离线训练过 踪算法设计 程.经过训练，SiamMask完全依赖于初始化单个 1.1应用场景提出 边界框并在线操作，产生类别未知的目标分割 机床加工在工业生产中应用极为广泛，实际 Mask和实时每秒35帧的旋转边界框.在VOT-
realize the fast recognition of the target in the video sequence. The experimental results show that the proposed algorithm can overcome the influence of environmental interference and target occlusion on the tracking effect, reducing the target tracking error recognition rate to 0.156%. The computational time cost is 30 frames per second, which is 3.2 frames per second greater than the frame rate of the improved SiamMask model and 11.94% greater efficiency than that of the original SiamMask model. The algorithm meets the requirements of accuracy and real-time performance of the visual recognition and early warning system, and has reference significance for the application of the moving target recognition algorithm model in a complex environment. KEY WORDS deep learning；complex environment；moving target recognition；SiamMask；STC 视频图像的跟踪及特征分割，是视频应用中 的一项基本任务，如自动监视[1] ，车辆导航，视频标 签，人机交互[2] 和行为识别等. 如何在使用场景 中，对视频流在线执行目标跟踪，满足图像跟踪及 后续处理的实时性、可靠性需求，是目前图像识别 领域的重要研究方向. 2016 年 ，Bertinetto 等[3] 提出 SiamFC 算法，利 用 CNN 的全卷积（Fully-convolutional）神经网络进 行实时图像的跟踪处理，克服了传统深度学习在 实时视频图像处理中计算量大、效率过低的缺陷. 2018 年 ， Li 等 [4] 结 合 了 SiameseFC 和 Faster RCNN 中的 RPN（Region proposal network），使得实 时图像的提取速度大大加快，同时也达到较高精 度 效 果 ， 其 目 标 跟 踪 算 法 的 代 码 实 现 精 度 在 VOT2018 排名第一，鲁棒性大大增强. 2019 年，中 科院 Wang 等[5] 提出新算法 SiamMask，实时进行 目标跟踪和半监督视频对象分割，采用基于数百 万视频帧上离线训练的全卷积网络 Siamese，缩小 任意目标跟踪与 VOS 之间的差距，在视频跟踪任 务上达到最优性能，并且在视频目标分割上取得 了当前最快速度. 上述算法在已有开源数据库的实时识别中均 有出色表现，但在应用场景里，由于识别背景的复 杂性及遮挡性、目标特征的差异性、环境影响的 随机性等因素，会存在一定的目标误识别现象[6−7] . 针对如何在识别准确度要求较高的应用场景中 （如生产安全智能预警系统中的移动目标实时图 像识别），实现高效、快速的实时图像识别，开展了本文研 究内容. 提出一种基于 SiamMask 的时空预测移动 目标跟踪算法，克服环境干扰、目标遮挡对跟踪效 果的影响，实现视频序列中的目标快速识别，对移动 目标识别算法模型的复杂环境应用具有借鉴意义. 1 基于 SiamMask 的时空预测移动目标跟 踪算法设计 1.1 应用场景提出 机床加工在工业生产中应用极为广泛，实际 生产操作环节里，由于人的安全防护不符合规范， 操作人员的头发往往是导致严重安全事故的隐患 之一. 如女性操作车床时，若未扎好头发或未戴帽 子，散落的发梢极易被卷进高速旋转的车床部件 中，带来严重的人身安全事故. 随着数字化管理手 段的普及，操作环节的全时监控已在生产过程中 得到普遍应用，预警系统可通过监控视频的目标 识别，达到对危险因素监测、预警的目的. 然而头 发由于移动中的非规则性、运动无规律性，使得头 发区域在运动图像中的分割较为困难. 常见的动 态图像识别 Camshift 算法以颜色直方图为特征对 目标进行跟踪[8−9] ，对刚性目标的跟踪具有较强的 鲁棒性. 但当目标过于复杂、目标被遮挡或做加 速运动时，很容易发生目标跟丢的情况. 目前国内 外头发区域分割多集中在二维图像中[10−12] ，对移 动目标的头发区域分割尚无工业实现的先例. 本文的动态识别检测以北京科技大学工程训 练中心金工实习车床加工环节为样本，其结果需 满足生产环节的安全操作预警，要求较高的识别 准确性及算法效率. 因此提出了一种基于 PyTorch 深度学习框架，将 SiamMask 单目标跟踪算法与 ROI（Region of interest）检测及 STC（Spatio-temporal context learning）时空上下文目标跟踪算法融合的 方法[13] ，满足实际场景中对人员头发区域动态分 割识别的任务需求. 1.2 基于 SiamMask 模型的面部动态检测实现 动态视频检测的重要技术难题就是如何更 快、更有效，本文基于 2019 年 5 月 PySOT 目标跟 踪库[14] 的最新成果 SiamMask 模型进行面部动态 检测[15] . SiamMask 是当前视频图像目标跟踪模型 中，最为出色的快速跟踪和分割方法. 该算法基 于 PyTorch 深度学习框架，实时进行目标跟踪和半 监督视频对象分割，通过增加目标分割的损失，改 进了全卷积网络 Siamese 跟踪方法的离线训练过 程. 经过训练，SiamMask 完全依赖于初始化单个 边界框并在线操作 ，产生类别未知的目标分割 Mask 和实时每秒 35 帧的旋转边界框. 在 VOT- · 382 · 工程科学学报，第 42 卷，第 3 期
周珂等：复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法 383 2018、DAVIS-2016和DAVIS-.2017上均有极为出 目标跟踪处理，具有非常强的实时性、便捷性、计 色表现. 算低成本性.考虑应用场景对识别快速性的要求， 1.2.1算法移植测试优势 采用SiamMask对图像进行初步处理.为更好的测 如图1所示，Mask生成的网络采用的两层 试算法可用性，算法处理环境为工业环境中易于 1*1卷积，分别是256通道和63*63通道数，并采 实现的单GPU处理板 用了Refinement module(微调模块)，这是一种不同 图2为SiamMask模型在工业系统视频中的测 分辨率的特征融合策略.在SiamFC和SiamRPN 试效果，对不同发型及尺寸视频目标的头部追踪， 基础上分别加上目标分割分支网络，形成两分支 该模块表现出较高的识别效率，平均识别速度可 和三分支的SiamMask网络.图1左边是共享权值 达每秒26.8帧 的孪生网络，在对模板（上分支网络）和搜索区域 1.2.2算法移植测试误识别现象 (下分支网络输入)特征提取后，进行卷积生成与 尽管算法识别效率高，但在环境嘈杂时，会出 模板最相似的相应区域.图中，*d表示深度相关 现跟踪误识别情况.如图3(a)、(b)所示，当追踪 权重叠加，Row表示响应窗口，Mask表示视频目 对象周围出现深色服装、肉色物体等干扰源时，算 标物体，Box为预测盒，Score为预测得分.f、h。、 法产生误识别现象；图3(c)为人脸被头发遮挡后， b。、S。P。分别为CNN、目标物体、预测盒、预测 该模型失去跟踪目标.此外，在目标出画面之外再 得分、响应窗口预测得分的处理函数 进来的情况下，继续跟踪效果不佳 SiamMask模型通过大量的深度学习网络离线 将SiamMask模型对7段测试视频的追踪效果 训练，将在线学习工作量节约至最小状态，整个模 进行统计，得到表1所列情况 型通过初始帧跟踪目标设定即可完成整段视频的 结合图3和表1数据可以看出，SiamMask网 (a) (b) 127#127*1 116 *17(630 Mask 127*127*3 1725 1*63*63) Ro:1*1*236 RW:1126 255◆255◆3 图1 SiamMask模型算法流程图阿.(a)三分支变型架构：(b)二分支变型架构核心 Fig.1 SiamMask model algorithmic flow chart!sl:(a)three-branch variant architecture;(b)two-branch variant head 图2 SiamMask模型面部检测效果.(a)束发头部跟踪；(b)长发头部跟踪I:(c)长发头部跟踪Ⅱ Fig.2 SiamMask model face detection effect:(a)bundle head tracking;(b)long hair head tracking I;(c)long hair head tracking II 图3 SiamMask模型测试误识别现象.(a)深色干扰源误识别：(b)肉色干扰误识别：(c)头发遮挡误识别 Fig.3 SiamMask model test misrecognition phenomenon:(a)misidentification of dark interference sources;(b)misidentification of flesh color interference;(c)misidentification of hair occlusion
2018、 DAVIS-2016 和 DAVIS-2017 上均有极为出 色表现. 1.2.1 算法移植测试优势 如 图 1 所示 ， Mask 生成的网络采用的两 层 1*1 卷积，分别是 256 通道和 63*63 通道数，并采 用了 Refinement module（微调模块），这是一种不同 分辨率的特征融合策略. 在 SiamFC 和 SiamRPN 基础上分别加上目标分割分支网络，形成两分支 和三分支的 SiamMask 网络. 图 1 左边是共享权值 的孪生网络，在对模板（上分支网络）和搜索区域 （下分支网络输入）特征提取后，进行卷积生成与 模板最相似的相应区域. 图中，★d 表示深度相关 权重叠加，Row 表示响应窗口，Mask 表示视频目 标物体，Box 为预测盒，Score 为预测得分. fθ、hϕ、 bσ、sφ、pω 分别为 CNN、目标物体、预测盒、预测 得分、响应窗口预测得分的处理函数[5] . SiamMask 模型通过大量的深度学习网络离线 训练，将在线学习工作量节约至最小状态，整个模 型通过初始帧跟踪目标设定即可完成整段视频的 目标跟踪处理，具有非常强的实时性、便捷性、计 算低成本性. 考虑应用场景对识别快速性的要求， 采用 SiamMask 对图像进行初步处理. 为更好的测 试算法可用性，算法处理环境为工业环境中易于 实现的单 GPU 处理板. 图 2 为 SiamMask 模型在工业系统视频中的测 试效果，对不同发型及尺寸视频目标的头部追踪， 该模块表现出较高的识别效率，平均识别速度可 达每秒 26.8 帧. 1.2.2 算法移植测试误识别现象 尽管算法识别效率高，但在环境嘈杂时，会出 现跟踪误识别情况. 如图 3（a）、（b）所示，当追踪 对象周围出现深色服装、肉色物体等干扰源时，算 法产生误识别现象；图 3（c）为人脸被头发遮挡后， 该模型失去跟踪目标. 此外，在目标出画面之外再 进来的情况下，继续跟踪效果不佳. 将 SiamMask 模型对 7 段测试视频的追踪效果 进行统计，得到表 1 所列情况. 结合图 3 和表 1 数据可以看出，SiamMask 网 127*127*3 15*15*256 17*17*256 *d (a) (b) bσ 17*17*4k sφ 17*17*4k 17*17*(63*63) 17*17*256 17*17*(63*63) 1*1*(63*63) 1*1*(63*63) RoW: 1*1*256 127*127*1 Mask Mask Box Score hϕ hϕ pω 17*17*1 Score RoW: 1*1*256 31*31*256 255*255*3 fθ fθ 图 1 SiamMask 模型算法流程图[5] . （a）三分支变型架构；（b）二分支变型架构核心 Fig.1 SiamMask model algorithmic flow chart[5] : (a) three-branch variant architecture; (b) two-branch variant head (a) (b) (c) 图 2 SiamMask 模型面部检测效果. （a）束发头部跟踪；（b）长发头部跟踪Ⅰ；（c）长发头部跟踪Ⅱ Fig.2 SiamMask model face detection effect: (a) bundle head tracking; (b) long hair head tracking I; (c) long hair head tracking II (a) (b) (c) 图 3 SiamMask 模型测试误识别现象. （a）深色干扰源误识别；（b）肉色干扰误识别；（c）头发遮挡误识别 Fig.3 SiamMask model test misrecognition phenomenon: (a) misidentification of dark interference sources; (b) misidentification of flesh color interference; (c) misidentification of hair occlusion 周 珂等： 复杂环境下一种基于 SiamMask 的时空预测移动目标跟踪算法 · 383 ·
384 工程科学学报，第42卷，第3期 表1 SiamMask模型目标跟踪效果统计 Table 1 Statistics of target tracking effect of the SiamMask model Video No. Frame number of false detection Analysis on the causes of false inspection Total frames Failure rate/ 0 Little change in this movement 361 0 2 87 Misidentified as dark cloth 288 30.21 3 98 Part of the face is blocked by the hair 192 51.04 4 674 Initialization offset,screen will pop up in recognition 1380 48.84 5 131 The target moves out of the screen slightly and the recognition is lost 240 54.58 6 753 Large proportion of face selection in initialization area 1360 55.37 7 0 Accurate initialization and small action range 241 0 络模型会在以下情况产生误识别现象： 与空间信息，根据对头发目标时空关系的在线学 1)初始化区域选定的面部比例较大时，效果 习预测新的目标位置，并与SiamMask模型的跟踪 存在较多误识别现象， 结果进行匹配校正 2)干扰项出现时若产生误识别现象，在干扰 1.3.1工业视频ROI提取 因素消失时，无法及时恢复目标跟踪.在本文的对 本文所使用的视频来自于实际车工场地监控 象视频中表现为，目标移出视频后再返回则不再 镜头录制的彩色视频，分辨率为1920×1080，帧率 跟踪.由图3所示，目标误识别后，即便目标仍在 为每秒24帧，总帧数截取3427帧.从图5(a)可以 同一区域，也难以校正 看出，视频画面中包含多个机床工位，往来人员较 1.3 SiamMask模型的修正处理 多，这给单个目标的跟踪、检测带来一定干扰.面 针对SiamMask模型的应用不足，提出算法修 对实际情况，针对单个车床目标，需要对获得的视 正.对原始工业视频做ROI提取，并以STC时空 频进行ROI提取操作.其中包括：视频ROI区域设 上下文跟踪法6-7对视频序列进行匹配校正，从 定、全图运动检测两部分 而减少工业环境中的目标漏检、误检率，实现复杂 (1)ROI区域设定 环境中头发区域的精准检测.算法框架图如图4 具体ROI提取步骤中有两个关键点：ROI区 所示.图中，P:为第k帧图像，P为STC预测的第 域起点位置、ROI区域的分辨率.应用先验知识， k帧图像，中为判断函数. 可以确定ROI区域左上角起点像素位置A(x,), 修正1：ROI区域提取.如上文所述，SiamMask ROI区域宽度为lw,高度为h,如式(1)所示： 模型初始Mask对视频后序识别的误差具有积累 x=1w×0.268 性，因此在算法修正时首先对视频进行了识别目 y=×0.502 (1) 标与非相关性背景的分离预处理剧 lw=1v×0.426 修正2：STC匹配校正.STC模型是一种考量 h=%×0.497 了目标与背景相关性的算法理念，具有较高的目 式中，为原画面宽度，为原画面高度 标跟踪精度与速度.本文基于STC算法，结合时间 通过自动获取原始视频的信息，按照式(1)进 ☆Judge Siam mask Video OI prpcessing deep learning sequence processunng P 图4基于SiamMask模型的时空预测移动目标跟踪算法框架图 Fig.4 Framework of spatiotemporal prediction moving target tracking algorithms based on the SiamMask Model
络模型会在以下情况产生误识别现象： 1）初始化区域选定的面部比例较大时，效果 存在较多误识别现象. 2）干扰项出现时若产生误识别现象，在干扰 因素消失时，无法及时恢复目标跟踪. 在本文的对 象视频中表现为，目标移出视频后再返回则不再 跟踪. 由图 3 所示，目标误识别后，即便目标仍在 同一区域，也难以校正. 1.3 SiamMask 模型的修正处理 针对 SiamMask 模型的应用不足，提出算法修 正. 对原始工业视频做 ROI 提取，并以 STC 时空 上下文跟踪法[16−17] 对视频序列进行匹配校正，从 而减少工业环境中的目标漏检、误检率，实现复杂 环境中头发区域的精准检测. 算法框架图如图 4 所示. 图中，Pk 为第 k 帧图像，Pk ’为 STC 预测的第 k 帧图像，Φ 为判断函数. 修正 1：ROI 区域提取. 如上文所述，SiamMask 模型初始 Mask 对视频后序识别的误差具有积累 性，因此在算法修正时首先对视频进行了识别目 标与非相关性背景的分离预处理[18] . 修正 2：STC 匹配校正. STC 模型是一种考量 了目标与背景相关性的算法理念，具有较高的目 标跟踪精度与速度. 本文基于 STC 算法，结合时间 与空间信息，根据对头发目标时空关系的在线学 习预测新的目标位置，并与 SiamMask 模型的跟踪 结果进行匹配校正. 1.3.1 工业视频 ROI 提取 本文所使用的视频来自于实际车工场地监控 镜头录制的彩色视频，分辨率为 1920×1080，帧率 为每秒 24 帧，总帧数截取 3427 帧. 从图 5（a）可以 看出，视频画面中包含多个机床工位，往来人员较 多，这给单个目标的跟踪、检测带来一定干扰. 面 对实际情况，针对单个车床目标，需要对获得的视 频进行 ROI 提取操作. 其中包括：视频 ROI 区域设 定、全图运动检测两部分. （1）ROI 区域设定. 具体 ROI 提取步骤中有两个关键点：ROI 区 域起点位置、ROI 区域的分辨率. 应用先验知识， 可以确定 ROI 区域左上角起点像素位置 A(x,y)， ROI 区域宽度为 lw，高度为 lh，如式 (1) 所示： x = l ′ w ×0.268 y = l ′ h ×0.502 lw = l ′ w ×0.426 lh = l ′ h ×0.497 （1） l ′ w l ′ 式中， 为原画面宽度， h 为原画面高度. 通过自动获取原始视频的信息，按照式（1）进 表 1 SiamMask 模型目标跟踪效果统计 Table 1 Statistics of target tracking effect of the SiamMask model Video No. Frame number of false detection Analysis on the causes of false inspection Total frames Failure rate/% 1 0 Little change in this movement 361 0 2 87 Misidentified as dark cloth 288 30.21 3 98 Part of the face is blocked by the hair 192 51.04 4 674 Initialization offset, screen will pop up in recognition 1380 48.84 5 131 The target moves out of the screen slightly and the recognition is lost 240 54.58 6 753 Large proportion of face selection in initialization area 1360 55.37 7 0 Accurate initialization and small action range 241 0 Video sequence ROI prpcessing Siam mask deep learning processunng Pk−2 Pk−1 × P′ k Pk Pk P′ k Φ>1 Φ<1 ☆ΦJudge 图 4 基于 SiamMask 模型的时空预测移动目标跟踪算法框架图 Fig.4 Framework of spatiotemporal prediction moving target tracking algorithms based on the SiamMask Model · 384 · 工程科学学报，第 42 卷，第 3 期
周珂等：复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法 385· b 图5车工监控视频ROI提取结果.(a)原始画面：(b)ROI提取画面 Fig.5 ROI extraction result of a locomotive monitoring video:(a)original picture;(b)ROI extraction picture 行相对比例的计算，处理结果如图5(b)所示，裁切 志赋值.在训练中选取灰度差阈值△1=30. 得到的视频宽度为816个像素、高度为536个像 步骤3：判断两个差值标志位逻辑结果同时为 素、ROI左上角起点坐标像素为(516,541) 1时，代表三帧中有运动目标存在 (2)ROI全图运动检测及自动提取. 步骤4：对于输入的序列图像，按照时序统计 步骤1：设e)为像素点(x)灰度值，对输 每三帧之间的灰度变化像素点的个数，当运动目 入视频相邻的三帧图像，进行像素点灰度值变化 标出现时，灰度变化像素点个数成跳变趋势，从该 计算 时刻进行ROI区域的提取，即按照ROI区域先验 步骤2：判断相邻帧之间灰度变化，对差值标 设定尺寸进行裁切.如图6所示 图6运动图像检测灰度图.()无运动目标时的原图/灰度图：(b)运动目标出现时的原图灰度图 Fig.6 Gray level image of moving image detection:(a)original image/gray level image without moving object.(b)original image/gray level image when moving object appears 1.3.2STC匹配校正 由目标矩形确定的局部上下文区域的图像灰度与 为了解决复杂环境、头发遮挡等对头部跟踪 位置的统计建模，c()为置信图函数如图7所 的影响，在深度学习框架后的滤波跟踪框架中融 示，对灰度级图像进行阈值化处理，得到的二值化 合了图像空间上下文信息，以实现对目标变化的 图像可进一步排除背景冗余信息. 自适应调整.STC图像空间上下文算法通过贝叶 设SiamMask模型第k帧追踪目标图像为Pk, 斯框架统计目标及其背景的相关性并进行置信图 空间上下文预测第k帧目标图像为P.设计判断 计算，根据置信图的似然概率最大位置预测新的 函数中进行Pk与P中目标位置的相似度比对，根据 目标位置 比对结果进行更新校正，形成新的目标跟踪结果. 根据当前帧确定上下文特征集合： 步骤1：计算k-1帧ROI区域置信图： T={ce=((e,∈2()片，其中，txy)是目标区 c-1(t)=>P(te(2).o)P(c(2)o) (2) 域中心，I)是目标区域像素z的灰度值，2()是 c(z)eTe a 图7图像灰度及國值化处理.()原始视频图像：(b)灰度化处理结果：(c)厨值化处理结果 Fig.7 Gray level and threshold processing of image:(a)original video image;(b)grayscale processing results,(c)threshold processing results
行相对比例的计算，处理结果如图 5（b）所示，裁切 得到的视频宽度为 816 个像素、高度为 536 个像 素、ROI 左上角起点坐标像素为（516，541）. （2）ROI 全图运动检测及自动提取. 步骤 1：设 Ik (z) 为像素点 z(xz ,yz ) 灰度值，对输 入视频相邻的三帧图像，进行像素点灰度值变化 计算. 步骤 2：判断相邻帧之间灰度变化，对差值标 志赋值. 在训练中选取灰度差阈值 ΔIT=30. 步骤 3：判断两个差值标志位逻辑结果同时为 1 时，代表三帧中有运动目标存在. 步骤 4：对于输入的序列图像，按照时序统计 每三帧之间的灰度变化像素点的个数，当运动目 标出现时，灰度变化像素点个数成跳变趋势，从该 时刻进行 ROI 区域的提取，即按照 ROI 区域先验 设定尺寸进行裁切. 如图 6 所示. 1.3.2 STC 匹配校正 为了解决复杂环境、头发遮挡等对头部跟踪 的影响，在深度学习框架后的滤波跟踪框架中融 合了图像空间上下文信息，以实现对目标变化的 自适应调整. STC 图像空间上下文算法通过贝叶 斯框架统计目标及其背景的相关性并进行置信图 计算，根据置信图的似然概率最大位置预测新的 目标位置. 根 据 当 前 帧 确 定 上 下 文 特 征 集 合 ： T c={c(z)=(I(z)， z)|z∈Ωc (t * )}，其中， t * (xt ,yt ) 是目标区 域中心，I(z) 是目标区域像素 z 的灰度值，Ωc (t * ) 是 由目标矩形确定的局部上下文区域的图像灰度与 位置的统计建模，c(z) 为置信图函数[19] . 如图 7 所 示，对灰度级图像进行阈值化处理，得到的二值化 图像可进一步排除背景冗余信息. P ′ k P ′ k 设 SiamMask 模型第 k 帧追踪目标图像为 Pk， 空间上下文预测第 k 帧目标图像为 . 设计判断 函数 Φ 进行 Pk 与 中目标位置的相似度比对，根据 比对结果进行更新校正，形成新的目标跟踪结果. 步骤 1：计算 k‒1 帧 ROI 区域置信图： ck−1(t) = ∑ c(z)∈T c P(t|c(z),o)P(c(z)|o) （2） (a) (b) 图 5 车工监控视频 ROI 提取结果. （a）原始画面；（b）ROI 提取画面 Fig.5 ROI extraction result of a locomotive monitoring video: (a) original picture; (b) ROI extraction picture (a) (b) 图 6 运动图像检测灰度图. （a）无运动目标时的原图/灰度图；（b）运动目标出现时的原图/灰度图 Fig.6 Gray level image of moving image detection: (a) original image / gray level image without moving object; (b) original image / gray level image when moving object appears (a) (b) (c) 图 7 图像灰度及阈值化处理. (a) 原始视频图像；(b) 灰度化处理结果；(c) 阈值化处理结果 Fig.7 Gray level and threshold processing of image: (a) original video image; (b) grayscale processing results; (c) threshold processing results 周 珂等： 复杂环境下一种基于 SiamMask 的时空预测移动目标跟踪算法 · 385 ·