计算机系统应用 http://www.c-s-a.org.cn 2016年第25卷第9期 人群异常识别技术研究进展 魏永超,庄夏2,傅强2 中国民用航空飞行学院飞行技术与飞行安全科研基地,广汉618307) (中国民用航空飞行学院科研处,广汉618307) 摘要:人群行为分析是计算机视觉领域最活跃的研究方向之一.有许多针对人群异常行为及检测的算法如人 群密度估计、人群中运动检测、人群跟踪和群体行为识别.在对目前人群异常行为进行总结分析,并概括出人群 异常的三大关键特征.并在次基础上,分别针对人群特征提取、异常识别技术、异常分类技术以及人群异常识别 数据库方面,对人群异常识别技术现状进行总结概括,并并对存在的问题,以及未来发展方向提出了研究的建议 和意见.文章对相关领域的研究具有一定的参考价值 关键词:人群;异常;行为建模;行为识别;数据库 Research progress on the Crowd abnormal recognition Technology WEI Yong-Chao, ZHUANG Xia, FU Qiang '(Academy of Flight Technology and Safety, Civil Aviation Flight University of China, Guanghan 618307, China) Department of Research, Civil Flight University of China, Guanghan 618307, China) Abstract: Crowd analysis becomes the most active-oriented research and trendy topic in computer vision nowadays Within the crowd, there exist many behavior anomalies or abnormalities. There are many ways of detecting these abnormalities such as crowd density estimation, crowd motion detection, crowd tracking and crowd behavior recognition The abnormal behaviors of crowd are analyzed, and the three key features of abnormal crowd are summarized. The feature extraction, anomaly identification technology, anomalies classification and databases of the crowd are respectively summarized, and the current problems, as well as the suggestions and comments about the future direction of research are then proposed. Article has a certain reference value for the research in related fields Key words: crowds; abnormal; behavior; behavioral modeling, behavioral recognition; database 随着人口的增加和人类活动的多样性,拥挤的场“计算机视觉、模式识别、软件计算、数学建模、数据 面已经越来越频繁大规模人群意外发生频率及帶来”挖掘,计算智能等领域的发展,异常行为检测的研究 的损伤也越来越多给公共管理以及公共安全带来了也取得了较大的发展然而,国内研究基本上在沿 巨大的挑战.因此,需要通过监控人群,对异常进行袭国外研究思路,很难有高水平的研究成果在该领域 检测和报警,从而避免发生人和财产损失.人群行为的重要期刊发表,因此,必须在充分梳理研究成果之 分析可以用于视频监控、人群管理、公共区域设计以上,提出自己的开拓性研究方法 及娱乐等众多行业.随着智能相机的发展,视频监控 本文从人群异常定义与特征描述,人群特征提取, 人群行为,使用人群分析技术,自动检测异常和报警人群异常建模技术,人群异常分类技术以及人群数据 是目前的研究方向 库方面对人群异常进行了全面系统分析,对研究现状 人群分析技术包括人群密度估计、人群中的运动进行了概括,对存在的问题进行分析,并对未来的研 检测、人群跟踪和人群行为的理解四个部分.且随着究提出了一些开拓性建议 ①基金项目:国家自然科学基金(61079022四川省科技基金(2015JY0188民航局科技创新基金(20150215);民航飞行学院科研基金(2012-43) 收稿时间2015-12-18收到修改稿时间201603-01doi:10.15888 cnkicsa.005330 10专论综述 Special Issue o巾国科学院软件研究所htp/www.c-s-a.org.cn
计 算 机 系 统 应 用 http://www.c-s-a.org.cn 2016 年 第 25 卷 第 9 期 10 专论·综述 Special Issue 人群异常识别技术研究进展① 魏永超 1 , 庄 夏 2 , 傅 强 2 1 (中国民用航空飞行学院 飞行技术与飞行安全科研基地, 广汉 618307) 2 (中国民用航空飞行学院 科研处, 广汉 618307) 摘 要: 人群行为分析是计算机视觉领域最活跃的研究方向之一. 有许多针对人群异常行为及检测的算法如人 群密度估计、人群中运动检测、人群跟踪和群体行为识别. 在对目前人群异常行为进行总结分析, 并概括出人群 异常的三大关键特征. 并在次基础上, 分别针对人群特征提取、异常识别技术、异常分类技术以及人群异常识别 数据库方面, 对人群异常识别技术现状进行总结概括, 并并对存在的问题, 以及未来发展方向提出了研究的建议 和意见. 文章对相关领域的研究具有一定的参考价值. 关键词: 人群; 异常; 行为建模; 行为识别; 数据库 Research Progress on the Crowd Abnormal Recognition Technology WEI Yong-Chao1 , ZHUANG Xia2 , FU Qiang2 1 (Academy of Flight Technology and Safety, Civil Aviation Flight University of China, Guanghan 618307, China) 2 (Department of Research, Civil Aviation Flight University of China, Guanghan 618307, China) Abstract: Crowd analysis becomes the most active-oriented research and trendy topic in computer vision nowadays. Within the crowd, there exist many behavior anomalies or abnormalities. There are many ways of detecting these abnormalities such as crowd density estimation, crowd motion detection, crowd tracking and crowd behavior recognition. The abnormal behaviors of crowd are analyzed, and the three key features of abnormal crowd are summarized. The feature extraction, anomaly identification technology, anomalies classification and databases of the crowd are respectively summarized, and the current problems, as well as the suggestions and comments about the future direction of research are then proposed. Article has a certain reference value for the research in related fields. Key words: crowds; abnormal; behavior; behavioral modeling; behavioral recognition; database 随着人口的增加和人类活动的多样性, 拥挤的场 面已经越来越频繁, 大规模人群意外发生频率及带来 的损伤也越来越多, 给公共管理以及公共安全带来了 巨大的挑战. 因此, 需要通过监控人群, 对异常进行 检测和报警, 从而避免发生人和财产损失. 人群行为 分析可以用于视频监控、人群管理、公共区域设计以 及娱乐等众多行业. 随着智能相机的发展, 视频监控 人群行为, 使用人群分析技术, 自动检测异常和报警 是目前的研究方向. 人群分析技术包括人群密度估计、人群中的运动 检测、人群跟踪和人群行为的理解四个部分. 且随着 计算机视觉、模式识别、软件计算、数学建模、数据 挖掘, 计算智能等领域的发展, 异常行为检测的研究 也取得了较大的发展. 然而, 国内研究[1-9]基本上在沿 袭国外研究思路, 很难有高水平的研究成果在该领域 的重要期刊发表, 因此, 必须在充分梳理研究成果之 上, 提出自己的开拓性研究方法. 本文从人群异常定义与特征描述, 人群特征提取, 人群异常建模技术, 人群异常分类技术以及人群数据 库方面对人群异常进行了全面系统分析, 对研究现状 进行了概括, 对存在的问题进行分析, 并对未来的研 究提出了一些开拓性建议. ① 基金项目:国家自然科学基金(61079022);四川省科技基金(2015JY0188);民航局科技创新基金(20150215);民航飞行学院科研基金(J2012-43) 收稿时间:2015-12-18;收到修改稿时间:2016-03-01 [doi:10.15888/j.cnki.csa.005330]
2016年第25卷第9期 http://www.c-s-a.org.cn 计算机系统应用 1人群异常分类及特征 运动强度值低,运动平缓;运动目标比较集中 人群是个体的集合,涉及如社会学、心理和物理 恐慌逃散是一类群体逃散事件.它同样是由于某 等中的一些现象人群场景分为两类结构化场景和种原因诱发的异常事件,它通常会伴随其它异常事件 非结构化场景.要识别异常,首先要对异常行为进行的发生,如踩踏、奔跑等.因此它是一类综合性的人群 定义.异常的定义是非正常的,不同于平常的异常现事件,如武汉地铁事件.这类事件的特点是:人数较 象。异常行为常指违反社会文明准则或成群体行为习多;现场混乱;快速移动;拥挤碰撞等 惯和标准的“反常”行为.当“异常”一词用作否定或贬 人群中异常事件是另一类人群异常事件总称.通 义时,通常指一种自毁行为.这种行为通常给自己或常是人群中发生的一个或者几个异常事件,会造成人 他人带来程度不同的悲伤或痛苦.异常人群是具有异群局部的状态异常.主要特点有:人群数量超过一定 常行为特征的一类人 阅值;局部运动特征发生改变;局部运动方向混乱等 1.1异常人群典型事件 12异常人群特征 根据研究的关注分类,异常事件分为暴力性质和 通过对异常人群事件特点进行分析,总结出通用 非暴力性质,暴力性质异常事件的直接造成人或财产一的代表性的人群异常特征人群密度和人群运动模式 的伤害或损失,这类事件通常伴随有高的运动能量 人群密度异常:人群密度或人数是异常人群的 而非暴力异常事件通常是会间接造成损失或伤害后果,个重要特征,不少人群异常检测算法都依赖人群密度 般有较低的运动能量汇聚 进行检测.人群密度反映不同的异常事件.人群异常 常见的暴力性屢的异常事件有:群殴、踩踏,游首先是人群密度超过阙值,其次就是高密度的场景是 行、骚乱、聚集、奔跑、恐慌逃散、人群中异常事件(如否有非正常事件的发生 步行街上的骑车、轮滑、轿车、急停急跑、检票口的 动模式异常:通常表现在人群的运动异常,如 逆行、逃票和徘徊等)等等.而常见的非暴力性质的异人群混乱等,人群运动特征的提取就可以表示人群异 常事件有:静坐、围观等.下面针对常见的暴力性质的常.运动模式特征通常分为运动速度和运动方向两类, 异常事件,对其特征进行分析 其中运动方向类包括运动方向直方图和方向概率分布 群殴是常见的人群密集场合的暴力事件,从字面等;运动速度类包括动能、运动熵和运动能量等 看个间2人 有人的无规律的运动,所以运动方向混乱.因此群殴 人群特征提取是进行人群异常行为识别的重要步 的三个主要特征为:人群密度超过一定阈值;运动强骤,特征提取是对人群行为进行识别和分类的重要依 度值较大;运动方向概率分布较广 -据稂据图像和对象分为像素级特征提取、纹理特征 骚乱通常是随机发生并混乱无秩序的通常也叫”提取、基于对象特征提取和基于帧的特征提取方法 暴动或群体事件或打砸抢烧骚乱通常是由于异常事 基于像素的特征通常通过边缘检测和背景/前景 件诱发的人群状态的改变。尤其是随着国际安全形势减法获取,且通常只关注底层的密度估计信息.文献 越来越严峻,这类事件发生的概率越来越高,以民航[10采用混合高斯算法检测变化,使用期望最大化算 为例,由于航班延误引发的骚乱事件有逐年增长的趋法确定其变量值和更新概率方程分布.文献[,几 势.然而,无论是何种原因诱发的骚乱,其特点主要何校正前景像素函数的测量距离成相同比例,像素计 有:数量多,规模较大;表现方式激烈,内部矛盾逐渐数的仿射变换和几何校正用于快速缩放文献[12]通 分化或对抗化;涉及的部门行业多,主体成分多元化;过测量城市边缘像素数量来防止犯罪,光流矢量和边 组织程度高等.总结其特征就是:人数密度大、运动强缘像素对人群密度信息进行分类 度值较大以及运动方向集中等 纹理分析集中图像块的高层次分析.文献[3]分 人群聚集是经常会导致后续暴力事件的发生.人析人体轮廓区域的纹理,用高斯核函数学习不同规模 群汇聚是在一定时间内同一地点人员数量的增长.人的人群,通过监督PCA特征数据聚类.文献[4]通过 群聚集事件通常包含以下特征:人群密度大或人数多;学习纹理的形状模型来估计准确的现场人数.文献[S] Special Issue专论综述l1 o巾国科学院软件研究所htp/www.c-s-a.org.cn
2016 年 第 25 卷 第 9 期 http://www.c-s-a.org.cn 计 算 机 系 统 应 用 Special Issue 专论·综述 11 1 人群异常分类及特征 人群是个体的集合, 涉及如社会学、心理和物理 等中的一些现象. 人群场景分为两类: 结构化场景和 非结构化场景. 要识别异常, 首先要对异常行为进行 定义. 异常的定义是非正常的, 不同于平常的异常现 象. 异常行为常指违反社会文明准则或成群体行为习 惯和标准的“反常”行为. 当“异常”一词用作否定或贬 义时, 通常指一种自毁行为. 这种行为通常给自己或 他人带来程度不同的悲伤或痛苦. 异常人群是具有异 常行为特征的一类人. 1.1 异常人群典型事件 根据研究的关注分类, 异常事件分为暴力性质和 非暴力性质. 暴力性质异常事件的直接造成人或财产 的伤害或损失, 这类事件通常伴随有高的运动能量. 而非暴力异常事件通常是会间接造成损失或伤害后果, 一般有较低的运动能量汇聚. 常见的暴力性质的异常事件有: 群殴、踩踏, 游 行、骚乱、聚集、奔跑、恐慌逃散、人群中异常事件(如 步行街上的骑车、轮滑、轿车、急停急跑、检票口的 逆行、逃票和徘徊等)等等. 而常见的非暴力性质的异 常事件有: 静坐、围观等. 下面针对常见的暴力性质的 异常事件, 对其特征进行分析. 群殴是常见的人群密集场合的暴力事件, 从字面 理解就是一群人互相殴打. 因此人群密度通常较大, 由于伴随着多个殴打事件, 运动剧烈. 同时群殴中, 有人的无规律的运动, 所以运动方向混乱. 因此群殴 的三个主要特征为: 人群密度超过一定阈值; 运动强 度值较大; 运动方向概率分布较广. 骚乱通常是随机发生并混乱无秩序的, 通常也叫 暴动或群体事件或打砸抢烧. 骚乱通常是由于异常事 件诱发的人群状态的改变. 尤其是随着国际安全形势 越来越严峻, 这类事件发生的概率越来越高, 以民航 为例, 由于航班延误引发的骚乱事件有逐年增长的趋 势. 然而, 无论是何种原因诱发的骚乱, 其特点主要 有: 数量多, 规模较大; 表现方式激烈, 内部矛盾逐渐 分化或对抗化; 涉及的部门行业多, 主体成分多元化; 组织程度高等. 总结其特征就是: 人数密度大、运动强 度值较大以及运动方向集中等. 人群聚集是经常会导致后续暴力事件的发生. 人 群汇聚是在一定时间内同一地点人员数量的增长. 人 群聚集事件通常包含以下特征: 人群密度大或人数多; 运动强度值低, 运动平缓; 运动目标比较集中. 恐慌逃散是一类群体逃散事件. 它同样是由于某 种原因诱发的异常事件, 它通常会伴随其它异常事件 的发生, 如踩踏、奔跑等. 因此它是一类综合性的人群 事件, 如武汉地铁事件. 这类事件的特点是: 人数较 多; 现场混乱; 快速移动; 拥挤碰撞等. 人群中异常事件是另一类人群异常事件总称. 通 常是人群中发生的一个或者几个异常事件, 会造成人 群局部的状态异常. 主要特点有: 人群数量超过一定 阈值; 局部运动特征发生改变; 局部运动方向混乱等. 1.2 异常人群特征 通过对异常人群事件特点进行分析, 总结出通用 的代表性的人群异常特征: 人群密度和人群运动模式. 人群密度异常: 人群密度或人数是异常人群的一 个重要特征, 不少人群异常检测算法都依赖人群密度 进行检测. 人群密度反映不同的异常事件. 人群异常 首先是人群密度超过阈值, 其次就是高密度的场景是 否有非正常事件的发生. 运动模式异常: 通常表现在人群的运动异常, 如 人群混乱等, 人群运动特征的提取就可以表示人群异 常. 运动模式特征通常分为运动速度和运动方向两类, 其中运动方向类包括运动方向直方图和方向概率分布 等; 运动速度类包括动能、运动熵和运动能量等. 2 人群特征提取 人群特征提取是进行人群异常行为识别的重要步 骤, 特征提取是对人群行为进行识别和分类的重要依 据. 根据图像和对象分为像素级特征提取、纹理特征 提取、基于对象特征提取和基于帧的特征提取方法. 基于像素的特征通常通过边缘检测和背景/前景 减法获取, 且通常只关注底层的密度估计信息. 文献 [10]采用混合高斯算法检测变化, 使用期望最大化算 法确定其变量值和更新概率方程分布. 文献[11]中, 几 何校正前景像素函数的测量距离成相同比例, 像素计 数的仿射变换和几何校正用于快速缩放. 文献[12]通 过测量城市边缘像素数量来防止犯罪, 光流矢量和边 缘像素对人群密度信息进行分类. 纹理分析集中图像块的高层次分析. 文献[13]分 析人体轮廓区域的纹理, 用高斯核函数学习不同规模 的人群, 通过监督 PCA 特征数据聚类. 文献[14]通过 学习纹理的形状模型来估计准确的现场人数. 文献[15]
算机系统应用 http://www.c-s-a.org.cn 2016年第25卷第9期 使用中心数据点的加权系数和内核密度估计其储存在3人群异常建模技术 平均图像中的完整数据,且核密度估计要选择合适的 人群异常行为建模方法根据应用不同,主要分为 尺寸 两类:基于个体对象的建模和基于整体的建模.其中 基于对象级的特征提取方法,通过确认场景中的群体整体异常行为建模是群体整体表现出异常行为 对象个体,从而可以获取更加准确的结果.文献[!6]通识别过程中不关注个体行为;而群体中局部异常行为 过搜索窗口的帧间纹理分析,找到对象运动的方向和识别是针对人群中单个或者几个个体表现出的非从众 速度,搜索窗口特征矢量成功帧,达到最佳匹配区域.行为,这些行为的识别需要关注个体行为,而不需要 基于帧图像分析是对视场内的整个场景行为建模关注群体的环境 文献[17提出二维鲁邦团块特征方法,本征空间描述31群体整体的异常建模技术 外观,主成分分析降低协方差数据的维数空间.然而 整体分析方法把人群作为一个实体来估计速度、 无法有效地描述背景移动物体.为了更准确的检测异方向和运动异常,涵盖中高密度人群场景.识别的目 常来表征每个人的形状,采用逐帧核查的方法 的是区分正常或异常状态人群相关方法通常会倾向 基于像素的特征提取属于底层特征提取方法,其。于检测塘于整体估计的运动变化或事件对于相关识 它属于高层特征提取方法基于像素和纹理的特征方别技术来说,不仅要检测异常场景的存在,也要准确 法通常用于人群密度异常的估计,对于人群行为无法确定事件的起始和结束,以及它们之间的转换过程 完成识别.而基于对象和帧的特征提取方法可以提取 文献[8]专注于人群的对称豪斯多夫距离集中层 出对象及行为特钲,因此可以进一步完成行为分类识分析跟踪,对称豪斯多夫距离定义成对接近和速度对 别,因此可以用于人群行为异常识别.一种方法通常人群场景视频进行定量和定性确认.文献9]集成了 无法完整检测异常,通常需要多种特征融合的方法进颗粒对流方法,以社会力构成流场基础,提取交互以 行异常检测,上述特征提取技术典型算法特点,行为确定图像帧的人群行为随时间的变化.文献[20]通过 识别类型及检测率结果如表1所示 集成低层运动特征去对人群方向和规模建模,使用基 表1算法对比 于区域的分割算法生成不同的运动模式,利用瞬时光 文献 算法描述 特点 检测率 流矢量分析检测异常行为 利用运动矢量进行 文献2通过直接对人群运动进有逃生和非逃生 特征建模,动态混合为运动边界担可检测人群拥建模,提出了一种视频中人群逃生检测的贝叶斯框架 10高斯结合EM算法以供光滑光流 挤、跌倒,人群模型人群运动特征通过光流场描述,相关的类条件概 及高斯时空滤波进减少背景噪声 跌倒检测准确率 率密度函数基于场属性进行构建.贝叶斯公式就可以 对大群逃生行为进行检测实验表明,该方法相比其它 可检测行走、站 以对象检测的特征 方法更准确检测人群逃逸行为.然而,该方法不适用于 /建模,几何校正结合立.高密度人尺群密度区域 高密度拥挤场面测,因为在这种情况下的人群逃避行 时间白适准刚方人群的非线性滤 95%检测率 为和低或中密度拥挤的场景相比,是显著不同的 滤波效果 为识别 好 整体分析方法是对整个人流分类为正常、异常或 对象及运动的特征 预定义行为,是把人群作为一个单一的实体,适合分 41建模,结合卡尔曼滤视点稳定性好 人群聚集、碰撞 析中高密度人群的结构化场景,以及高密度人群中行 准确率低于75% 为特征很少或者小到无法提取的场景.这种方法会忽 象及运动的特征人群分散,运 16建模,光流融合熵的动比的有效目 Recall =0.928 略个体差异,并认为人群中所有个体都有类似的运动 Precision= 100% 特性,从而从系统角度分析人群行为.但是,由于没 识别方法 标 有对象检测和跟踪的信息,同时发生的人群其他活动 运动矢量特征建模,不需要辅助训人群聚集100% 无法区分开,且非结构化场景的局部行为也无法处理 卡尔曼滤波空间以练,可以实现聚集与分开 及高斯颜色PDF结实时行为准确100%跟随 3.2基于个体对象的人群异常建模 合马氏距离识别 分类 基于个体对象的方法,以个人的集合来处理分析 12专论综述 Special Issue o巾国科学院软件研究所htp/www.c-s-a.org.cn
计 算 机 系 统 应 用 http://www.c-s-a.org.cn 2016 年 第 25 卷 第 9 期 12 专论·综述 Special Issue 使用中心数据点的加权系数和内核密度估计其储存在 平均图像中的完整数据, 且核密度估计要选择合适的 尺寸. 基于对象级的特征提取方法, 通过确认场景中的 对象个体, 从而可以获取更加准确的结果. 文献[16]通 过搜索窗口的帧间纹理分析, 找到对象运动的方向和 速度, 搜索窗口特征矢量成功帧, 达到最佳匹配区域. 基于帧图像分析是对视场内的整个场景行为建模. 文献[17]提出二维鲁邦团块特征方法, 本征空间描述 外观, 主成分分析降低协方差数据的维数空间. 然而, 无法有效地描述背景移动物体. 为了更准确的检测异 常来表征每个人的形状, 采用逐帧核查的方法. 基于像素的特征提取属于底层特征提取方法, 其 它属于高层特征提取方法. 基于像素和纹理的特征方 法通常用于人群密度异常的估计, 对于人群行为无法 完成识别. 而基于对象和帧的特征提取方法可以提取 出对象及行为特征, 因此可以进一步完成行为分类识 别, 因此可以用于人群行为异常识别. 一种方法通常 无法完整检测异常, 通常需要多种特征融合的方法进 行异常检测. 上述特征提取技术典型算法特点, 行为 识别类型及检测率结果如表 1 所示. 表 1 算法对比 文献 算法描述 特点 检测率 [10] 利用运动矢量进行 特征建模, 动态混合 高斯结合 EM 算法以 及高斯时空滤波进 行行为识别 为运动边界提 供光滑光流 , 减少背景噪声. 可检测人群拥 挤、跌倒, 人群 跌倒检测准确率 80% [11] 以对象检测的特征 建模, 几何校正结合 时间自适应准则行 为识别 可检测行走、站 立. 高密度人 群的非线性滤 波, 滤波效果 好 人群密度区域 95 %检测率 [14] 对象及运动的特征 建模, 结合卡尔曼滤 波的方法 视点稳定性好 人群聚集、碰撞. 准确率低于 75% [16] 对象及运动的特征 建模, 光流融合熵的 识别方法 人群分散, 运 动比的有效目 标 Recall = 0.928 Precision = 100% [17] 运动矢量特征建模, 卡尔曼滤波空间以 及高斯颜色 PDF 结 合马氏距离识别 不需要辅助训 练, 可以实现 实时行为准确 分类 人群聚集 100%; 聚集与分开 100%; 跟 随 93.7% 3 人群异常建模技术 人群异常行为建模方法根据应用不同, 主要分为 两类: 基于个体对象的建模和基于整体的建模. 其中 群体整体异常行为建模是群体整体表现出异常行为, 识别过程中不关注个体行为; 而群体中局部异常行为 识别是针对人群中单个或者几个个体表现出的非从众 行为, 这些行为的识别需要关注个体行为, 而不需要 关注群体的环境. 3.1 群体整体的异常建模技术 整体分析方法把人群作为一个实体来估计速度、 方向和运动异常, 涵盖中高密度人群场景. 识别的目 的是区分正常或异常状态人群. 相关方法通常会倾向 于检测基于整体估计的运动变化或事件. 对于相关识 别技术来说, 不仅要检测异常场景的存在, 也要准确 确定事件的起始和结束, 以及它们之间的转换过程. 文献[18]专注于人群的对称豪斯多夫距离集中层 分析跟踪, 对称豪斯多夫距离定义成对接近和速度对 人群场景视频进行定量和定性确认. 文献[19]集成了 颗粒对流方法, 以社会力构成流场基础, 提取交互以 确定图像帧的人群行为随时间的变化. 文献[20]通过 集成低层运动特征去对人群方向和规模建模, 使用基 于区域的分割算法生成不同的运动模式, 利用瞬时光 流矢量分析检测异常行为. 文献[21]通过直接对人群运动进行逃生和非逃生 建模, 提出了一种视频中人群逃生检测的贝叶斯框架 模型. 人群运动特征通过光流场描述, 相关的类条件概 率密度函数基于场属性进行构建. 贝叶斯公式就可以 对人群逃生行为进行检测. 实验表明, 该方法相比其它 方法更准确检测人群逃逸行为. 然而, 该方法不适用于 高密度拥挤场面测, 因为在这种情况下的人群逃避行 为和低或中密度拥挤的场景相比, 是显著不同的. 整体分析方法是对整个人流分类为正常、异常或 预定义行为, 是把人群作为一个单一的实体, 适合分 析中高密度人群的结构化场景, 以及高密度人群中行 为特征很少或者小到无法提取的场景. 这种方法会忽 略个体差异, 并认为人群中所有个体都有类似的运动 特性, 从而从系统角度分析人群行为. 但是, 由于没 有对象检测和跟踪的信息, 同时发生的人群其他活动 无法区分开, 且非结构化场景的局部行为也无法处理. 3.2 基于个体对象的人群异常建模 基于个体对象的方法, 以个人的集合来处理分析
2016年第25卷第9期 http://www.c-s-a.org.cn 计算机系统应用 估计其速度、方向和运动异常.以个人对象进行行为 常用的异常分类方法有:(1)贝叶斯方法可以实 的识别,可以准确定位出场景中异常发生位置及异常现行为的分类、建模和识别,分割模型,识别缓慢变化, 类型,是目前研究的热点.然而,当遮挡存在时,会影计算周期小,区分和预测人体运动等(2)支持向量机 响对象检测、跟踪,从而增加识别的复杂程度 实 现可调参数和结构风险最小化,无论是轮廓或者头 文献[2用每一个人的位置参数,以获得和表征部都可以提取和识别特征区,识别异常轨迹等.(3)隐 (自愿或非自愿)人群信息,用 orono图来理解人的运马尔可夫模型可以捕捉学习变化光流,正常和异常 动.提出了特征关联和二进制函数方法,其中特征相关行为分类,视觉编码,最大限度地提高检测率,能够 性估计头部中心的大致位置,而二进制函数定义个体提取静态和动态数据信息,可以处理运动类型的变化 之间距离.文献[23提出了低层的部分特征轨迹聚类,等.(4)马尔可夫随机场12可以减少错误检测和平滑区 以确定密集人群主要对象运动的方法,该算法自动定域边界,并从运动图形中提取连通区(5)高斯混合模 义的跟踪运动轨迹为点集合文献4提出了基于视频型可以对人的躯主的颜色或衣服)和底部(或裤子) 的外观和动力的动态纹理混合模型模型集的时空联合等建模,拟合概率密度,相邻的位置平滑过渡,从前 异常检测器、训练阶段,对每个场景的子区域进行正常。景生成模板。适应缓慢的背景变化,提取人的轮廓来 行为的动态纹理混合模型模型学习.在测试阶段,动态》获得纹理信息,学习各运动模式的特征等.(6)社会力 纹理混合模型的低概率值区域就认为是异常 模型冽可以处理和定位在人群中异常移动的单个粒子 文献3采用流形学习模型检测人群场景异常行(7)动态方向图叫可以确定和预测对象的行为,排列节 为,在场景的局部运动结构学习中,采用了空间时间点来定义每个时间分割片段的对象属性的分布(8)相 拉格朗日特征映射方法.此外,考虑多个局部区域的关主题模型叫可以捕捉不同的重叠和非重叠场景中人 时空可视上下文关系,创建图对.上述过程中嵌入局群行为,处理多模态的群体行为,可避开拥挤场面人 部运动类型到不同的空间位置,其中相似的类型通常体检测,直接处理低层流矢量.表2给出了上述分类 是临近的,而不同的运动类型相距甚远.这样就可以技术研究所应用的领域 群集嵌入点,并发现不同的运动模式.最后,局部概 表2分类技术应用 率模型用于拥挤场景中异常区域的局部化,小数据点 模型研究进展 集或离群点被认为是不正常的 贝叶斯行为分类建模与识别,建模识别光照周期下缓慢变化 基于局部的方法可以定位场景中的典型活动和互 区分和预测人的运动 支持向量较强的理论基础可调参数和结构风险最小化,头部区 动,检测正常和异常,并支持活动和交互的高层语义 域建模,识别异常轨迹 查询.然而,这些方法不能处理密集拥挤的场面,因 模式的捕获与 单个个体无法检测,且人群的动力学是混乱的在这的尔可为分类码视觉语境进行推理检测来高,议极低 种情况下,低层次视觉特征的空间分布也是混乱的 夫模型平滑运动帧序列能够提取静态和动态两种数据信息 处理运动多样本;描述时空动态,实现异常帧长度和位 随后的聚类程序也将无法正常工作垂 置变化 对异常行为识别分类方法依赖于我们观察人群的马尔可夫 角度:一个单一实体或一群独立的个体由于异常的 随机场减少分散的误检测,平滑区域边界,提取运动模式点 定义是主观的,且识别条件、数据库及检测标准的差 人体躯干(或衣服)和底部(或裤子)颜色模型的建模;更 异,通常难以对不同异常识别方法进行客观地比较 高斯混合新参数拟合概率密度,允许相邻的位置平稳过渡,生成 模型前景模板,适应缓慢的背景变化,如光照变化,提取人 本轮廓得到纹理信息;学习每个运动模式的特点 人群异常分类技术 社会力模 分类是异常人群识别中重要的组成部分,计算机 处理及定位人群中每个异常运动个体 视觉中的许多分类方法都可以用于异常分类.然而 动态方向识别和预测对象行为,安排节点定义对象属性的每个 由于异常定义通常有主观性,因此在应用中要根据实 付间分割的分布 际需求,采用适应的分类器进行异常分类,目前没有 相关主题|在场景中捕捉不同的重叠和不重叠的人群行为处理 模型 多模态的人群行为;可绕过拥挤场景的对象检测,直接 通用的分类算法 处理低层次流动矢量 Special Issue专论综述13 o巾国科学院软件研究所htp/www.c-s-a.org.cn
2016 年 第 25 卷 第 9 期 http://www.c-s-a.org.cn 计 算 机 系 统 应 用 Special Issue 专论·综述 13 估计其速度、方向和运动异常. 以个人对象进行行为 的识别, 可以准确定位出场景中异常发生位置及异常 类型, 是目前研究的热点. 然而, 当遮挡存在时, 会影 响对象检测、跟踪, 从而增加识别的复杂程度. 文献[22]用每一个人的位置参数, 以获得和表征 (自愿或非自愿)人群信息, 用 Voronoi 图来理解人的运 动. 提出了特征关联和二进制函数方法, 其中特征相关 性估计头部中心的大致位置, 而二进制函数定义个体 之间距离. 文献[23]提出了低层的部分特征轨迹聚类, 以确定密集人群主要对象运动的方法, 该算法自动定 义的跟踪运动轨迹为点集合. 文献[24]提出了基于视频 的外观和动力的动态纹理混合模型模型集的时空联合 异常检测器. 训练阶段, 对每个场景的子区域进行正常 行为的动态纹理混合模型模型学习. 在测试阶段, 动态 纹理混合模型的低概率值区域就认为是异常. 文献[25]采用流形学习模型检测人群场景异常行 为. 在场景的局部运动结构学习中, 采用了空间时间 拉格朗日特征映射方法. 此外, 考虑多个局部区域的 时空可视上下文关系, 创建图对. 上述过程中嵌入局 部运动类型到不同的空间位置, 其中相似的类型通常 是临近的, 而不同的运动类型相距甚远. 这样就可以 群集嵌入点, 并发现不同的运动模式. 最后, 局部概 率模型用于拥挤场景中异常区域的局部化, 小数据点 集或离群点被认为是不正常的. 基于局部的方法可以定位场景中的典型活动和互 动, 检测正常和异常, 并支持活动和交互的高层语义 查询. 然而, 这些方法不能处理密集拥挤的场面, 因 单个个体无法检测, 且人群的动力学是混乱的. 在这 种情况下, 低层次视觉特征的空间分布也是混乱的, 随后的聚类程序也将无法正常工作. 对异常行为识别分类方法依赖于我们观察人群的 角度: 一个单一实体或一群独立的个体. 由于异常的 定义是主观的, 且识别条件、数据库及检测标准的差 异, 通常难以对不同异常识别方法进行客观地比较. 4 人群异常分类技术 分类是异常人群识别中重要的组成部分, 计算机 视觉中的许多分类方法都可以用于异常分类. 然而, 由于异常定义通常有主观性, 因此在应用中要根据实 际需求, 采用适应的分类器进行异常分类, 目前没有 通用的分类算法. 常用的异常分类方法有: (1)贝叶斯方法[17]可以实 现行为的分类、建模和识别, 分割模型, 识别缓慢变化, 计算周期小, 区分和预测人体运动等. (2)支持向量机[26] 实现可调参数和结构风险最小化, 无论是轮廓或者头 部都可以提取和识别特征区, 识别异常轨迹等. (3)隐 马尔可夫模型[10]可以捕捉学习变化光流, 正常和异常 行为分类, 视觉编码, 最大限度地提高检测率, 能够 提取静态和动态数据信息, 可以处理运动类型的变化 等. (4)马尔可夫随机场[27]可以减少错误检测和平滑区 域边界, 并从运动图形中提取连通区. (5)高斯混合模 型[28]可以对人的躯干的颜色(或衣服)和底部(或裤子) 等建模, 拟合概率密度, 相邻的位置平滑过渡, 从前 景生成模板, 适应缓慢的背景变化, 提取人的轮廓来 获得纹理信息, 学习各运动模式的特征等. (6)社会力 模型[29]可以处理和定位在人群中异常移动的单个粒子. (7)动态方向图[30]可以确定和预测对象的行为, 排列节 点来定义每个时间分割片段的对象属性的分布. (8)相 关主题模型[31]可以捕捉不同的重叠和非重叠场景中人 群行为, 处理多模态的群体行为, 可避开拥挤场面人 体检测, 直接处理低层流矢量. 表 2 给出了上述分类 技术研究所应用的领域. 表 2 分类技术应用 模型 模型研究进展 贝叶斯 行为分类、建模与识别; 建模识别光照周期下缓慢变化; 区分和预测人的运动 支持向量 机 较强的理论基础; 可调参数和结构风险最小化; 头部区 域建模; 识别异常轨迹 隐马尔可 夫模型 光流模式的捕获与学习; 异常行为分类; 正常和异常行 为分类; 编码视觉语境进行推理; 检测率高, 误报低; 平滑运动帧序列; 能够提取静态和动态两种数据信息; 处理运动多样本; 描述时空动态, 实现异常帧长度和位 置变化. 马尔可夫 随机场 减少分散的误检测, 平滑区域边界; 提取运动模式点 高斯混合 模型 人体躯干(或衣服)和底部(或裤子)颜色模型的建模; 更 新参数拟合概率密度; 允许相邻的位置平稳过渡; 生成 前景模板; 适应缓慢的背景变化, 如光照变化; 提取人 体轮廓得到纹理信息; 学习每个运动模式的特点. 社会力模 型 处理及定位人群中每个异常运动个体 动态方向 图 识别和预测对象行为; 安排节点定义对象属性的每个 时间分割的分布 相关主题 模型 在场景中捕捉不同的重叠和不重叠的人群行为; 处理 多模态的人群行为; 可绕过拥挤场景的对象检测, 直接 处理低层次流动矢量
算机系统应用 http://www.c-s-a.org.cn 2016年第25卷第9期 5人群行为识别数据库 包括两个子数据集:交通数据集(麻省理工学院的交通 数据是人群行为识别研究的基础,为了更加方便录像)和行人数据集.交通数据集包括90分钟长的交 开展相关研究工作,陆续有研究机构采集人群异常行通视频序列,一些抽样帧的行人基础事实是手动标记 为数据,构建了相关数据库并进行公开,从而一定程的.行人数据集记录了纽约的大中央车站,包含一个 度推动了人群行为研究.这些数据库为行为识别的研长30分钟的视频,无任何标记或事实的数据 究提供了重要参考依据.下面将对代表性的人群行为 (6)MALL数据库该数据集有两个子集:第 数据库的进行概括 是三个不同的密集的十字路口近60分钟的交通流视 (1) USCD(University of California, San diego)异常频;第二个是从一个可公开访问的购物中心的网络相 检测数据库.数据由加州大学圣地亚哥分校创建,机上获取的视频.对2000帧视频中的60000人进行 数据是通过安装在一定高度、俯视人行道的摄像机,了标记,每一个行人的头部位置也进行了标记因此 采集自然状态下发生的异常行为异常行为包含两类:这个数据集方便于人群计数和轮廓分析的研究 非人实体闯入和人行为异常.异常种类包括骑自行 7) PETs 2009(Performance Evaluation of Tracking 车、滑冰、小推车、行人横穿人行道、侵入草地等,同 and Surveillan数据库此数据集包含了多传感 时也记录人在轮椅上的几个实例数据由98个视频组器的不同人群的活动序列,共有9个视频它由五个 成,被分成2不同的场景的子集,每个场景录制的视组成部分:校准数据、训练数据、计数和密度估计数 频录像被分成约200帧的各个片段该数据库主要针据、跟踪数据以及流量分析和事件识别数据每个子 对是人群中个体行为的识研究 集包含多个视频序列,每个序列由4到8个不同视角 (2) UMN(University of Minnesota)数据库明尼拍摄 苏达州大学创建的一个数据库,由11个视频组成,包 (8)RWc( Rodriguezs web- Collected收集网络数据 含了正常和异常视频.每个视频起始部分是正常行为,库罗德里格斯的网络收集的数据集,由520个视 随后为异常行为视频序列。人群异常行为主要包括:频组成。抓取和下载搜索引擎和素材网站的视频源 人群单方向跑动、人群四散等.该视频数据库采集的例如, Getty images和 You Tube等,构建其数据库.除了 视频人为安排的异常行为.该数据库针对的整体人群大量人群视频外,数据集还随机从集合中选择所有运 行为识别 动的人中,记录了100个人的地通真实轨迹.该数据 (3) UCF(University of Central Florid数据叫集是不向公众开放的 该数据库由中佛罗里达大学创建,包含了99个视频片 (9) UH(University of Haifa)数据库.视频来自五 段。该数据库主要是收集 BBC Motion Gallery、个采集点的八个摄像机,分别是食堂1个,地铁入口1 Youtube、 Thought Equity和 Getty-Images等网站视频个,地铁出口1个,车库出口1个,公交车站1个,商 数据,用于公开的科学研究特点是在照明和视野的场3个,食堂和公交车站采用人为架设摄像机采集, 变化,可以用于拥挤场面开发的算法的性能评价、该其它地点来自监控所有视频中事件都进行了人为标 数据集包含的人群和其他高密度移动物体的视频.可记,方便算法的测试.数据库从食堂采集11分钟视频, 以用于人群行为识别研究以及拥挤人群行为研究 地铁入口1小时36分视频,地铁出口43分钟视频,车 (4)ⅤIF( violent flow)数据库由以色列开放大库出口5小时20分视频,公交车站2分20秒视频,商 学创建的人群数据库,主要关注的是人群暴力行为.场共155分钟视频.异常行为有自然发生,也有人为 由246个视频组成,所有的视频从 YouTube下载的,视设计的 频来源是真实的现实暴力录影.数据库旨在为检验暴 人群异常数据库已经有一定的规模,且基本都是 力/非暴力分类和暴力标准提供测试依据.视频中,最公开的,可以用于人群异常行为的研究.但是,目前 短剪辑的持续时间为104秒,最长剪辑6.52秒,视频的人群数据库还没有形成体系,更多的都是研究团队 片段的平均长度为360秒 自己采集的视频,没有相关标准,视频种类繁多,这 (5)CUHK( Chinese University of Hong Kong)数据样一定程度限制了人群行为识别的研究.因此,标准 库该数据集用于拥挤场景下活动或行为研究.它的人群数据库的建立是需要进一步开展的相关工作 14专论综述 Special Issue o巾国科学院软件研究所htp/www.c-s-a.org.cn
计 算 机 系 统 应 用 http://www.c-s-a.org.cn 2016 年 第 25 卷 第 9 期 14 专论·综述 Special Issue 5 人群行为识别数据库 数据是人群行为识别研究的基础, 为了更加方便 开展相关研究工作, 陆续有研究机构采集人群异常行 为数据, 构建了相关数据库并进行公开, 从而一定程 度推动了人群行为研究. 这些数据库为行为识别的研 究提供了重要参考依据. 下面将对代表性的人群行为 数据库的进行概括. (1) USCD(University of California, San Diego)异常 检测数据库[32]. 数据由加州大学圣地亚哥分校创建, 数据是通过安装在一定高度、俯视人行道的摄像机, 采集自然状态下发生的异常行为. 异常行为包含两类: 非人实体闯入和人行为异常. 异常种类包括骑自行 车、滑冰、小推车、行人横穿人行道、侵入草地等, 同 时也记录人在轮椅上的几个实例. 数据由 98 个视频组 成, 被分成 2 不同的场景的子集, 每个场景录制的视 频录像被分成约 200 帧的各个片段. 该数据库主要针 对是人群中个体行为的识别研究. (2) UMN(University of Minnesota)数据库[33]. 明尼 苏达州大学创建的一个数据库, 由 11 个视频组成, 包 含了正常和异常视频. 每个视频起始部分是正常行为, 随后为异常行为视频序列. 人群异常行为主要包括: 人群单方向跑动、人群四散等. 该视频数据库采集的 视频人为安排的异常行为. 该数据库针对的整体人群 行为识别. (3) UCF(University of Central Florida)数据库[34]. 该数据库由中佛罗里达大学创建, 包含了 99 个视频片 段. 该数据库主要是收集 BBC Motion Gallery、 Youtube、 Thought Equity 和 Getty-Images 等网站视频 数据, 用于公开的科学研究. 特点是在照明和视野的 变化, 可以用于拥挤场面开发的算法的性能评价. 该 数据集包含的人群和其他高密度移动物体的视频. 可 以用于人群行为识别研究以及拥挤人群行为研究. (4) VIF(violent flow)数据库[35]. 由以色列开放大 学创建的人群数据库, 主要关注的是人群暴力行为. 由246个视频组成, 所有的视频从YouTube下载的, 视 频来源是真实的现实暴力录影. 数据库旨在为检验暴 力/非暴力分类和暴力标准提供测试依据. 视频中, 最 短剪辑的持续时间为 1.04 秒, 最长剪辑 6.52 秒, 视频 片段的平均长度为 3.60 秒. (5) CUHK(Chinese University of Hong Kong) 数据 库[36]. 该数据集用于拥挤场景下活动或行为研究. 它 包括两个子数据集: 交通数据集(麻省理工学院的交通 录像)和行人数据集. 交通数据集包括 90 分钟长的交 通视频序列, 一些抽样帧的行人基础事实是手动标记 的. 行人数据集记录了纽约的大中央车站, 包含一个 长 30 分钟的视频, 无任何标记或事实的数据. (6) MALL 数据库[37]. 该数据集有两个子集: 第一 是三个不同的密集的十字路口近 60 分钟的交通流视 频; 第二个是从一个可公开访问的购物中心的网络相 机上获取的视频. 对 2000 帧视频中的 60000 行人进行 了标记, 每一个行人的头部位置也进行了标记. 因此, 这个数据集方便于人群计数和轮廓分析的研究. (7) PETS 2009(Performance Evaluation of Tracking and Surveillance) 数据库[38]. 此数据集包含了多传感 器的不同人群的活动序列, 共有 9 个视频. 它由五个 组成部分: 校准数据、训练数据、计数和密度估计数 据、跟踪数据以及流量分析和事件识别数据. 每个子 集包含多个视频序列, 每个序列由 4 到 8 个不同视角 拍摄. (8) RWC(Rodriguezs Web-Collected)收集网络数据 库[39]. 罗德里格斯的网络收集的数据集, 由 520 个视 频组成. 抓取和下载搜索引擎和素材网站的视频源, 例如, Gettyimages和YouTube等, 构建其数据库. 除了 大量人群视频外, 数据集还随机从集合中选择所有运 动的人中, 记录了 100 个人的地面真实轨迹. 该数据 集是不向公众开放的. (9) UH(University of Haifa)数据库[40]. 视频来自五 个采集点的八个摄像机, 分别是食堂 1 个, 地铁入口 1 个, 地铁出口 1 个, 车库出口 1 个, 公交车站 1 个, 商 场 3 个, 食堂和公交车站采用人为架设摄像机采集, 其它地点来自监控. 所有视频中事件都进行了人为标 记, 方便算法的测试. 数据库从食堂采集 11 分钟视频, 地铁入口 1 小时 36 分视频, 地铁出口 43 分钟视频, 车 库出口 5 小时 20 分视频, 公交车站 2 分 20 秒视频, 商 场共 155 分钟视频. 异常行为有自然发生, 也有人为 设计的. 人群异常数据库已经有一定的规模, 且基本都是 公开的, 可以用于人群异常行为的研究. 但是, 目前 的人群数据库还没有形成体系, 更多的都是研究团队 自己采集的视频, 没有相关标准, 视频种类繁多, 这 样一定程度限制了人群行为识别的研究. 因此, 标准 的人群数据库的建立是需要进一步开展的相关工作