第12卷第4期 智能系统学报 Vol.12 No.4 2017年8月 CAAI Transactions on Intelligent Systems Aug.2017 D0I:10.11992/is.201607021 网络出版地址:http://kns.cmki.net/kcms/detail/23.1538.tp.20170407.1734.006.html 维度加权模式动态纹理特征的火焰检测 严云洋12,陈垂雄2,刘以安2,高尚兵 (1.淮阴工学院计算机与软件工程学院,江苏淮安223003:2.江南大学物联网工程学院,江苏无锡214122) 摘要:对疑似火焰区域提取纹理特征时,用局部三值模式描述火焰静态纹理特征不利于区分火焰与其他纹理均匀 的干扰物,用KNN算法(k-nearest neighbor algorithm)分类效率较低。针对这些问题,提出用三正交平面局部混合模 式(three orthogonal planes local mixed pattern,LMP-TOP)描述火焰的静动态纹理,再输人维度加权的支持向量机进行 分类识别。LMP.TOP是对第一维Y平面,采用八邻域的均匀局部二值模式(uniform local binary pattern,LBP2)三 正交平面局部混合模式表示火焰的静态纹理特征:对第二维XT和第三维YT平面,则采用局部三值模式(1oCal ternary patter,.LTP)融入火焰在时间维度上的变化信息,这样在得到火焰的静态特征的同时也融入了其动态特征。 根据3个维度单独用于识别的准确率,赋予其相应的权重,用维度加权的支持向量机进行分类识别。实验结果表明, 相比Sthevanie等算法,本文所提出的方法火焰识别率和检测效率均较高。 关键词:静态纹理:动态纹理:正交特征:加权特征:支持向量机:火焰检测:特征提取:局部二值模式 中图分类号:TP391文献标志码:A文章编号:1673-4785(2017)04-0548-08 中文引用格式:严云洋,陈垂雄,刘以安,等.维度加权模式动态纹理特征的火焰检测[J].智能系统学报,2017,12(4):548-555. 英文引用格式:YAN Yunyang,CHEN Chuixiong,LIU Yi'an,etal.Fire detection based on dynamic texture features under a dimension-weighted mode[J].CAAI transactions on intelligent systems,2017,12(4):548-555. Fire detection based on dynamic texture features under a dimension-weighted mode YAN Yunyang'2,CHEN Chuixiong'2,LIU Yi'an?,GAO Shangbing' (1.Faculty of Computer Software Engineering,Huaiyin Institute of Technology,Huaian 223003,China;2.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China) Abstract:In fire detection modeling,a local ternary pattern is generally used to extract the static and dynamic textures of the suspected flame.But it is difficult to distinguish the flame from other uniform texture interferences when a local ternary pattern is used to describe the static texture features.The efficiency is low when the KNN(k- Nearest Neighbor)algorithm is used for classification.Aimed at solving these problems,a novel method is proposed here,whereby an LMP-TOP (local mixed pattern-three orthogonal planes)method is used to depict the static and dynamic textures of a suspected flame area.A dimension-weighted support vector machine was used for the classification.Applying LMP-TOP,an eight neighborhood uniform local binary pattern (LBP)was used to denote the static texture features of the flame on the 1st-dimension plane XY,and a local ternary pattern was used to describe the change in flame information on the 2nd-and 3rd-dimension planes,XT and YT respectively,by fusing with information in the time dimension.The static and dynamic characteristics of the flame were therefore integrated. The dimension weight was assigned according to the individual recognition accuracy.Then,a support vector machine with dimension weighting was used for classification.Experimental results show that the accuracy of flame identification and the detection efficiency are better with the proposed method than with corresponding algorithms such as Sthevanie. Keywords:static texture;dynamic texture;orthogonal feature;weighted feature;support vector machine;flame detection;feature extraction;local binary pattern 基于视觉的火灾检测相比传统的火灾检测方 法具有反应快、适用范围广等优点,因此正成为火 灾检测技术应用研究的热点,而基于视觉的火焰检 收稿日期:2016-07-22.网络出版日期:2017-04-07. 基金项目:国家自然科学基金项目(61402192):江苏省“六大人才高峰”项目 测是基于视觉的火灾检测的一个重要依据。但基 (2013DZXX-023):江苏省“333工程”(BRA2013208):淮安市科技 于视觉的火焰检测方法目前仍存在着鲁棒性差、检 计划项目(HAG2013057,HAG2013059) 通信作者:严云洋.E-mail:areyyyke@163.com. 测效率低等问题。纹理特征是火焰图像的一种静
第 12 卷第 4 期 智 能 系 统 学 报 Vol.12 №.4 2017 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2017 DOI:10.11992 / tis.201607021 网络出版地址:http: / / kns.cnki.net / kcms/ detail / 23.1538.tp.20170407.1734.006.html 维度加权模式动态纹理特征的火焰检测 严云洋1,2 ,陈垂雄1,2 ,刘以安2 ,高尚兵1 (1.淮阴工学院 计算机与软件工程学院,江苏 淮安 223003; 2.江南大学 物联网工程学院,江苏 无锡 214122) 摘 要:对疑似火焰区域提取纹理特征时,用局部三值模式描述火焰静态纹理特征不利于区分火焰与其他纹理均匀 的干扰物,用 KNN 算法(k⁃nearest neighbor algorithm)分类效率较低。 针对这些问题,提出用三正交平面局部混合模 式(three orthogonal planes local mixed pattern, LMP⁃TOP)描述火焰的静动态纹理,再输入维度加权的支持向量机进行 分类识别。 LMP⁃TOP 是对第一维 XY 平面,采用八邻域的均匀局部二值模式( uniform local binary pattern, LBP u2 )三 正交平面局部混合模式表示火焰的静态纹理特征;对第二维 XT 和第三维 YT 平面,则采用局部三值模式( local ternary patter, LTP)融入火焰在时间维度上的变化信息,这样在得到火焰的静态特征的同时也融入了其动态特征。 根据 3 个维度单独用于识别的准确率,赋予其相应的权重,用维度加权的支持向量机进行分类识别。 实验结果表明, 相比 Sthevanie 等算法,本文所提出的方法火焰识别率和检测效率均较高。 关键词:静态纹理;动态纹理;正交特征;加权特征;支持向量机;火焰检测;特征提取;局部二值模式 中图分类号:TP391 文献标志码:A 文章编号:1673-4785(2017)04-0548-08 中文引用格式:严云洋,陈垂雄,刘以安,等. 维度加权模式动态纹理特征的火焰检测[J]. 智能系统学报, 2017, 12(4): 548-555. 英文引用格式:YAN Yunyang, CHEN Chuixiong, LIU Yi’ an, et al. Fire detection based on dynamic texture features under a dimension⁃weighted mode[J]. CAAI transactions on intelligent systems, 2017, 12(4): 548-555. Fire detection based on dynamic texture features under a dimension⁃weighted mode YAN Yunyang 1,2 , CHEN Chuixiong 1,2 , LIU Yi’an 2 , GAO Shangbing 1 (1. Faculty of Computer & Software Engineering, Huaiyin Institute of Technology, Huaian 223003, China;2. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China) Abstract:In fire detection modeling, a local ternary pattern is generally used to extract the static and dynamic textures of the suspected flame. But it is difficult to distinguish the flame from other uniform texture interferences when a local ternary pattern is used to describe the static texture features. The efficiency is low when the KNN (k⁃ Nearest Neighbor) algorithm is used for classification. Aimed at solving these problems, a novel method is proposed here, whereby an LMP⁃TOP (local mixed pattern⁃three orthogonal planes) method is used to depict the static and dynamic textures of a suspected flame area. A dimension⁃weighted support vector machine was used for the classification. Applying LMP⁃TOP, an eight neighborhood uniform local binary pattern (LBP u2 ) was used to denote the static texture features of the flame on the 1st⁃dimension plane XY, and a local ternary pattern was used to describe the change in flame information on the 2nd⁃and 3rd ⁃dimension planes, XT and YT respectively, by fusing with information in the time dimension. The static and dynamic characteristics of the flame were therefore integrated. The dimension weight was assigned according to the individual recognition accuracy. Then, a support vector machine with dimension weighting was used for classification. Experimental results show that the accuracy of flame identification and the detection efficiency are better with the proposed method than with corresponding algorithms such as Sthevanie. Keywords: static texture; dynamic texture; orthogonal feature; weighted feature; support vector machine; flame detection; feature extraction; local binary pattern 收稿日期:2016-07-22. 网络出版日期:2017-04-07. 基金项目:国家自然科学基金项目(61402192);江苏省“六大人才高峰”项目 (2013DZXX⁃023);江苏省“333 工程”(BRA2013208);淮安市科技 计划项目(HAG2013057,HAG2013059). 通信作者:严云洋. E⁃mail:areyyyke@ 163.com. 基于视觉的火灾检测相比传统的火灾检测方 法具有反应快、适用范围广等优点,因此正成为火 灾检测技术应用研究的热点,而基于视觉的火焰检 测是基于视觉的火灾检测的一个重要依据。 但基 于视觉的火焰检测方法目前仍存在着鲁棒性差、检 测效率低等问题。 纹理特征是火焰图像的一种静
第4期 严云洋,等.维度加权模式动态纹理特征的火焰检测 ·549. 态特征,反映的是图像或图像区域像素亮度值在空 进行分类识别,即根据火焰纹理3个维度单独作用 间中分布与组合的变化情况,通过纹理判别,可以 的识别率赋予相应的权重,再用支持向量机分类识 有效排除与火焰相近的一些干扰物。龙铭等]选 别。实验结果表明,本文算法相比S山hevanie等[u) 取反差、灰度相关、能量和逆差矩等4种纹理特征统 的算法在火焰识别准确率和检测效率上都有较大 计量,描述了火焰图像分割区域的灰度纹理特征: 的提高,在Bilkent大学火灾视频库的实验中,本文 严云洋等[和卢英)]等用多尺度局部二值模式 算法也表现出了较高的火焰检测率和较低的误 (local binary pattern,LBP)特征描述火焰的静态纹 检率。 理,从而得到更全面的火焰特征信息。卢英等[还 1 基于LMP-TOP的火焰动态纹理 提出了一种基于多尺度LBP与GBP纹理特征的火 焰识别算法,提高大空间建筑场景中基于视频图像 提取 的火灾的识别率。张彤等5刃对火焰纹理的局部二 通常情况下,视频序列可以看成XY平面在时 值模式进行了不同方向的研究。实际上,火焰不仅 间轴T上的堆积,然而,它其实也是XT平面在Y轴 有静态时特定的纹理,也有动态时纹理的某些变化 上的堆积或者T平面在X轴上的堆积。Y平面 特征。比如火焰区域的某些像素灰度值在时域上 代表了物体的表观信息,XT平面给出了某一行随着 会有较大的变化,特别是处于火焰边缘区域的像 时间变化的视觉信息,而YT平面则给出了某一列 素。邵婧等提出了一种基于动态纹理特征分析 随着时间变化的视觉信息,如图1所示,左边为400 的新型图像型火灾检测算法;赵亚琴)提出一种利 ×300×250的视频序列。Zhao等[山对视频序列除 用旅行者行为图论的火灾火焰视频动态纹理分析 边界外的所有像素分别提取XY、XT、YT3个正交平 与识别方法:Audrey等[io]则利用简单的纹理描述器 面的LBP,然后将它们连接成一个特征直方图,处理 去说明大约98%的火焰检测。可见火焰的静、动态 过程如图2所示。通过这种方法,就同时考虑了纹 纹理对火焰的识别都是有效的,如果在提取火焰静 理在时间和空间上的信息。对于XY、XT、YT3个平 态纹理特征的同时,能恰当地描述火焰的动态纹 面的邻域采样点个数和X、Y、T3个方向的半径都可 理,将有助于更准确地描述火焰,从而提高火焰检 以不同,它们分别被表示为P、PT、Pr以及Rx 测的准确率;Zhao等)对LBP进行了较为合理的 Ry、R,这样相应的动态纹理特征就被标记为 扩展,提出了具有代表性的卷积局部二值模式 (volume local binary pattern,VLBP),把时域信息融 LBP-TOP 入动态纹理中。同时,为了减少计算量和使算子更 容易扩展,又提出仅仅考虑3个正交平面上的2维 LBP模式,得到了三正交平面局部二值模式(three orthogonal planes local binary pattern,LBP-TOP ) 并将该方法用于人脸表情识别,取得了显著的成 果。许多研究表明LBP-TOP在描述动态纹理方面 能取得不错的效果。Xu等[]将其用于拥挤场景中 检测不寻常的事件:Sthevanie等]将LBP-TOP稍 作改变用于火焰动态纹理识别,以加速火焰识别过 程,并用KNN算法对火焰视频与非火焰视频进行 (a)400×300x250的视频 分类。 本文考虑到有些火焰呈现大面积白色,表面相 对平滑,如果按照Sthevanie等[)]方法,将火焰XY 平面的纹理特征用LTP)表示,在阈值的作用下静 态纹理模式将过于集中,不利于与其他干扰物区 别。因此本文将八邻域的LBP2[s]作为XY平面的 静态纹理特征描述子,在尽可能保留火焰静态纹理 模式的同时,不至于维数过多。同时,Sthevanie 等]用KNN算法对火焰纹理的三维特征进行分类 识别,考虑到3个维度的特征串联维数较多,用 KNN算法效率较低,本文用维度加权的支持向量机 (b)XY平面视觉效果
态特征,反映的是图像或图像区域像素亮度值在空 间中分布与组合的变化情况,通过纹理判别,可以 有效排除与火焰相近的一些干扰物。 龙铭等[1] 选 取反差、灰度相关、能量和逆差矩等 4 种纹理特征统 计量,描述了火焰图像分割区域的灰度纹理特征; 严云洋等[2] 和卢英[3] 等用多尺度局部二值模式 (local binary pattern,LBP) 特征描述火焰的静态纹 理,从而得到更全面的火焰特征信息。 卢英等[4] 还 提出了一种基于多尺度 LBP 与 GBP 纹理特征的火 焰识别算法,提高大空间建筑场景中基于视频图像 的火灾的识别率。 张彤等[5-7] 对火焰纹理的局部二 值模式进行了不同方向的研究。 实际上,火焰不仅 有静态时特定的纹理,也有动态时纹理的某些变化 特征。 比如火焰区域的某些像素灰度值在时域上 会有较大的变化,特别是处于火焰边缘区域的像 素。 邵婧等[8] 提出了一种基于动态纹理特征分析 的新型图像型火灾检测算法;赵亚琴[9] 提出一种利 用旅行者行为图论的火灾火焰视频动态纹理分析 与识别方法;Audrey 等[10]则利用简单的纹理描述器 去说明大约 98%的火焰检测。 可见火焰的静、动态 纹理对火焰的识别都是有效的,如果在提取火焰静 态纹理特征的同时,能恰当地描述火焰的动态纹 理,将有助于更准确地描述火焰,从而提高火焰检 测的准确率;Zhao 等[11] 对 LBP 进行了较为合理的 扩展,提 出 了 具 有 代 表 性 的 卷 积 局 部 二 值 模 式 (volume local binary pattern,VLBP),把时域信息融 入动态纹理中。 同时,为了减少计算量和使算子更 容易扩展,又提出仅仅考虑 3 个正交平面上的 2 维 LBP 模式,得到了三正交平面局部二值模式( three orthogonal planes local binary pattern, LBP⁃TOP )。 并将该方法用于人脸表情识别,取得了显著的成 果。 许多研究表明 LBP⁃TOP 在描述动态纹理方面 能取得不错的效果。 Xu 等[12]将其用于拥挤场景中 检测不寻常的事件;Sthevanie 等[13] 将 LBP⁃TOP 稍 作改变用于火焰动态纹理识别,以加速火焰识别过 程,并用 KNN 算法对火焰视频与非火焰视频进行 分类。 本文考虑到有些火焰呈现大面积白色,表面相 对平滑,如果按照 Sthevanie 等[13] 方法,将火焰 XY 平面的纹理特征用 LTP [14]表示,在阈值的作用下静 态纹理模式将过于集中,不利于与其他干扰物区 别。 因此本文将八邻域的 LBP u2 [15] 作为 XY 平面的 静态纹理特征描述子,在尽可能保留火焰静态纹理 模式 的 同 时, 不 至 于 维 数 过 多。 同 时, Sthevanie 等[13]用 KNN 算法对火焰纹理的三维特征进行分类 识别,考虑到 3 个维度的特征串联维数较多,用 KNN 算法效率较低,本文用维度加权的支持向量机 进行分类识别,即根据火焰纹理 3 个维度单独作用 的识别率赋予相应的权重,再用支持向量机分类识 别。 实验结果表明,本文算法相比 Sthevanie 等[13] 的算法在火焰识别准确率和检测效率上都有较大 的提高,在 Bilkent 大学火灾视频库的实验中,本文 算法也表现出了较高的火焰检测率和较低的误 检率。 1 基于 LMP⁃TOP 的火焰动态纹理 提取 通常情况下,视频序列可以看成 XY 平面在时 间轴 T 上的堆积,然而,它其实也是 XT 平面在 Y 轴 上的堆积或者 YT 平面在 X 轴上的堆积。 XY 平面 代表了物体的表观信息,XT 平面给出了某一行随着 时间变化的视觉信息,而 YT 平面则给出了某一列 随着时间变化的视觉信息,如图 1 所示,左边为 400 ×300×250 的视频序列。 Zhao 等[11] 对视频序列除 边界外的所有像素分别提取 XY、XT、YT 3 个正交平 面的 LBP,然后将它们连接成一个特征直方图,处理 过程如图 2 所示。 通过这种方法,就同时考虑了纹 理在时间和空间上的信息。 对于 XY、XT、YT 3 个平 面的邻域采样点个数和 X、Y、T 3 个方向的半径都可 以不同,它们分别被表示为 PXY 、PXT 、PYT 以及 RX 、 RY 、RT , 这 样 相 应 的 动 态 纹 理 特 征 就 被 标 记 为 LBP⁃TOP PXY ,PXT ,PYT ,RX ,RY ,RT [11] 。 (a)400×300×250 的视频 (b)XY 平面视觉效果 第 4 期 严云洋,等:维度加权模式动态纹理特征的火焰检测 ·549·
.550. 智能系统学报 第12卷 在火焰视频中,Sthevanie等]考虑到火焰多 层次的静态纹理特性,用LTP将火焰与常见的均匀 纹理干扰物区别开来。考虑到有些火焰会呈现大 面积白色,如图3(a)所示,这时火焰表面也变得均 匀,如果使用LTP表示火焰静态纹理特征,在阈值 的作用下,特征模式将过于集中,与均匀纹理的干 扰物有着一样的模式分布,不利于区分两者,为此, 本文对XY平面采用8邻域的LBP2进行描述,如图 (c)XT平面视觉效果 3(©)所示,在尽可能保留火焰静态特征的同时,不 至于使特征维数过大。 0:35 (a)火焰视频的某一帧图像 0.7 (d)YT平面视觉效果 图1视频序列及其3个正交平面的视觉效果山 0.6 Fig.1 Video sequences and vsual effects of 3 orthogonal planes 0.5 141 0.2 0.1 模式序号 (b)该帧图像火焰区域采用4邻域的LTP表示的直方图 (阈值为5) (a)动态纹理中的3个正交平面 0.25 0.20 0.15 0.10 XT YT 0.0 (b)每个平面的LBP直方图 ollalllhl 10203040 50 60 模式序号 (c)该帧图像火焰区域采用8邻域LBP2表示的静态特 征直方图 图3有大面积白色区域的火焰示例图片及其用不同方 式提取的纹理直方图 XT Fig.3 A sample flame with large area of white and its (c)连接的特征直方图 texture histogram extracted in different ways 图2三正交平面局部二值模式提取的过程 Fig.2 The process of extracting local binary pattern in 对于XT和T平面,它们反映的是火焰随着时 three orthogonal planes 间的变化特性,火焰的边缘会出现周期性闪烁,具
(c)XT 平面视觉效果 (d)YT 平面视觉效果 图 1 视频序列及其 3 个正交平面的视觉效果[11] Fig.1 Video sequences and vsual effects of 3 orthogonal planes (a)动态纹理中的 3 个正交平面 (b)每个平面的 LBP 直方图 (c)连接的特征直方图 图 2 三正交平面局部二值模式提取的过程 Fig.2 The process of extracting local binary pattern in three orthogonal planes 在火焰视频中, Sthevanie 等[13] 考虑到火焰多 层次的静态纹理特性,用 LTP 将火焰与常见的均匀 纹理干扰物区别开来。 考虑到有些火焰会呈现大 面积白色,如图 3(a)所示,这时火焰表面也变得均 匀,如果使用 LTP 表示火焰静态纹理特征,在阈值 的作用下,特征模式将过于集中,与均匀纹理的干 扰物有着一样的模式分布,不利于区分两者,为此, 本文对 XY 平面采用 8 邻域的 LBP u2进行描述,如图 3(c)所示,在尽可能保留火焰静态特征的同时,不 至于使特征维数过大。 (a)火焰视频的某一帧图像 (b)该帧图像火焰区域采用 4 邻域的 LTP 表示的直方图 (阈值为 5) (c)该帧图像火焰区域采用 8 邻域 LBP u2表示的静态特 征直方图 图 3 有大面积白色区域的火焰示例图片及其用不同方 式提取的纹理直方图 Fig.3 A sample flame with large area of white and its texture histogram extracted in different ways 对于 XT 和 YT 平面,它们反映的是火焰随着时 间的变化特性,火焰的边缘会出现周期性闪烁,具 ·550· 智 能 系 统 学 报 第 12 卷
第4期 严云洋,等:维度加权模式动态纹理特征的火焰检测 ·551- 体表现为火焰边缘的像素值会出现较大的周期性 应3个维度的权重向量。 变化,而一般干扰物不会。可以想象,对于某一个 Y,=round(Y) (2) 像素,当它(像素值)与时间轴上刚好发生闪烁的帧 Y2=Y×(max(Y,)-1)/max(Y)+1 (3) 上的相应位置比较时,或者大于某一正阈值(T), W=round(Y2) (4) 或者小于某一负阈值(-T)。引入阈值T.的目的 本文的特征加权矩阵P可由式(5)得到 是为了排除由于光照等因素引起的像素值随时间 WIA1 的微小变化。由以上分析可知,当把时间轴T上的 P= W2A2 (5) 半径R,取值为火焰闪烁的间隔,将得到较为明显的 火焰变化特征。根据文献[16]分析,火焰的闪烁频 式中:w(i=1,2,3)是维度权重,A,(i=1,2,3)是3 率主要分布在7~12Hz之间,而视频的采集帧率一 个维度的单位对角矩阵,A:的阶数由每个维度的特 般为25/s,所以每隔两、三帧火焰闪烁一次,实验 征数决定。 中发现每隔两帧火焰纹理有较大变化,故本文将时 考虑到径向基核函数的适用性,本文选择使用 间轴半径R,取值为2。同时考虑到火焰在相应位 径向基Gauss核函数。特征加权径向基核函数为 置闪烁,这对应于正交的主方向,所以把P、P取 k(xi,x)=exp(-ylxP-xP2)= 值为4,这对于使用LTP表示的特征也有利于避免 exp(-y((x:-x)TPP'(x:-x)))(6) 维数过多,同时不至于丢失太多信息。本文把这种 式中:y为核函数的宽度参数,本文使用K折交叉结 用LBP和LTP合作描述动态纹理三维特征的描述 合网格搜索算法寻找最优的Y。 子叫做三正交平面局部混合模式(LMP-TOP)。 3实验结果与分析 2 基于维度加权的支持向量机 本文在CPU为Intel.i3,主频为3.40GHz,内存 因为用LMP-TOP描述的火焰动态纹理特征维 为4.00GB的实验环境下用MATLAB R2012b进行 数较多,本文选择适用于高维度空间向量的支持向 测试。在参数选择上,除上文分析过的外,依据文 量机进行分类识别。支持向量机是以统计学习理 献[13],把Rx、Ry都取值为1,帧样本数]NP取值 论为基础的一种二分类器,它通过训练数据集建立 为5,由于R,取值为2,所以本文实际上是对序列长 一个超平面,并使得两类样本以最大间隔分开,然 度为9的疑似火焰区域进行LMP-TOP提取。 后利用训练结果模型对测试数据集进行分类。对 训练的过程如图4所示,首先依据火焰的颜色 于小样本和多维度的数据集,支持向量机相比其他 特征提取视频中某一帧的疑似火焰区域,本文的疑 分类器具有较为明显的效果。 似火焰区域用文献[17]的方法提取,然后再以该帧 由于不同平面提取的火焰特征是不同的(1个 为结尾帧,序列长度为9的连续视频片段中对疑似 静态特征,2个动态特征),不难想到它们对视频的 火焰区域进行LMP-TOP提取,最后把得到的特征 分类贡献度是不同的,如果为不同平面赋予相应权 放入特征加权的支持向量机中进行训练,得到效果 重,将使核函数尽可能被贡献度大的平面特征所支 最好的模型。 配,从而提高分类准确率。为此本文为不同平面特 征赋予相应的权重0,其计算方法如下): 训练 疑似火焰 LMP-TOP 特征加权 模型 视频 区域提取 提取 SVM训练 首先分别计算3个平面的识别率,这样就得到 了3个识别率X=[x1,x2,x3];然后认为识别率越 图4训练过程 高,它的贡献度增长得也越快,比如识别率从70% Fig.4 Training process 增长到80%好于识别率从50%增长到60%,即使它 测试过程如图5所示,对测试视频提取疑似火 们之间都只有10%的差别。相比于最低的识别率, 焰区域后,也提取其LMP-TOP描述子,最后用训练 两个较高的识别率相对优势可以用式(1)计算: 得到的模型进行识别分类。 Y=(X-min(X)×I)/((100-min(X))/10) 测试 疑似火焰 LMP-TOP 特征加权 (1) 视频 区域提取「 提取 SVM训练 结果 式中:1为三维的单位向量,最后,把最低的识别率 权重设为1,另外两个维度的识别率权重可以根据 图5测试过程 其与最低识别率的线性关系得到,如式(3),W为对 Fig.5 Test process
体表现为火焰边缘的像素值会出现较大的周期性 变化,而一般干扰物不会。 可以想象,对于某一个 像素,当它(像素值)与时间轴上刚好发生闪烁的帧 上的相应位置比较时,或者大于某一正阈值( Th ), 或者小于某一负阈值( -Th )。 引入阈值 Th 的目的 是为了排除由于光照等因素引起的像素值随时间 的微小变化。 由以上分析可知,当把时间轴 T 上的 半径 RT 取值为火焰闪烁的间隔,将得到较为明显的 火焰变化特征。 根据文献[16]分析,火焰的闪烁频 率主要分布在 7~12 Hz 之间,而视频的采集帧率一 般为 25 f / s,所以每隔两、三帧火焰闪烁一次,实验 中发现每隔两帧火焰纹理有较大变化,故本文将时 间轴半径 RT 取值为 2。 同时考虑到火焰在相应位 置闪烁,这对应于正交的主方向,所以把 PXT 、PYT取 值为 4,这对于使用 LTP 表示的特征也有利于避免 维数过多,同时不至于丢失太多信息。 本文把这种 用 LBP 和 LTP 合作描述动态纹理三维特征的描述 子叫做三正交平面局部混合模式(LMP⁃TOP)。 2 基于维度加权的支持向量机 因为用 LMP⁃TOP 描述的火焰动态纹理特征维 数较多,本文选择适用于高维度空间向量的支持向 量机进行分类识别。 支持向量机是以统计学习理 论为基础的一种二分类器,它通过训练数据集建立 一个超平面,并使得两类样本以最大间隔分开,然 后利用训练结果模型对测试数据集进行分类。 对 于小样本和多维度的数据集,支持向量机相比其他 分类器具有较为明显的效果。 由于不同平面提取的火焰特征是不同的(1 个 静态特征,2 个动态特征),不难想到它们对视频的 分类贡献度是不同的,如果为不同平面赋予相应权 重,将使核函数尽可能被贡献度大的平面特征所支 配,从而提高分类准确率。 为此本文为不同平面特 征赋予相应的权重 w,其计算方法如下[11] : 首先分别计算 3 个平面的识别率,这样就得到 了 3 个识别率 X = [ x1 ,x2 ,x3 ];然后认为识别率越 高,它的贡献度增长得也越快,比如识别率从 70% 增长到 80%好于识别率从 50%增长到 60%,即使它 们之间都只有 10%的差别。 相比于最低的识别率, 两个较高的识别率相对优势可以用式(1)计算: Y = (X - min(X) × I) / ((100 - min(X)) / 10) (1) 式中:I 为三维的单位向量,最后,把最低的识别率 权重设为 1,另外两个维度的识别率权重可以根据 其与最低识别率的线性关系得到,如式(3),W 为对 应 3 个维度的权重向量。 Y1 = round(Y) (2) Y2 = Y × (max(Y1 ) - 1) / max(Y) + 1 (3) W = round(Y2 ) (4) 本文的特征加权矩阵 P 可由式(5)得到 P = w1 A1 w2 A2 w3 A3 é ë ê ê ê ê ù û ú ú ú ú (5) 式中:wi( i = 1,2,3)是维度权重,Ai( i = 1,2,3)是 3 个维度的单位对角矩阵,Ai 的阶数由每个维度的特 征数决定。 考虑到径向基核函数的适用性,本文选择使用 径向基 Gauss 核函数。 特征加权径向基核函数为 kp(xi,xj) = exp( - γ x T i P - x T j P 2 ) = exp( - γ((xi - xj) TPP T (xi - xj))) (6) 式中:γ 为核函数的宽度参数,本文使用 K 折交叉结 合网格搜索算法寻找最优的 γ。 3 实验结果与分析 本文在 CPU 为 Intel.i3,主频为 3.40 GHz,内存 为 4.00 GB 的实验环境下用 MATLAB R2012b 进行 测试。 在参数选择上,除上文分析过的外,依据文 献[13],把 RX 、RY 都取值为 1,帧样本数[13]NP 取值 为 5,由于 RT 取值为 2,所以本文实际上是对序列长 度为 9 的疑似火焰区域进行 LMP⁃TOP 提取。 训练的过程如图 4 所示,首先依据火焰的颜色 特征提取视频中某一帧的疑似火焰区域,本文的疑 似火焰区域用文献[17]的方法提取,然后再以该帧 为结尾帧,序列长度为 9 的连续视频片段中对疑似 火焰区域进行 LMP⁃TOP 提取,最后把得到的特征 放入特征加权的支持向量机中进行训练,得到效果 最好的模型。 图 4 训练过程 Fig.4 Training process 测试过程如图 5 所示,对测试视频提取疑似火 焰区域后,也提取其 LMP⁃TOP 描述子,最后用训练 得到的模型进行识别分类。 图 5 测试过程 Fig.5 Test process 第 4 期 严云洋,等:维度加权模式动态纹理特征的火焰检测 ·551·
.552 智能系统学报 第12卷 本文的实验库是从网上下载的44段视频,其中 训练和测试过程均从每个视频中选择100个疑 包括22段火焰视频和22段常见的与火焰颜色相似 似火焰序列,这样用于训练和测试的样本各有2200 的干扰视频。这些火焰干扰物视频既包括始终静 个。为了验证上文的分析,确定3个正交平面分别 止的,也包括运动的,既有表面粗糙的,也有表面均 用哪种模式提取特征效果更好,以及对LTP中阈值 匀的。本文把上述视频均分成两部分,分别用于训 的确定,本文通过改变LMP-TOP的参数设计了几 练与测试。即把11段火焰视频和11段非火焰视频 组实验,如表1所示。 用于训练,剩下的用于测试。 表1不同参数设置的识别率差别 Tablel Difference of recognition rate with different parameters % 序号 LMP-TOP XY XT YT 合成 维度加权 Basic4.4,4.1,1.2 74.82 82.36 88.27 90.09 92.45[1,3,5] 2 LTP4.4.4.1,1,2 75.36 82.36 88.27 88.27 91.27[1,3,5] 3 428,4,4,1,1,2 78.73 82.36 88.27 92.09 93.36[1,3,4] 4 Basic8,4,4,1,1,2 74.18 82.36 88.27 92.18 92.91[1,3,5] 5 428,8,8,1.1,2 78.73 77.64 79.09 83.09 83.09[1,1,1] 6 428,4,4,1,1,2 78.73 86.18 85.55 89.54 90.09[1,4,4] 表1中,第1~4组只改变Y平面特征描述子, (最后一列中括号内为各个维度的权重),这是因为 第1组采用4邻域的LBP,第2组采用4邻域的 通过维度加权使核函数的计算更多地依赖于强相 LTP,第3组采用8邻域的LBP2,第4组采用传统 关的维度特征。 的8邻域LBP,这4组XT和YT平面特征都用4邻 为了更好地对本文的算法进行评估,本文对目 域的LTP描述:第5组把XT平面和YT平面的特征 前火灾检测领域公认的数据库Bilkent大学火灾视 用8邻域的LBP表示,其他的与第3组一致;1~4 http://signal.ee.bilkent.edu.tr/VisiFire/index. 组中LTP阈值都设置为5,而第6组设置为10,其他 html)的8段视频进行了测试,并将结果与Sthevanie 的与第3组一致。 等)的算法及国内外部分文献[18-0]进行对比,测 由第1~4组数据可以看出当XY平面用8邻域 试视频示例如图6所示,检测结果及与其他文献的 的LBP2描述时效果最好,这是因为用传统的4邻 对比数据如表2、表3所示,其中LMP-TOP各参数 域LBP描述火焰静态纹理特征时将把许多信息丢 的设置及使用的持向量机模型与第3组实验一致。 失掉,而用LTP方法,在阈值的作用下纹理模式过 于集中,不利于区分。至于传统的8邻域LBP,由于 其包含了许多弱相关或不相关的特征,反而不利于 分类识别,且其维数也是一个大问题。由第3组和 第5组数据可以看出对于XT和YT平面的动态火 焰纹理特征描述,用4邻域的LTP比8邻域的 LBP2识别效果更好,这是因为在光照、视频质量等 因素的影响下,非火焰视频某位置像素值在LBP2 (a)视频1 中可能被认为发生了变化,而在LTP中,它将被视 为不变,从而把火焰与非火焰区分开来。由第3、6 组可以看出,阈值取值为5较为合适,因为过大的阈 值将使火焰像素值的变化也检测不出来。比较第2 组和第4组的识别率可以知道本文算法相比 Sthevanie等1]的算法效果得到了提高。此外,从几 组数据中可以看出,该特征提取分类方法在视频火 焰识别中效果不错,最高可以达到93.36%,且使用 (b)视频2 维度加权的方法比直接连接3个平面特征效果好
本文的实验库是从网上下载的 44 段视频,其中 包括 22 段火焰视频和 22 段常见的与火焰颜色相似 的干扰视频。 这些火焰干扰物视频既包括始终静 止的,也包括运动的,既有表面粗糙的,也有表面均 匀的。 本文把上述视频均分成两部分,分别用于训 练与测试。 即把 11 段火焰视频和 11 段非火焰视频 用于训练,剩下的用于测试。 训练和测试过程均从每个视频中选择 100 个疑 似火焰序列,这样用于训练和测试的样本各有 2 200 个。 为了验证上文的分析,确定 3 个正交平面分别 用哪种模式提取特征效果更好,以及对 LTP 中阈值 的确定,本文通过改变 LMP⁃TOP 的参数设计了几 组实验,如表 1 所示。 表 1 不同参数设置的识别率差别 Table1 Difference of recognition rate with different parameters % 序号 LMP⁃TOPP XY ,P XT ,P YT ,R X ,R Y ,R T XY XT YT 合成 维度加权 1 Basic 4,4,4,1,1,2 74.82 82.36 88.27 90.09 92.45[1,3,5] 2 LTP 4,4,4,1,1,2 75.36 82.36 88.27 88.27 91.27[1,3,5] 3 u2 8,4,4,1,1,2 78.73 82.36 88.27 92.09 93.36[1,3,4] 4 Basic 8,4,4,1,1,2 74.18 82.36 88.27 92.18 92.91[1,3,5] 5 u2 8,8,8,1,1,2 78.73 77.64 79.09 83.09 83.09[1,1,1] 6 u2 8,4,4,1,1,2 78.73 86.18 85.55 89.54 90.09[1,4,4] 表 1 中,第 1~4 组只改变 XY 平面特征描述子, 第 1 组采用 4 邻域的 LBP,第 2 组采用 4 邻域的 LTP,第 3 组采用 8 邻域的 LBP u2 ,第 4 组采用传统 的 8 邻域 LBP,这 4 组 XT 和 YT 平面特征都用 4 邻 域的 LTP 描述;第 5 组把 XT 平面和 YT 平面的特征 用 8 邻域的 LBP u2表示,其他的与第 3 组一致;1 ~ 4 组中 LTP 阈值都设置为 5,而第 6 组设置为 10,其他 的与第 3 组一致。 由第 1~4 组数据可以看出当 XY 平面用 8 邻域 的 LBP u2描述时效果最好,这是因为用传统的 4 邻 域 LBP 描述火焰静态纹理特征时将把许多信息丢 失掉,而用 LTP 方法,在阈值的作用下纹理模式过 于集中,不利于区分。 至于传统的 8 邻域 LBP,由于 其包含了许多弱相关或不相关的特征,反而不利于 分类识别,且其维数也是一个大问题。 由第 3 组和 第 5 组数据可以看出对于 XT 和 YT 平面的动态火 焰纹理特征描述, 用 4 邻域的 LTP 比 8 邻域的 LBP u2识别效果更好,这是因为在光照、视频质量等 因素的影响下,非火焰视频某位置像素值在 LBP u2 中可能被认为发生了变化,而在 LTP 中,它将被视 为不变,从而把火焰与非火焰区分开来。 由第 3、6 组可以看出,阈值取值为 5 较为合适,因为过大的阈 值将使火焰像素值的变化也检测不出来。 比较第 2 组和 第 4 组 的 识 别 率 可 以 知 道 本 文 算 法 相 比 Sthevanie 等[13]的算法效果得到了提高。 此外,从几 组数据中可以看出,该特征提取分类方法在视频火 焰识别中效果不错,最高可以达到 93.36%,且使用 维度加权的方法比直接连接 3 个平面特征效果好 (最后一列中括号内为各个维度的权重),这是因为 通过维度加权使核函数的计算更多地依赖于强相 关的维度特征。 为了更好地对本文的算法进行评估,本文对目 前火灾检测领域公认的数据库 Bilkent 大学火灾视 频库( http: / / signal. ee. bilkent. edu. tr/ VisiFire / index. html)的 8 段视频进行了测试,并将结果与 Sthevanie 等[13]的算法及国内外部分文献[18-20] 进行对比,测 试视频示例如图 6 所示,检测结果及与其他文献的 对比数据如表 2、表 3 所示,其中 LMP⁃TOP 各参数 的设置及使用的持向量机模型与第 3 组实验一致。 (a)视频 1 (b)视频 2 ·552· 智 能 系 统 学 报 第 12 卷