第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201406022 网s络出版地址:http:/www.cnki.net/kcms/detail/23.1538.TP.20150302.1106.009.html 多特征融合的火焰检测算法 吴蓝茵2,严云洋12,杜静12,高尚兵2,刘以安 (1.江南大学物联网工程学院,江苏无锡214122:2.淮阴工学院计算机工程学院,江苏淮安223003) 摘要:视频火焰检测是复杂场景下预防火灾的重要方法。为了提高火焰的检测效率和鲁棒性,基于RGB和HSI颜 色空间改进了火焰的颜色特征模型,有效地提取了疑似火焰区域:实验对比分析了火焰不同的形状结构特征,及其 特征组合对火焰检测有效性的影响,提出了一种融合圆形度、矩形度和重心高度系数的火焰检测算法,然后将融合 后的火焰特征输入支持向量机(SVM)中进行分类。在Bikt大学火灾视频库上的实验结果表明,该方法高效、快 速,且能适用于多种场景。 关键词:特征提取;特征融合;支持向量机;颜色模型;火焰检测;圆形度;矩形度;重心高度 中图分类号:TP391.41文献标志码:A文章编号:1673-4785(2015)02-240-08 中文引用格式:吴茜菌,严云洋,杜静,等.多特征融合的火焰检测算法[J].智能系统学报,2015,10(2):240-247. 英文引用格式:U Xiyin,YAN Yunyang,DU Jing,etal.Fire detection based on fusion of multiple features[J].CAAI Transac- tions on Intelligent Systems,2015,10(2):240-247. Fire detection based on fusion of multiple features WU Xiyin'.2,YAN Yunyang'2,DU Jing'2,GAO Shangbing,LIU Yi'an' (1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Faculty of Computer Engineering,Huaiyin Institute of Technology,Huaian 223003,China) Abstract:Video fire detection is an important method to prevent fire disaster under complex circumstances.In order to improve the efficiency and robustness of fire detection,the color feature model can be improved based on RGB and HSI color space and the suspected flame area is extracted effectively.After analysis on the experimental results with different features of shape or structure of fire and the influence of their combined features on the validity of fire detection,a method of flame detection is proposed based on fusion of circularity,rectangularity and the coefficient of orthocenter height.Based on fusion of these flame features,the support vector machine (SVM)is used for classi- fication.Experimental results on the fire videos at Bilkent University show that the proposed algorithm is efficient and fast for fire detection,and it could detect fire real-time under a variety of circumstances. Keywords:feature extraction;feature fusion;support vector machine;color model;fire detection;circularity measures;rectangularity;orthocenter height 传统的火灾检测大多基于传感器,通过搜集火 焰烟雾颗粒、火焰温度和相对湿度等信息,对火灾进 收稿日期:2014-06-13.网络出版日期:2015-03-02. 行评估并做出响应。但传感器必须放在火焰附 基金项目:教育部科学技术研究重大资助项目(311024):国家自然科学近才能有效使用,且不能用于对传感器千扰较大的 基金资助项目(61402192):淮安市科技计划自主项目(H AG2013057,HAG2013059). 场景(如颗粒物较多的面粉厂),因此难以适用于大 通信作者:严云洋.E-mail:areyyyke@(163.com 空间、开阔空间以及复杂场景。除此之外,使用传感 器的火灾检测难以确认火灾位置、火焰大小、火势发
第 10 卷第 2 期 智 能 系 统 学 报 Vol.10 №.2 2015 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2015 DOI:10.3969 / j.issn.1673⁃4785.201406022 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20150302.1106.009.html 多特征融合的火焰检测算法 吴茜茵1 ,2 ,严云洋1,2 ,杜静1,2 ,高尚兵2 ,刘以安1 (1.江南大学 物联网工程学院,江苏 无锡 214122; 2. 淮阴工学院 计算机工程学院,江苏 淮安 223003) 摘 要:视频火焰检测是复杂场景下预防火灾的重要方法。 为了提高火焰的检测效率和鲁棒性,基于 RGB 和 HSI 颜 色空间改进了火焰的颜色特征模型,有效地提取了疑似火焰区域;实验对比分析了火焰不同的形状结构特征,及其 特征组合对火焰检测有效性的影响,提出了一种融合圆形度、矩形度和重心高度系数的火焰检测算法,然后将融合 后的火焰特征输入支持向量机(SVM)中进行分类。 在 Bilkent 大学火灾视频库上的实验结果表明,该方法高效、快 速,且能适用于多种场景。 关键词:特征提取;特征融合;支持向量机;颜色模型;火焰检测;圆形度;矩形度;重心高度 中图分类号:TP391.41 文献标志码:A 文章编号:1673⁃4785(2015)02⁃240⁃08 中文引用格式:吴茜茵,严云洋,杜静,等. 多特征融合的火焰检测算法[J]. 智能系统学报, 2015, 10(2): 240⁃247. 英文引用格式:WU Xiyin, YAN Yunyang, DU Jing, et al. Fire detection based on fusion of multiple features[ J]. CAAI Transac⁃ tions on Intelligent Systems, 2015, 10(2):240⁃247. Fire detection based on fusion of multiple features WU Xiyin 1,2 , YAN Yunyang 1,2 , DU Jing 1,2 , GAO Shangbing 2 , LIU Yi’an 1 (1. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China; 2. Faculty of Computer Engineering, Huaiyin Institute of Technology, Huaian 223003, China) Abstract:Video fire detection is an important method to prevent fire disaster under complex circumstances. In order to improve the efficiency and robustness of fire detection, the color feature model can be improved based on RGB and HSI color space and the suspected flame area is extracted effectively. After analysis on the experimental results with different features of shape or structure of fire and the influence of their combined features on the validity of fire detection, a method of flame detection is proposed based on fusion of circularity, rectangularity and the coefficient of orthocenter height. Based on fusion of these flame features, the support vector machine (SVM) is used for classi⁃ fication. Experimental results on the fire videos at Bilkent University show that the proposed algorithm is efficient and fast for fire detection, and it could detect fire real⁃time under a variety of circumstances. Keywords:feature extraction; feature fusion; support vector machine; color model; fire detection; circularity measures; rectangularity; orthocenter height 收稿日期:2014⁃06⁃13. 网络出版日期:2015⁃03⁃02. 基金项目:教育部科学技术研究重大资助项目(311024);国家自然科学 基金资助项目(61402192);淮安市科技计划自主项目( H 传统的火灾检测大多基于传感器,通过搜集火 焰烟雾颗粒、火焰 通信作者:严云洋. E⁃mail: areyyyke@ 163.com. 温度和相对湿度等信息,对火灾进 行评估并做出响应[1] 。 但传感器必须放在火焰附 近才能有效使用,且不能用于对传感器干扰较大的 场景(如颗粒物较多的面粉厂),因此难以适用于大 空间、开阔空间以及复杂场景。 除此之外,使用传感 器的火灾检测难以确认火灾位置、火焰大小、火势发 AG2013057,HAG2013059)
第2期 吴茜茵,等:多特征融合的火焰检测算法 ·241· 展状况等信息,给火灾的预防和及时消防带来困难。 该方法能很好地排除黄绿色和灰色区域,且弥补火 不同于传统的传感器检测方法,视频火焰检测不仅 焰区域内部的空洞,得到较为完整的火焰区域。然 适用于多种场景,而且能准确检测出火焰的相关信 后提出了一种融合多种形状结构特征的快速火焰检 息,对于早期的火焰检测效果较好。 测方法,最后使用支持向量机进行分类识别。实验 火焰的静态特征基于单帧图像获得),包括颜 结果表明,该方法检测效果好,算法复杂度较低,具 色特征、轮廓特征和结构特征等。火焰有着显著的 有较好的应用前景。 颜色特征,大部分视频火焰的颜色检测方法均基于 1 RGB空间,还可结合HSI、HSV、YCbCr等颜色空间 火焰的颜色特征提取 以得到更为准确的火焰区域。严云洋等)对RGB 受到温度、燃烧物材料和燃烧充分程度等影响, 色彩模型进行了改进,通过RGB线性变换后的正交 火焰具有特殊的颜色分布规律,呈现为显著且高亮 颜色特征提取疑似火焰区域,计算简单有效,且可消 的红色和黄色,在RGB和HSI空间中,各分量间都 除光照影响。Chen等[a采用混合高斯模型对RGB 有着特定的关系。Chen等Is)用RGB和HsI颜色模 和HSV颜色信息进行建模,并得到概率密度分布函 型对火焰进行动态分析,总结出的3条表达式如式 数,再通过帧间差分法检测运动像素。但该方法鲁 (1)所示。 棒性较差,颜色与火焰相近的运动物体以及被火焰 规则1:R≥G≥B 照亮的物体易被误检。Chen等Is)用RGB和HSI颜 规则2:R≥R (1) 色模型对火焰进行动态分析,但由于该方法只在相 规则3:S≥(255-R)×S,/R, 邻2帧间做了差分比较,因此不适用于判别噪声较 式中:R、B、G是火焰的红、蓝、绿颜色分量,R为像 多的火焰视频。Habiboglu等[改进了Chen等s]的 素点的红色分量阈值,S,为像素点的饱和度阈值, 方法,提出了一种基于块的时空协方差视频火焰检 R,∈[115,135],S,∈[45,60]。但该方法容易造 测系统,采用HSI和RGB空间提取火焰颜色区域, 成火焰内部空洞,且容易将枯黄的草地、火焰燃烧时 并采用SVM分类器训练和测试。王莹等)提出了 产生的浓烟等误判为火焰。为此,对该方法进行改 一种基于RGB、HSV、YCbCr3种颜色空间的火焰颜 进,总结了5条规则,并建立了新的火焰色彩模型, 色模型,提取的火焰区域较为完整。火焰的轮廓和 如式(2)所示。 结构特征可用圆形度、矩形度、纹理、边界粗糙度、重 规则1:R≥B,G≥B 心高度系数等进行度量[)。Chen等)利用圆形度 规则2:R≥R, 表示火焰边界的复杂度,区分边界规则的干扰物 规则3:S≥(255-R)×S,/R, (如灯光、烟头等)。严云洋等1采用局部二值模 式方法提取疑似火焰区域的多尺度纹理特征,并输 R≥Rh,G≥Gh (2) 人到支持向量机中进行识别。Lei等结合纹理、 规则4:{或 面积变化等特征,采用贝叶斯分类器进行火焰识别, T,≥Th1,T2≥Th2 但该方法对于行驶的车辆等运动干扰物区分度不 规则5:T2+T3≥Th 大。Yang等2]融合圆形度、质心位移、面积变化、 式中:T1=|R-G,T2=|G-B|,T3=|R-B|, 周长变化以及圆形度变化等特征,输入到支持向量 .、G是改进后火焰的红色分量和绿色分量的阈 机中进行分类。Zhang等)]利用傅里叶描述子提取 值,Th1、Th2、Th分别是T,、T2、T2+T3的阈值。对 轮廓特征,并利用支持向量机进行判别,该方法能较 比式(1)和式(2)可以看出,本文将原来的规则1做 好地区分太阳、灯泡等轮廓较为规则的干扰物。 了修改,并且增加了规则4及规则5。经过大量实 Zhao等[1]不仅提取了颜色、圆形度、轮廓、纹理等静 验发现,火焰区域内的部分高亮区域(尤其是黄色 态特征,还提取了闪频、面积变化等动态特征,共组 高亮区域)并不满足R≥G,因此将规则1修改为 成一个27维的特征向量放入支持向量机中进行检 R≥B,G≥B。由于白色的RGB值为(255,255, 测,该方法对森林火灾的检测结果较好。 255),而高亮的橙色和黄色R分量值和G分量值很 本文基于RGB和HSI颜色空间,用总结的5条 高,B分量值相对较低,因此通过规则5可在保留火 规则建立新的火焰色彩模型并提取疑似火焰区域, 焰内部高亮区域的同时排除天空中的白色区域,式
展状况等信息,给火灾的预防和及时消防带来困难。 不同于传统的传感器检测方法,视频火焰检测不仅 适用于多种场景,而且能准确检测出火焰的相关信 息,对于早期的火焰检测效果较好。 火焰的静态特征基于单帧图像获得[2] ,包括颜 色特征、轮廓特征和结构特征等。 火焰有着显著的 颜色特征,大部分视频火焰的颜色检测方法均基于 RGB 空间,还可结合 HSI、HSV、YCbCr 等颜色空间 以得到更为准确的火焰区域。 严云洋等[3] 对 RGB 色彩模型进行了改进,通过 RGB 线性变换后的正交 颜色特征提取疑似火焰区域,计算简单有效,且可消 除光照影响。 Chen 等[4] 采用混合高斯模型对 RGB 和 HSV 颜色信息进行建模,并得到概率密度分布函 数,再通过帧间差分法检测运动像素。 但该方法鲁 棒性较差,颜色与火焰相近的运动物体以及被火焰 照亮的物体易被误检。 Chen 等[5]用 RGB 和 HSI 颜 色模型对火焰进行动态分析,但由于该方法只在相 邻 2 帧间做了差分比较,因此不适用于判别噪声较 多的火焰视频。 Habiboglu 等[6]改进了 Chen 等[5]的 方法,提出了一种基于块的时空协方差视频火焰检 测系统,采用 HSI 和 RGB 空间提取火焰颜色区域, 并采用 SVM 分类器训练和测试。 王莹等[7] 提出了 一种基于 RGB、HSV、YCbCr 3 种颜色空间的火焰颜 色模型,提取的火焰区域较为完整。 火焰的轮廓和 结构特征可用圆形度、矩形度、纹理、边界粗糙度、重 心高度系数等进行度量[8] 。 Chen 等[9] 利用圆形度 表示火焰边界的复杂度,区分边界规则的干扰物 (如灯光、烟头等)。 严云洋等[10] 采用局部二值模 式方法提取疑似火焰区域的多尺度纹理特征,并输 入到支持向量机中进行识别。 Lei 等[11] 结合纹理、 面积变化等特征,采用贝叶斯分类器进行火焰识别, 但该方法对于行驶的车辆等运动干扰物区分度不 大。 Yang 等[12] 融合圆形度、质心位移、面积变化、 周长变化以及圆形度变化等特征,输入到支持向量 机中进行分类。 Zhang 等[13]利用傅里叶描述子提取 轮廓特征,并利用支持向量机进行判别,该方法能较 好地区分太阳、 灯泡等轮廓较为规则的干扰物。 Zhao 等[14]不仅提取了颜色、圆形度、轮廓、纹理等静 态特征,还提取了闪频、面积变化等动态特征,共组 成一个 27 维的特征向量放入支持向量机中进行检 测,该方法对森林火灾的检测结果较好。 本文基于 RGB 和 HSI 颜色空间,用总结的 5 条 规则建立新的火焰色彩模型并提取疑似火焰区域, 该方法能很好地排除黄绿色和灰色区域,且弥补火 焰区域内部的空洞,得到较为完整的火焰区域。 然 后提出了一种融合多种形状结构特征的快速火焰检 测方法,最后使用支持向量机进行分类识别。 实验 结果表明,该方法检测效果好,算法复杂度较低,具 有较好的应用前景。 1 火焰的颜色特征提取 受到温度、燃烧物材料和燃烧充分程度等影响, 火焰具有特殊的颜色分布规律,呈现为显著且高亮 的红色和黄色,在 RGB 和 HSI 空间中,各分量间都 有着特定的关系。 Chen 等[5]用 RGB 和 HSI 颜色模 型对火焰进行动态分析,总结出的 3 条表达式如式 (1)所示。 规则 1:R ≥ G ≥ B 规则 2:R ≥ Rt 规则 3:S ≥ (255 - R) × St / Rt ì î í ï ï ï ï (1) 式中: R、B、G 是火焰的红、蓝、绿颜色分量, Rt 为像 素点的红色分量阈值, St 为像素点的饱和度阈值, Rt ∈ [115,135] ,St ∈ [45,60] 。 但该方法容易造 成火焰内部空洞,且容易将枯黄的草地、火焰燃烧时 产生的浓烟等误判为火焰。 为此,对该方法进行改 进,总结了 5 条规则,并建立了新的火焰色彩模型, 如式(2)所示。 规则 1:R ≥ B,G ≥ B 规则 2:R ≥ Rt 规则 3:S ≥ (255 - R) × St / Rt 规则 4: R ≥ Rth ,G ≥ Gth 或 T1 ≥ Th1 ,T2 ≥ Th2 ì î í ï ï ï ï 规则 5:T2 + T3 ≥ Th3 ì î í ï ï ï ï ïï ï ï ï ï ï (2) 式中: T1 = R - G ,T2 = G - B ,T3 = R - B , Rth 、Gth 是改进后火焰的红色分量和绿色分量的阈 值, Th1 、Th2 、Th3 分别是 T1 、T2 、T2 + T3 的阈值。 对 比式(1)和式(2)可以看出,本文将原来的规则 1 做 了修改,并且增加了规则 4 及规则 5。 经过大量实 验发现,火焰区域内的部分高亮区域(尤其是黄色 高亮区域)并不满足 R ≥ G ,因此将规则 1 修改为 R ≥B,G ≥ B 。 由于白色的 RGB 值为 (255,255, 255) ,而高亮的橙色和黄色 R 分量值和 G 分量值很 高, B 分量值相对较低,因此通过规则 5 可在保留火 焰内部高亮区域的同时排除天空中的白色区域,式 第 2 期 吴茜茵,等:多特征融合的火焰检测算法 ·241·
.242. 智能系统学报 第10卷 中Th,∈[10,20]。规则4中的第1条规则可保留 式中:S为物体所在区域面积,L为物体所在区域周 火焰内部的高亮区域,第2条规则中,通过T,≥Th, 长,即区域边界的长度,该长度可从边界链码中得 可排除黄绿色区域,通过T,≥Th,可排除灰色区域, 到。圆形度衡量了物体边缘的复杂程度,其最小值 规则4中的2条规则中满足其一时即判定该像素为 取1,物体边缘越复杂,圆形度的取值越高。由于与 疑似火焰像素。规则4中各阈值的取值范围为 火焰颜色相似的车灯、路灯、太阳等物体边缘复杂度 Rh∈[230,250],G4∈[230,250],Th1∈[10,30], 不高,圆形度近似为1,而火焰燃烧时边缘较为复 Th2∈[10,30],Th3∈[10,20]。由上述规则得到的 杂,圆形度一般远大于1,因此通过圆形度可区分边 候选火焰区域,通过膨胀和腐蚀的处理,能较好地消 缘复杂度不高的物体。 除噪声并填补细小空洞。当R,=135,S,=45, 2.1.2矩形度 R.=230,Gh=230,Th1=20,Th2=20,Th3=15时, 与圆形度相似,矩形度表示物体边缘与矩形的 火焰颜色特征的提取对比图如图1所示,由图1可 相似程度,矩形度R的公式定义如式(4): 以看出,改进后的方法不仅能有效地排除天空中的 S R-5 (4) 白色区域、类似枯草的黄绿色区域、火焰产生浓烟的 灰色区域,且能填补火焰内部的空洞,进而得到较为 式中:S.为包含物体所在区域最小矩形的面积。矩 完整的火焰区域。 形度反应了物体对其最小外接矩形的充满程度。R 的取值范围为R∈(0,1],火焰的矩形度一般在0.5 左右。因此通过矩形度,不仅可以区分类似矩形的 物体(矩形度接近为1),还可以区分弯曲纤细的物 体(矩形度接近为0)。 2.1.3长宽比 长宽比是包含物体所在区域的最小矩形宽度和 长度比值15),可对细长物体和近似圆形或矩形的物 体进行区分,Ratio非常小(接近于0)或非常大 (接近于无穷大)时表明该物体为细长型物体。长 (a)原始图片(b)文献[5方法 (c)本文方法 宽比Ratiowr的公式定义如式(5)所示: 图1火焰颜色特征的提取 RatiowL WR/Lg (5) Fig.I Sequence-base quantum on model 式中:W。为包含物体所在区域最小矩形的宽度,L 为包含物体所在区域最小矩形的长度。 2火焰的形状结构特征选择及融合 2.1.4重心高度系数 火焰具有众多形状结构特征,如圆形度、矩形 重心高度系数体现了物体重心高度与物体总高 度、重心高度系数、边界粗糙度、长宽比以及纹理特 度的关系[),其公式定义如式(6)所示: 征等。通过颜色特征得到的候选火焰区域,还会包 Ratiowc Hc/H (6) 含一些干扰物,如车灯、路灯、太阳、红色的烟雾、被 式中:Hc为物体重心高度,H为物体总高度。大部 照亮的树干等。因此,需要从形状结构特征着手,排 分形状规则的物体重心位于中央,即Ratiowe接近于 除一些与火焰相似的非火焰区域。 0.5:火焰产生的大片浓烟等区域重心偏上,即 2.1火焰的形状结构特征 Ratiowc>0.5;而火焰的重心一般偏下,即Ratiowc< 2.1.1圆形度 0.5。由此可区分火焰与一些重心偏上和靠近中央 圆形度表示物体边缘与圆的相似程度],是一 的物体。 种物体边缘轮廓复杂程度的度量,通过物体边缘的 2.1.5边界粗糙度 总长度和物体所在区域的面积,可计算出物体的圆 边界粗糙度描述了物体轮廓的随机性和粗糙 形度值C,如式(3): 性Ii6],采用物体的周长与其外接凸包(convex hull, L CH)周长的比值进行计算,可区分边界较为光滑的 C= (3) 4r×S 物体。在一个实数向量空间V中,对于给定的集合
中 Th3 ∈ [10,20] 。 规则 4 中的第 1 条规则可保留 火焰内部的高亮区域,第 2 条规则中,通过 T1 ≥ Th1 可排除黄绿色区域,通过 T2 ≥Th2 可排除灰色区域, 规则 4 中的 2 条规则中满足其一时即判定该像素为 疑似火焰像素。 规则 4 中各阈值的取值范围为 Rth ∈[230,250] , Gth ∈ [230,250] , Th1 ∈ [10,30] , Th2 ∈ [10,30] ,Th3 ∈ [10,20] 。 由上述规则得到的 候选火焰区域,通过膨胀和腐蚀的处理,能较好地消 除噪声并填补细小 空 洞。 当 Rt = 135,St = 45, Rth =230,Gth = 230,Th1 = 20,Th2 = 20,Th3 = 15 时, 火焰颜色特征的提取对比图如图 1 所示,由图 1 可 以看出,改进后的方法不仅能有效地排除天空中的 白色区域、类似枯草的黄绿色区域、火焰产生浓烟的 灰色区域,且能填补火焰内部的空洞,进而得到较为 完整的火焰区域。 图 1 火焰颜色特征的提取 Fig.1 Sequence⁃base quantum on model 2 火焰的形状结构特征选择及融合 火焰具有众多形状结构特征,如圆形度、矩形 度、重心高度系数、边界粗糙度、长宽比以及纹理特 征等。 通过颜色特征得到的候选火焰区域,还会包 含一些干扰物,如车灯、路灯、太阳、红色的烟雾、被 照亮的树干等。 因此,需要从形状结构特征着手,排 除一些与火焰相似的非火焰区域。 2.1 火焰的形状结构特征 2.1.1 圆形度 圆形度表示物体边缘与圆的相似程度[12] ,是一 种物体边缘轮廓复杂程度的度量,通过物体边缘的 总长度和物体所在区域的面积,可计算出物体的圆 形度值 C ,如式(3): C = L 2 4π × S (3) 式中: S 为物体所在区域面积, L 为物体所在区域周 长,即区域边界的长度,该长度可从边界链码中得 到。 圆形度衡量了物体边缘的复杂程度,其最小值 取 1,物体边缘越复杂,圆形度的取值越高。 由于与 火焰颜色相似的车灯、路灯、太阳等物体边缘复杂度 不高,圆形度近似为 1,而火焰燃烧时边缘较为复 杂,圆形度一般远大于 1,因此通过圆形度可区分边 缘复杂度不高的物体。 2.1.2 矩形度 与圆形度相似,矩形度表示物体边缘与矩形的 相似程度[15] ,矩形度 R 的公式定义如式(4): R = S SR (4) 式中: SR 为包含物体所在区域最小矩形的面积。 矩 形度反应了物体对其最小外接矩形的充满程度。 R 的取值范围为 R∈(0,1] ,火焰的矩形度一般在 0.5 左右。 因此通过矩形度,不仅可以区分类似矩形的 物体(矩形度接近为 1),还可以区分弯曲纤细的物 体(矩形度接近为 0)。 2.1.3 长宽比 长宽比是包含物体所在区域的最小矩形宽度和 长度比值[15] ,可对细长物体和近似圆形或矩形的物 体进行区分, RatioWL 非常小(接近于 0) 或非常大 (接近于无穷大)时表明该物体为细长型物体。 长 宽比 RatioWL的公式定义如式(5)所示: RatioWL = WR / LR (5) 式中: WR 为包含物体所在区域最小矩形的宽度, LR 为包含物体所在区域最小矩形的长度。 2.1.4 重心高度系数 重心高度系数体现了物体重心高度与物体总高 度的关系[15] ,其公式定义如式(6)所示: RatioWC = HC / H (6) 式中: HC 为物体重心高度, H 为物体总高度 。 大部 分形状规则的物体重心位于中央,即 RatioWC 接近于 0.5; 火 焰 产 生 的 大 片 浓 烟 等 区 域 重 心 偏 上, 即 RatioWC >0.5;而火焰的重心一般偏下,即 RatioWC < 0.5。 由此可区分火焰与一些重心偏上和靠近中央 的物体。 2.1.5 边界粗糙度 边界粗糙度描述了物体轮廓的随机性和粗糙 性[16] ,采用物体的周长与其外接凸包( convex hull, CH)周长的比值进行计算,可区分边界较为光滑的 物体。 在一个实数向量空间 V 中,对于给定的集合 ·242· 智 能 系 统 学 报 第 10 卷
第2期 吴茜茵,等:多特征融合的火焰检测算法 .243. X,所有包含X的凸集为K,则K的交集S为X的凸 式中:g。为中心像素灰度值,g:为邻域像素灰度值, 包,如式(7)所示: r为邻域半径,p为邻域像素点个数,ROR为向右循 S-xehcr K (7) 环算子,LBP,为LBP方法最初的计算公式。 在本文中,凸包是指包含某个疑似火焰连通域 LBPp,=】 6,-g)×2 像素的最小凸集,即式(7)中X为疑似火焰连通域 =0 像素。则边界粗糙度B.的计算公式如式(8): 1,x≥0 s(x)= BR L/LCH (8) (0,其他 式中:L4为凸包的周长,L为物体所在区域周长。 2.2形状结构特征的选择及融合 2.1.6纹理特征 由于Bilkent大学的火灾视频库样本较少,因此 纹理特征是一种分层特性,在火灾发生时,由于火 本文构建了一个图片库,其中100幅火焰图片和 焰内部温度的不均匀性,使得不同像素点的灰度级空 100幅非火焰图片作为训练库,300幅火焰图片和 间分布不同,从而导致火焰具有纹理分布的特性。 200幅非火焰图片作为检测库,图片大小均为320× 一般常见的火灾主要有建筑火灾、森林火灾等,这些火 240,图2为图片库中火焰图片和非火焰图片示例。 灾都属于固体燃烧物火灾,这类火灾的火焰纹理大致 可分为2层:火焰部分以及固体表面部分。 在火焰检测中,纹理是一个较为显著的形状结 构特征,除了可区分一些无纹理的干扰物(如红旗 (a)火焰图片示例 等),还可区分纹理与火焰差别较大的干扰物(如黄 土地等)。本文采用Ojala等川提出的局部二值模 式(local binary patterns,LBP)方法提取火焰纹理特 (b)非火焰图片示例 征,根据文献[o]的结论,结合统一、旋转不变以及旋 转统一不变3种LBP方法所提取的纹理特征准确 图2图片库中火焰图片和非火焰图片示例 率最高,3种LBP方法的公式定义为 Fig.2 Fire and non-fire image examples 通过式(2)得到疑似火焰区域后,提取上述的6 U(LBP,,)= I(Eag.)-(g.) 类疑似火焰区域的形状结构特征并归一化,采用 k=0 LBP=min ROR(LBP) SVM方法进行小样本训练并分类。表1为各个形 0 状结构特征的分类结果比较,其中数字F,~F。代 p- ∑s(g-g),U(LBP)≤2 表了6类特征,分别为:圆形度、矩形度、长宽比、重 =0 心高度系数、边界粗糙度和纹理特征。 p+1,其他 表1形状结构特征分类结果 Table 1 Classification results by shape and structure features 准确分 火焰图片准确分类非火焰图 特征 准确分类分类准确平均处理 类火焰 分类准确非火焰图片分类准 图片数 率/% 时间/s 图片数 率/% 片数 确率/% F 226 75.3 122 61.0 348 69.6 0.0124 F2 251 83.7 102 54.0 359 71.8 0.0124 F 139 46.3 138 69.0 277 55.4 0.0003 F 233 77.7 161 80.5 394 78.8 0.0125 F 212 70.7 126 63.0 338 67.6 0.0062 Fo 247 82.3 170 85.0 417 83.4 1.0367 由表1可以看出,长宽比的分类效果最差,因此 对形状结构特征进行融合时摒弃长宽比特征:纹理
X ,所有包含 X 的凸集为 K ,则 K 的交集 S 为 X 的凸 包,如式(7)所示: S = ∩X⊆K⊆V K (7) 在本文中,凸包是指包含某个疑似火焰连通域 像素的最小凸集,即式(7)中 X 为疑似火焰连通域 像素。 则边界粗糙度 BR 的计算公式如式(8): BR = L / LCH (8) 式中: LCH 为凸包的周长, L 为物体所在区域周长。 2.1.6 纹理特征 纹理特征是一种分层特性,在火灾发生时,由于火 焰内部温度的不均匀性,使得不同像素点的灰度级空 间分布不同,从而导致火焰具有纹理分布的特性[10] 。 一般常见的火灾主要有建筑火灾、森林火灾等,这些火 灾都属于固体燃烧物火灾,这类火灾的火焰纹理大致 可分为 2 层:火焰部分以及固体表面部分。 在火焰检测中,纹理是一个较为显著的形状结 构特征,除了可区分一些无纹理的干扰物(如红旗 等),还可区分纹理与火焰差别较大的干扰物(如黄 土地等)。 本文采用 Ojala 等[17] 提出的局部二值模 式(local binary patterns,LBP)方法提取火焰纹理特 征,根据文献[10]的结论,结合统一、旋转不变以及旋 转统一不变 3 种 LBP 方法所提取的纹理特征准确 率最高,3 种 LBP 方法的公式定义为 U(LBPp,r) = ∑ p-1 k = 0 s(g(k+1)modp - gc) - s(gk - gc) LBP rk p,r = min 0≤i≤p-1 {ROR(LBPp,r,k)} LBP rkn2 p,r = ∑ p-1 k = 0 s(gk - gc), U(LBPp,r) ≤ 2 p + 1,其他 ì î í ï ï ïï 式中: gc 为中心像素灰度值, gk 为邻域像素灰度值, r 为邻域半径, p 为邻域像素点个数,ROR 为向右循 环算子, LBPp,r 为 LBP 方法最初的计算公式。 LBPp,r = ∑ p-1 i = 0 s(gk - gc) × 2 i s(x) = 1,x ≥ 0 { 0,其他 2.2 形状结构特征的选择及融合 由于 Bilkent 大学的火灾视频库样本较少,因此 本文构建了一个图片库,其中 100 幅火焰图片和 100 幅非火焰图片作为训练库,300 幅火焰图片和 200 幅非火焰图片作为检测库,图片大小均为 320× 240,图 2 为图片库中火焰图片和非火焰图片示例。 图 2 图片库中火焰图片和非火焰图片示例 Fig.2 Fire and non⁃fire image examples 通过式(2)得到疑似火焰区域后,提取上述的 6 类疑似火焰区域的形状结构特征并归一化,采用 SVM 方法进行小样本训练并分类。 表 1 为各个形 状结构特征的分类结果比较,其中数字 F1 ~ F6 代 表了 6 类特征,分别为:圆形度、矩形度、长宽比、重 心高度系数、边界粗糙度和纹理特征。 表 1 形状结构特征分类结果 Table 1 Classification results by shape and structure features 特征 准确分 类火焰 图片数 火焰图片 分类准确 率/ % 准确分类 非火焰图 片数 非火焰图 片分类准 确率/ % 准确分类 图片数 分类准确 率/ % 平均处理 时间/ s F1 226 75.3 122 61.0 348 69.6 0.012 4 F2 251 83.7 102 54.0 359 71.8 0.012 4 F3 139 46.3 138 69.0 277 55.4 0.000 3 F4 233 77.7 161 80.5 394 78.8 0.012 5 F5 212 70.7 126 63.0 338 67.6 0.006 2 F6 247 82.3 170 85.0 417 83.4 1.036 7 由表 1 可以看出,长宽比的分类效果最差,因此 对形状结构特征进行融合时摒弃长宽比特征;纹理 第 2 期 吴茜茵,等:多特征融合的火焰检测算法 ·243·
.244. 智能系统学报 第10卷 特征的分类效果最好,但由于纹理特征的算法复杂 融合方法,即融合了圆形度、矩形度和重心高度系数 度较高,平均处理时间远大于其他特征,实时性较3类特征的方法。这3类特征可排除不同的火焰干 差,因此不采用纹理特征进行特征融合。综上,选择 扰物。通过圆形度可排除车灯、路灯等物体边缘复 圆形度、矩形度、重心高度系数和边界粗糙度4类特 杂度不高的物体:通过矩形度可排除被照亮的树干 征进行融合,表2为4类特征11种融合方法的分类 等长条形物体:通过重心高度系数不仅可以排除红 结果比较。 色烟雾等重心偏上的干扰物,还可排除太阳等重心 由表2可以看出,第7种特征融合和第11种特 位于中央的物体。综上,融合了圆形度、矩形度和重 征融合方法效果最好,均为82.4%。第11种特征融 心高度系数3类特征后,可排除大部分与火焰颜色 合方法虽然对火焰图片分类的准确率高,但对于非 相似的干扰物,获取的火焰区域较为准确、可靠。 火焰图片分类的准确率过低,因此选取第7种特征 表2特征融合方法分类结果 Table 2 Classification results by feature fusion 准确分火焰图片 准确分类非火焰图 特征融合 准确分类分类准确 序号 类火焰 分类准确非火焰图片分类准 方法 图片数 图片数 率/% 率/% 片数 确率/% F+F2 261 87.0 116 58.0 377 75.4 2 F+Fa 237 79.0 164 82.0 401 80.2 3 F+Fs 200 66.7 138 69.0 338 67.6 4 F2+F4 259 86.3 146 73.0 405 81.0 5 F+Fs 255 85.0 105 52. 360 72.0 6 F4+F, 227 75.7 156 78.0 383 76.6 F+F2+F 267 89.0 145 72.5 412 82.4 8 F,+F2+F5 265 88.3 113 56.5 378 75.6 9 F2+Fa+Fs 263 87.7 132 66.0 395 79.0 10F,+F4+F与224 74.7 164 82.0 388 77.6 11F,+F2+F4+Fs278 92.7 134 67.0 412 82.4 3基于支持向量机的火焰识别 k(x,x:)=[8·(x,x)+1]9 k(x,x:)=exp(-‖x-x:‖2/282) SVM作为一种监督式分类方法,广泛应用于模 k3(x,x:)=tanh(δ·(x,x:)+c) 式识别的众多领域中。SVM是一种二分类器,最早 式中:x:是输入的特征向量,δ和c为核函数的参 由Vapnik提出,通过训练数据集建立一个超平 数。本文中输入的特征向量为x:= 面,使得2类样本以最大间隔分开,然后利用训练结 [C R Ratiowe],将测试集分别用3种核函数进 果对测试数据集进行分类。SVM不仅可以训练高 行分类,结果如表3所示。 维空间向量,而且对于有限的数据训练集有着较好 由表3看出,对火焰图片分类效果最好的是多 的分类效果。除此之外,由于在实际应用中大部分 项式核函数,次佳的是RBF核函数,对非火焰图片 数据集是非线性的,在SVM中提供了由低维空间到 分类效果最好的是RBF核函数,总体而言分类效果 高维空间非线性映射的核函数机制,因此SVM不仅 最好的是RBF核函数。但由于多项式核函数的非 可用于线性分类,还适用于非线性分类。SVM的非 火焰图片分类准确率过低,因此选用RBF作为本文 线性核函数包括多项式核函数k,(x,x:)、径向基核 SVM的核函数。对RBF的惩罚参数和核参数δ优 函数(radial basis function,RBF)k2(x,x:)和Sigmoid 化后,将分类准确率提升至84.4%(即准确分类422 核函数k(x,x:),3种核函数定义为: 张图片)
特征的分类效果最好,但由于纹理特征的算法复杂 度较高,平均处理时间远大于其他特征,实时性较 差,因此不采用纹理特征进行特征融合。 综上,选择 圆形度、矩形度、重心高度系数和边界粗糙度 4 类特 征进行融合,表 2 为 4 类特征 11 种融合方法的分类 结果比较。 由表 2 可以看出,第 7 种特征融合和第 11 种特 征融合方法效果最好,均为 82.4%。 第 11 种特征融 合方法虽然对火焰图片分类的准确率高,但对于非 火焰图片分类的准确率过低,因此选取第 7 种特征 融合方法,即融合了圆形度、矩形度和重心高度系数 3 类特征的方法。 这 3 类特征可排除不同的火焰干 扰物。 通过圆形度可排除车灯、路灯等物体边缘复 杂度不高的物体;通过矩形度可排除被照亮的树干 等长条形物体;通过重心高度系数不仅可以排除红 色烟雾等重心偏上的干扰物,还可排除太阳等重心 位于中央的物体。 综上,融合了圆形度、矩形度和重 心高度系数 3 类特征后,可排除大部分与火焰颜色 相似的干扰物,获取的火焰区域较为准确、可靠。 表 2 特征融合方法分类结果 Table 2 Classification results by feature fusion 序号 特征融合 方法 准确分 类火焰 图片数 火焰图片 分类准确 率/ % 准确分类 非火焰图 片数 非火焰图 片分类准 确率/ % 准确分类 图片数 分类准确 率/ % 1 F 1 + F 2 261 87.0 116 58.0 377 75.4 2 F 1 + F 4 237 79.0 164 82.0 401 80.2 3 F 1 + F 5 200 66.7 138 69.0 338 67.6 4 F 2 + F 4 259 86.3 146 73.0 405 81.0 5 F 2 + F 5 255 85.0 105 52.5 360 72.0 6 F 4 + F 5 227 75.7 156 78.0 383 76.6 7 F 1 + F 2 + F 4 267 89.0 145 72.5 412 82.4 8 F 1 + F 2 + F 5 265 88.3 113 56.5 378 75.6 9 F 2 + F 4 + F 5 263 87.7 132 66.0 395 79.0 10 F 1 + F 4 + F 5 224 74.7 164 82.0 388 77.6 11 F 1 + F 2 + F 4 + F 5 278 92.7 134 67.0 412 82.4 3 基于支持向量机的火焰识别 SVM 作为一种监督式分类方法,广泛应用于模 式识别的众多领域中。 SVM 是一种二分类器,最早 由 Vapnik [15] 提出,通过训练数据集建立一个超平 面,使得 2 类样本以最大间隔分开,然后利用训练结 果对测试数据集进行分类。 SVM 不仅可以训练高 维空间向量,而且对于有限的数据训练集有着较好 的分类效果。 除此之外,由于在实际应用中大部分 数据集是非线性的,在 SVM 中提供了由低维空间到 高维空间非线性映射的核函数机制,因此 SVM 不仅 可用于线性分类,还适用于非线性分类。 SVM 的非 线性核函数包括多项式核函数 k1(x,xi) 、径向基核 函数(radial basis function,RBF) k2(x,xi) 和 Sigmoid 核函数 k3(x,xi) ,3 种核函数定义为: k1(x,xi) = [δ·(x,xi) + 1] q k2(x,xi) = exp( - ‖x - xi‖2 / 2δ 2 ) k3(x,xi) = tanh(δ·(x,xi) + c) 式中: xi 是输入的特征向量, δ 和 c 为核函数的参 数。 本 文 中 输 入 的 特 征 向 量 为 xi = [C R RatioWC ] ,将测试集分别用 3 种核函数进 行分类,结果如表 3 所示。 由表 3 看出,对火焰图片分类效果最好的是多 项式核函数,次佳的是 RBF 核函数,对非火焰图片 分类效果最好的是 RBF 核函数,总体而言分类效果 最好的是 RBF 核函数。 但由于多项式核函数的非 火焰图片分类准确率过低,因此选用 RBF 作为本文 SVM 的核函数。 对 RBF 的惩罚参数和核参数 δ 优 化后,将分类准确率提升至 84.4%(即准确分类 422 张图片)。 ·244· 智 能 系 统 学 报 第 10 卷