第10卷第5期 智能系统学报 Vol.10 No.5 2015年10月 CAAI Transactions on Intelligent Systems 0ct.2015 D0I:10.11992/is.201406044 网s络出版地址:htp://ww.cmki.net/kcms/detail/23.1538.tp.20150930.1556.010.html 半监督SVM分类算法的交通视频车辆检测方法 蒋新华12,高晟3,廖律超12,邹复民2 (1.中南大学信息科学与工程学院,湖南长沙410075:2.福建工程学院福建省汽车电子与电驱动技术重点实验 室,福建福州350108:3.中南大学软件学院,湖南长沙410075) 摘要:针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支 持向量机(SVM)分类算法的交通视频车辆检测方法。利用人工标记的少量样本,分别训练2个基于方向梯度直方 图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的SVM分类器:结合半监督算法的思想,构建SVM的 半监督分类方法(SEMI-SVM),标记未知样本并加人到原样本库中,该方法支持样本库动态更新,避免了繁重的人工 标记样本的工作,提高了自适应性:最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标 记检测出来的运动车辆,统计车辆数目。实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测 准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。 关键词:车辆检测:HOG特征:LBP特征:SVM分类器:半监督学习:运动区域 中图分类号:TP181文献标志码:A文章编号:1673-4785(2015)05-0690-09 中文引用格式:蒋新华,高晟,廖律超,等.半监督SVM分类算法的交通视频车辆检测方法[J].智能系统学报,2015,10(5):690- 698. 英文引用格式:JIANG Xinhua,,GAO Sheng,LIAO Lyuchao,etal.Traffic video vehicle detection based on semi-supervised SVM classification algorithm[J].CAAI Transactions on Intelligent Systems,2015,10(5):690-698. Traffic video vehicle detection based on semi-supervised SVM classification algorithm JIANG Xinhua'2,GAO Sheng,LIAO Ljuchao'2,ZOU Fumin2 (1.School of Information Science and Engineering,Central South University,Changsha 410075,China;2.Fujian Key Laboratory for Automotive Electronics and Electric Drive,Fujian University of Technology,Fuzhou 350108,China;3.School of Software Engineer- ing,Central South University,Changsha 410075,China) Abstract:This paper presents a kind of traffic video vehicle detection method based on a semi-supervised support vector machine (SVM)classification algorithm to improve accuracy and enhance adaptability of vehicle counting in the traffic scene.By analyzing a small number of artificially labeled samples,two SVM classifiers with different ker- nels are trained on the basis of histograms of oriented gradients (HOG)features and local binary pattern(LBP) features,respectively.A semi-supervised SVM(SEMI-SVM)for classification is proposed by adopting the thoughts of semi learning.Then the unknown samples are labeled and added into the original sample database.The proposed method supports data update of the dynamic sample database,avoids heavy manual work labeling samples and en- hances adaptability of the algorithm.A motion region is extracted using the three-frame difference rule.The classifi- er is then loaded to make a multi-scale detection in the extracted motion region,and moving vehicles are marked and counted.The results show the algorithm has good response,good adaptability,and the detection accuracy of moving vehicles is much improved,even under the complex traffic circumstances. Keywords:vehicle detection;histograms of oriented gradients (HOG)feature;local binary pattern LBP)fea- ture;support vector machine (SVM)classifier;semi-supervised learning;motion region 交通视频车辆检测是一种利用视频图像实现对 车辆进行检测的交通检测技术,它可以检测多种参 数和检测范围较大等优点,但如何设计高效的车辆 收稿日期:2014-06-22.网络出版日期:2015-09-30. 基金项目:国家自然科学基金资助项目(61304199,41471333):福 检测算法,提高检测准确率和实时性是亟待解决的 建省自然科学基金(201301214):福建省科技重大专项专 问题。 题资助项目(2011HZ0002-1):福建省交通科技计划项目 目前,通过交通视频进行车辆检测的方法主要 (201318):福建省教有厅B类科研项目(UB3213). 通信作者:高最.E-mail:csugaosheng@163.com. 有:帧间差分法山、灰度等级法[)]、背景相减法[3]
第 10 卷第 5 期 智 能 系 统 学 报 Vol.10 №.5 2015 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2015 DOI:10.11992 / tis.201406044 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.tp.20150930.1556.010.html 半监督 SVM 分类算法的交通视频车辆检测方法 蒋新华1,2 ,高晟3 ,廖律超1,2 ,邹复民2 (1. 中南大学 信息科学与工程学院,湖南 长沙 410075; 2. 福建工程学院 福建省汽车电子与电驱动技术重点实验 室,福建 福州 350108; 3. 中南大学 软件学院,湖南 长沙 410075) 摘 要:针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支 持向量机(SVM)分类算法的交通视频车辆检测方法。 利用人工标记的少量样本,分别训练 2 个基于方向梯度直方 图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的 SVM 分类器;结合半监督算法的思想,构建 SVM 的 半监督分类方法(SEMI⁃SVM),标记未知样本并加入到原样本库中,该方法支持样本库动态更新,避免了繁重的人工 标记样本的工作,提高了自适应性;最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标 记检测出来的运动车辆,统计车辆数目。 实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测 准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。 关键词:车辆检测;HOG 特征;LBP 特征;SVM 分类器;半监督学习;运动区域 中图分类号:TP181 文献标志码:A 文章编号:1673⁃4785(2015)05⁃0690⁃09 中文引用格式:蒋新华,高晟,廖律超,等. 半监督 SVM 分类算法的交通视频车辆检测方法[ J]. 智能系统学报, 2015, 10(5): 690⁃ 698. 英文引用格式:JIANG Xinhua, GAO Sheng, LIAO Lyuchao, et al. Traffic video vehicle detection based on semi⁃supervised SVM classification algorithm[J]. CAAI Transactions on Intelligent Systems, 2015, 10(5): 690⁃698. Traffic video vehicle detection based on semi⁃supervised SVM classification algorithm JIANG Xinhua 1,2 , GAO Sheng 3 , LIAO Ljuchao 1,2 , ZOU Fumin 2 (1. School of Information Science and Engineering, Central South University, Changsha 410075, China; 2. Fujian Key Laboratory for Automotive Electronics and Electric Drive, Fujian University of Technology, Fuzhou 350108, China; 3. School of Software Engineer⁃ ing, Central South University, Changsha 410075, China) Abstract:This paper presents a kind of traffic video vehicle detection method based on a semi⁃supervised support vector machine (SVM) classification algorithm to improve accuracy and enhance adaptability of vehicle counting in the traffic scene. By analyzing a small number of artificially labeled samples, two SVM classifiers with different ker⁃ nels are trained on the basis of histograms of oriented gradients (HOG) features and local binary pattern (LBP) features, respectively. A semi⁃supervised SVM (SEMI⁃SVM) for classification is proposed by adopting the thoughts of semi learning. Then the unknown samples are labeled and added into the original sample database. The proposed method supports data update of the dynamic sample database, avoids heavy manual work labeling samples and en⁃ hances adaptability of the algorithm. A motion region is extracted using the three⁃frame difference rule. The classifi⁃ er is then loaded to make a multi⁃scale detection in the extracted motion region, and moving vehicles are marked and counted. The results show the algorithm has good response, good adaptability, and the detection accuracy of moving vehicles is much improved, even under the complex traffic circumstances. Keywords:vehicle detection; histograms of oriented gradients (HOG) feature; local binary pattern ( LBP) fea⁃ ture; support vector machine (SVM) classifier; semi⁃supervised learning; motion region 收稿日期:2014⁃06⁃22. 网络出版日期:2015⁃09⁃3 基金项目:国家自然科学基金资助项目( 613041 通信作者:高晟. E⁃mail:csugaosheng@ 163.com 9 0 9 . ,41471333);福 . 交通视频车辆检测是一种利用视频图像实现对 车辆进行检测的交通检测技术,它可以检测多种参 数和检测范围较大等优点,但如何设计高效的车辆 检测算法,提高检测准确率和实时性是亟待解决的 问题。 目前,通过交通视频进行车辆检测的方法主要 有:帧间差分法[1] 、灰度等级法[2] 、背景相减法[3⁃5] 建省自然科学基金(2013J01214);福建省科技重大专项专 题资助项目(2011HZ0002-1);福建省交通科技计划项目 (201318);福建省教育厅B类科研项目(JB3213)
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·691. 和边缘检测法等。帧间差分法是对视频序列相邻2 道路的运动车辆。 帧所对应像素进行差分处理来检测运动车辆,但该 1 SVM的半监督分类方法(SEMI 算法对环境噪声比较敏感,依赖于连续帧的时间间 隔以及车辆速度。灰度等级方法则是利用运动车辆 SVM) 及背景来统计灰度阈值以检侧运动目标,但周围环 1.1交通视频特征提取 境和光线变化都会影响该阈值,导致检测不准确。 局部二值模式(LBP)特征是机器视觉处理中用 而背景差分法则是采用当前帧与背景图像对应的像 于图像分类的一种特征16。提取LBP特征向量的 素作差,实现对运动目标的检测,但对外界条件引起 步骤是:1)将交通视频检测窗口划分成16×16的细 的变化较敏感,对环境依赖性较强。边缘检测 胞单元(cll),对于每个细胞单元中的一个像素,将 法[6是通过目标的边缘特性进行检测,能够克服 其环形邻域内的若干个点(如图1所示)进行顺时 光照等不利因素的影响,但当所检测目标边缘特征 针或者逆时针的比较,若中心点像素值比其邻点大, 不明显的,会导致检测错误等问题。上述方法都存 则将邻点标记为1,否则为0。这样邻域内每个点都 在计算量较大,对外部环境的依赖性较大,检测的精 可产生一个8位二进制数,即得到该窗口中心像素 确度不高等不足,尤其对于静止的车辆,这些方法又 点的LBP值。2)计算每个细胞单元的直方图,即每 难以处理,使后续研究变得困难。 个数值出现的频率,再对该直方图进行归一化处理。 为了解决上述问题,并进一步提高检测的性能, 3)将得到的每个细胞单元的统计直方图进行连接 近年来,基于机器学习理论的视频目标检测已逐渐 成为一个特征向量,就是该图像的LBP纹理特征向 成为国内外的研究热点之一【],并取得了一系列研 量。本文从交通视频中截取的包含车辆与不包含车 究成果。文献[9]利用深卷积神经网络(DNNS)的 辆的正、负样本的图像用于分类器的训练,样本图像 自动学习功能,实现了在复杂环境下的车辆检测,提 均规整为64×128像素,每个细胞单元大小为8×8 高了目标检测性能。文献[l0]研究了Gabor小波变 像素,每个块的大小为16×16像素,共可提取出 换和方向梯度直方图(HOG)2种特征,利用K近邻 2830个LBP特征。 结合随机森林的方法进行车辆检测,实验结果证明 该方法能较好地提高车辆检测率。文献[11]利用 动态贝叶斯网络对车辆颜色和局部纹理进行综合分 析后实现车辆检测。文献[12]结合了离线boost和 TLD进行车辆检测,在视频环境中取得了较好的检 测效果。文献[13]则利用Adaboost结合支持向量 LBP LBP LBP 机(SVM)方法对HOG特征进行处理后对复杂环境 图1LBP特征 的车辆进行检测。虽然使用机器学习的方法取得了 Fig.1 LBP features 较好的车辆检测效果,但上述方法都需要准备大量 HOG特征是一种方向梯度直方图的表示方法, 的样本,检测准确率与样本数量有密切关系,而且人 该特征对图像中局部边缘信息不明显和形状变化很 工标注样本是一件非常繁琐的事情。 微小的运动物体都能进行特征化,提取这些特征进 因此,本文结合Co-training算法[与Tri-train- 行分类识别)。H0G特征提取的步骤是:1)将交 img算法的思想,构建了SVM的半监督分类器并 通视频图像进行灰度处理,利用Gamma校正法调整 基于遗传算法(GA)进行参数优选,该分类器可支持 图像对比度,以减小阴影与光线变化对局部图像造 动态获取新样本进行学习,不仅提高了分类精度,而 成影响。2)对图像进行归一化处理,计算每个像素 且还大大减轻了采集训练样本的工作量。同时,针 的梯度(方向与大小),图像被分为许多细胞单元 对车辆检测的准确率和自适应性的问题,本文提出 (cell),将其中若干个细胞单元组成一个块(block)。 了基于半监督SVM分类算法的交通视频车辆检测 3)统计每个块内像素梯度方向直方图,将块以一个 方法,提取特定的运动区域后用分类器进行检测,有 单位为步长扫描图像,串联所有块即可得到该图像 效剔除了大量干扰检测的无用信息,加快了检测速 的特征。图像梯度维度的计算方法如下: 度。而且,该方法支持样本库的动态更新,能有效提 DimNum=g(h)×g(k) (1) 高检测准确率,降低误检率,并可用于检测复杂交通
和边缘检测法等。 帧间差分法是对视频序列相邻 2 帧所对应像素进行差分处理来检测运动车辆,但该 算法对环境噪声比较敏感,依赖于连续帧的时间间 隔以及车辆速度。 灰度等级方法则是利用运动车辆 及背景来统计灰度阈值以检测运动目标,但周围环 境和光线变化都会影响该阈值,导致检测不准确。 而背景差分法则是采用当前帧与背景图像对应的像 素作差,实现对运动目标的检测,但对外界条件引起 的变 化 较 敏 感, 对 环 境 依 赖 性 较 强。 边 缘 检 测 法[6⁃7]是通过目标的边缘特性进行检测,能够克服 光照等不利因素的影响,但当所检测目标边缘特征 不明显的,会导致检测错误等问题。 上述方法都存 在计算量较大,对外部环境的依赖性较大,检测的精 确度不高等不足,尤其对于静止的车辆,这些方法又 难以处理,使后续研究变得困难。 为了解决上述问题,并进一步提高检测的性能, 近年来,基于机器学习理论的视频目标检测已逐渐 成为国内外的研究热点之一[8] ,并取得了一系列研 究成果。 文献[9]利用深卷积神经网络(DNNS)的 自动学习功能,实现了在复杂环境下的车辆检测,提 高了目标检测性能。 文献[10]研究了 Gabor 小波变 换和方向梯度直方图(HOG)2 种特征,利用 K 近邻 结合随机森林的方法进行车辆检测,实验结果证明 该方法能较好地提高车辆检测率。 文献[11] 利用 动态贝叶斯网络对车辆颜色和局部纹理进行综合分 析后实现车辆检测。 文献[12]结合了离线 boost 和 TLD 进行车辆检测,在视频环境中取得了较好的检 测效果。 文献[13] 则利用 Adaboost 结合支持向量 机(SVM)方法对 HOG 特征进行处理后对复杂环境 的车辆进行检测。 虽然使用机器学习的方法取得了 较好的车辆检测效果,但上述方法都需要准备大量 的样本,检测准确率与样本数量有密切关系,而且人 工标注样本是一件非常繁琐的事情。 因此,本文结合 Co⁃training 算法[14] 与 Tri⁃train⁃ ing 算法[15]的思想,构建了 SVM 的半监督分类器并 基于遗传算法(GA)进行参数优选,该分类器可支持 动态获取新样本进行学习,不仅提高了分类精度,而 且还大大减轻了采集训练样本的工作量。 同时,针 对车辆检测的准确率和自适应性的问题,本文提出 了基于半监督 SVM 分类算法的交通视频车辆检测 方法,提取特定的运动区域后用分类器进行检测,有 效剔除了大量干扰检测的无用信息,加快了检测速 度。 而且,该方法支持样本库的动态更新,能有效提 高检测准确率,降低误检率,并可用于检测复杂交通 道路的运动车辆。 1 SVM 的半监督分类 方 法 ( SEMI⁃ SVM) 1.1 交通视频特征提取 局部二值模式(LBP)特征是机器视觉处理中用 于图像分类的一种特征[16] 。 提取 LBP 特征向量的 步骤是:1)将交通视频检测窗口划分成 16×16 的细 胞单元(cell),对于每个细胞单元中的一个像素,将 其环形邻域内的若干个点(如图 1 所示) 进行顺时 针或者逆时针的比较,若中心点像素值比其邻点大, 则将邻点标记为 1,否则为 0。 这样邻域内每个点都 可产生一个 8 位二进制数,即得到该窗口中心像素 点的 LBP 值。 2)计算每个细胞单元的直方图,即每 个数值出现的频率,再对该直方图进行归一化处理。 3)将得到的每个细胞单元的统计直方图进行连接 成为一个特征向量,就是该图像的 LBP 纹理特征向 量。 本文从交通视频中截取的包含车辆与不包含车 辆的正、负样本的图像用于分类器的训练,样本图像 均规整为 64×128 像素,每个细胞单元大小为 8×8 像素,每个块的大小为 16 × 16 像素,共可提取出 2 830个 LBP 特征。 图 1 LBP 特征 Fig.1 LBP features HOG 特征是一种方向梯度直方图的表示方法, 该特征对图像中局部边缘信息不明显和形状变化很 微小的运动物体都能进行特征化,提取这些特征进 行分类识别[17] 。 HOG 特征提取的步骤是:1) 将交 通视频图像进行灰度处理,利用 Gamma 校正法调整 图像对比度,以减小阴影与光线变化对局部图像造 成影响。 2)对图像进行归一化处理,计算每个像素 的梯度(方向与大小),图像被分为许多细胞单元 (cell),将其中若干个细胞单元组成一个块(block)。 3)统计每个块内像素梯度方向直方图,将块以一个 单位为步长扫描图像,串联所有块即可得到该图像 的特征。 图像梯度维度的计算方法如下: DimNum = g(h)×g(k) (1) 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·691·
·692· 智能系统学报 第10卷 8(h)=6X(): 分类面,即得 (2) f)sign(Y.a.K(X.X))+b(6) 8(k)= (h-bsine+bsp)X(w-bsire +bsuep) i=1 (3) bp 式中:α:为拉格朗日乘数,可以得到原优化问题相 式中:cn为细胞单元的维数,bs为块的大小,cs为 对应的对偶问题,每个约束条件在原问题中所对应 细胞单元的大小,bp为块的移动步长,h和w为图 的Lagrange乘子: 像的高度与宽度。 b=Y- Y.a.K(X:.X,) (7) 本文中训练分类器的样本图像是从交通视频中 i=1 式中K(X,X)为核函数。 截取包含车辆的正样本和不包含车辆的负样本,样 研究表明,对SVM分类器而言,核函数的选择 本图像归一化为64×128像素,每个细胞单元大小 是决定其性能的关键因素[9。选择不同的核函数 为8×8像素,每个块的大小为16×16像素,每个像 将影响分类器的效率与精度。目前应用最广泛的核 素点的梯度划分为9个方向,块的移动步长为8个 函数主要有[20; 像素。因此,每个样本图像提取的HOG特征有 1)Sigmoid核函数,表达式为 3780维特征,将该特征用于SVM分类器进行学习 K(X;,X)=tanh [b(X:,X)c] (8) 与分类。 2)多项式核函数,表达式为 2.2SVM学习及其参数优化 K(X,X)=(X·X+1)4,d=1,2,3…(9) SVM分类是通过一个非线性映射将作为学习 3)径向基核函数,表达式为 样本的交通视频图像的各个属性分量映射到高维特 征空间F中,然后利用结构风险最小化原则在F中 K(X)=exp( (10) 2c2 找到间隔最大的超平面,能将给定的视频车辆训练 多项式核函数属于全局核函数,具有全局特性。 样本进行正确的分类[)。其中,超平面和样本的最 径向基核函数属于局部核函数,具有局部性。Sg 大距离即为构造超平面的依据。 moid核函数由于参数选择尤为困难,一般不被采 交通视频车辆检测的训练集{(X,Y)Ik=1, 用。由于交通视频车辆检测过程存在着强非线性的 2,…,l}由2类组成。其中,X∈R为输入,Y∈ 特点,因此本文采用径向基核函数与多项式核函数 {-1,1}为类别判别输出,如果X∈R为有车辆,则 建立车辆检测模型,并对径向基核函数处理模型进 标记为(Yk=1);如果无车辆,则标记为负(Y=-1)。 行调优。 训练的目标就是构造一个判别函数G(X)=W·X+ 径向基核函数SVM处理模型具有很好的小样 b作为分类面对交通视频样本数据能较准确进行分 本学习能力及泛化性能,但需要对模型惩罚参数C 类,并且要求分类间隔最大化,就需使ⅡW‖或 和核函数参数σ进行调优,提高分类准确率,得到 ‖W‖2最小;要让分类面对所有样本数据进行正确 比较理想的检测结果。本文采用遗传算法对分类器 分类,需满足条件Y[(W·X)+b]-1≥0,对任意样 模型参数进行优选,实现模型参数的最优化,从而提 本空间的{X,Y}。 高分类器检测的准确率,能够避免过度学习与欠学 对于线性可分的样本,可以引入松弛变量:≥0 习状态的情况,提高在不同场景下交通视频的自适 来构造分类超平面,此时目标函数为 应性。模型参数自动寻优算法(GOA-SVM)的基本 w+c 步骤如下: (4) i=】 输入:遗传算法运行参数,包括种群规模、进化 Y:[(W·X,)+b]-1+:≥0 (5) 代数等; 式中:C为惩罚因子,当C=0时,就是线性可分 输出:全局最优的(C,σ〉参数集: 问题。 Begin: 为了更有效地处理图像属性与交通视频有无车 1)建立区域扫描器,并指定<C,σ>参数对的寻 辆的分类问题之间的非线性关系,本文选用径向基 优计算取值范围: 核函数将样本属性在低维空间的非线性问题映射成 2)随机产生初始种族群P(t),并转换为实值向 高维特征空间的线性问题,并在新空间中求解最优 量,同时通过SVM训练模型准确度计算各参数对的
g(h)= cDim ×( bSize cSize ) 2 (2) g(k)= (h-bSize +bStep )×(w-bSize +bStep ) b 2 Step (3) 式中:cDim为细胞单元的维数,bSize为块的大小,cSize为 细胞单元的大小,bStep为块的移动步长,h 和 w 为图 像的高度与宽度。 本文中训练分类器的样本图像是从交通视频中 截取包含车辆的正样本和不包含车辆的负样本,样 本图像归一化为 64×128 像素,每个细胞单元大小 为 8×8 像素,每个块的大小为 16×16 像素,每个像 素点的梯度划分为 9 个方向,块的移动步长为 8 个 像素。 因此, 每个样本图像提取的 HOG 特征有 3 780维特征,将该特征用于 SVM 分类器进行学习 与分类。 2.2 SVM 学习及其参数优化 SVM 分类是通过一个非线性映射将作为学习 样本的交通视频图像的各个属性分量映射到高维特 征空间 F 中,然后利用结构风险最小化原则在 F 中 找到间隔最大的超平面,能将给定的视频车辆训练 样本进行正确的分类[18] 。 其中,超平面和样本的最 大距离即为构造超平面的依据。 交通视频车辆检测的训练集{(Xk,Yk ) | k = 1, 2,…,l} 由 2 类组成。 其中,Xk ∈R d 为输入,Yk ∈ {-1,1}为类别判别输出,如果 Xk∈R d 为有车辆,则 标记为(Yk = 1);如果无车辆,则标记为负(Yk = -1)。 训练的目标就是构造一个判别函数 G(X)= W·X+ b 作为分类面对交通视频样本数据能较准确进行分 类,并且要求分类间隔最大化,就需使 ‖ W ‖ 或 ‖W‖2 最小;要让分类面对所有样本数据进行正确 分类,需满足条件 Yi[(W·Xi)+b]-1≥0,对任意样 本空间的{Xk,Yk}。 对于线性可分的样本,可以引入松弛变量 ζi≥0 来构造分类超平面,此时目标函数为 min w,b,ζ 1 2 ‖w‖2 + C∑ n i = 1 ζi (4) Yi[(W·Xi) + b] - 1 + ζi ≥ 0 (5) 式中:C 为惩罚因子,当 C = 0 时,就是线性可分 问题。 为了更有效地处理图像属性与交通视频有无车 辆的分类问题之间的非线性关系,本文选用径向基 核函数将样本属性在低维空间的非线性问题映射成 高维特征空间的线性问题,并在新空间中求解最优 分类面,即得 f(X) = sign(∑ n i = 1 YiαiK(Xi,X)) + b ∗ (6) 式中:αi 为拉格朗日乘数,可以得到原优化问题相 对应的对偶问题,每个约束条件在原问题中所对应 的 Lagrange 乘子: b ∗ = Yj - ∑ n i = 1 YiαiK(Xi,Xj) (7) 式中 K(Xi,Xj)为核函数。 研究表明,对 SVM 分类器而言,核函数的选择 是决定其性能的关键因素[19] 。 选择不同的核函数 将影响分类器的效率与精度。 目前应用最广泛的核 函数主要有[20] : 1)Sigmoid 核函数,表达式为 K(Xi,Xj) = tanh [b(Xi,Xj) + c] (8) 2)多项式核函数,表达式为 K(Xi,Xj) = (Xi·Xj + 1) d ,d = 1,2,3… (9) 3) 径向基核函数,表达式为 K(Xi,Xj) = exp( - ‖Xi - Xj‖2 2σ 2 ) (10) 多项式核函数属于全局核函数,具有全局特性。 径向基核函数属于局部核函数,具有局部性。 Sig⁃ moid 核函数由于参数选择尤为困难,一般不被采 用。 由于交通视频车辆检测过程存在着强非线性的 特点,因此本文采用径向基核函数与多项式核函数 建立车辆检测模型,并对径向基核函数处理模型进 行调优。 径向基核函数 SVM 处理模型具有很好的小样 本学习能力及泛化性能,但需要对模型惩罚参数 C 和核函数参数 σ 进行调优,提高分类准确率,得到 比较理想的检测结果。 本文采用遗传算法对分类器 模型参数进行优选,实现模型参数的最优化,从而提 高分类器检测的准确率,能够避免过度学习与欠学 习状态的情况,提高在不同场景下交通视频的自适 应性。 模型参数自动寻优算法(GOA⁃SVM)的基本 步骤如下: 输入:遗传算法运行参数,包括种群规模、进化 代数等; 输出:全局最优的〈C,σ〉参数集; Begin: 1)建立区域扫描器,并指定<C,σ>参数对的寻 优计算取值范围; 2)随机产生初始种族群 P(t),并转换为实值向 量,同时通过 SVM 训练模型准确度计算各参数对的 ·692· 智 能 系 统 学 报 第 10 卷
第5期 蒋新华,等:半监督SVM分类算法的交通视频车辆检测方法 ·693. 个体适应度函数值F(t): 帧进行1次检测标记,选择k个置信度最大的正、负 for(i=0,i<=最大进化代数,i计+) 样本,得到结果U2: U→U2 3)进行选择、交叉及变异操作: 5)对比U。,和U,将标记结果一致的样本放入 4)计算新群体的个体适应度,并提取当前最佳 样本库U中; 适应度的(C,σ〉参数集; Ua,∩U,→U 6)将U'+L组成新的样本库,重新训练分类器 End hi,h2: 1.3半监督SVM学习算法 while(视频未结束) 本文综合Co-training算法与Tri-training算法的 7)得到用新样本库训练的分类器h,'、h2',比较 思想,提出一种半监督SVM学习算法(SEM- h,'与h,'选择检测结果好的分类器作为最终分类器 SVM)。该算法在同一个交通视频样本库中提取 h3输出。 HOG特征训练遗传算法优化后的径向基核函数 End GOA-SVM分类器,提取LBP特征训练多项式核函 其中,SEMI-SVM算法要求有2个不同类型的 数SVM分类器。利用这2个分类器分别对未标记 分类器进行协同训练,若采用相同的分类器就变成 的交通视频样本进行识别,从中选择置信度比较高 了自训练算法。该算法中虽然采用的2个分类器都 的正、负样本。比较2个分类器的标记结果,将标记 是SVM分类器,但由于这里选取不同的核函数,可 结果一致的样本重新加入到原样本库中,更新样本 认为是2个不同分类器进行协同训练。 库,重新训练分类器:如此循环上述步骤,直至视频 由于该学习算法是利用2个不同分类器对同一 结束。选取识别效果好的一个分类器作为最终分类 个未标记样本视频进行检测并标记,若2次标记结 器输出并进行后续检测。这样不仅能让科研人员从 果相同,说明正确标记该未知样本的置信度就比较 繁重的人工标记样本的工作中得到解放,而且能够 高,则将该标记作为新的样本加入到样本库中就更 动态更新样本库,大大增加自适应性,提高检测 有价值。 准确率。 SEMI-SVM学习算法的基本步骤如下: 2特定运动区域的SEMI-SVM优化方法 输入:已标记样本库:L={(x1,y1),(x2, y2),…,(x,y)} 本文采用的车辆检测方法是先对全图作帧间差 未标记样本库: 分,通过扩展补偿得到运动区域,然后选取特定的运 U={山1,2,…,u}(未标记样本库来自交通视 动区域利用已训练好的分类器进行检测。 频) 1)对图像进行帧间差分及二值化阈值分割。 输出:SEMI-SVM分类器h 设I(m,n,t)为t时刻的图像序列,(m,n)表示 Begin: 图像中坐标为(m,n)的像素点,选取视频序列,连续 1)从已标记样本库L中提取HOG特征训练径 的3帧1(m,n,t-1),I(m,n,t)和1(m,n,t+1),利用 向基核函数G0A-SVM分类器h1; 式(11)、(12)分别对相邻的帧作帧间差分: 2)从已标记样本库L中提取LBP特征训练多 D.-1(m,n)=|I(m,n,t)-I(m,n,t-1)(11) 项式核函数SVM分类器h2; D+1(m,n)=I(m,n,t+1)-I(m,n,t)(12) do 式中D(m,n)为差分图像。 选取适当的阈值T对得到的差分图像D(m,n) 3)用分类器h,对未标记视频样本库U每隔m 进行二值化如下: 帧进行1次检测标记,选择k个置信度最大的正、负 255,D.-1(m,n)≥T b4-(m,n)= (13) 样本,得到结果U; 0,D.-(m,n)<T U→Ua (255,(D+1.(m,n)≥T b+1(m,n)= (14) 4)用分类器h,对未标记视频样本库U每隔m (0,D+1.(m,n)<T
个体适应度函数值 F(t); for(i = 0,i< =最大进化代数,i++) { 3)进行选择、交叉及变异操作; 4)计算新群体的个体适应度,并提取当前最佳 适应度的〈C,σ〉参数集; } End 1.3 半监督 SVM 学习算法 本文综合 Co⁃training 算法与 Tri⁃training 算法的 思想, 提 出 一 种 半 监 督 SVM 学 习 算 法 ( SEMI⁃ SVM)。 该算法在同一个交通视频样本库中提取 HOG 特征训练遗传算法优化后的径向基核函数 GOA⁃SVM 分类器,提取 LBP 特征训练多项式核函 数 SVM 分类器。 利用这 2 个分类器分别对未标记 的交通视频样本进行识别,从中选择置信度比较高 的正、负样本。 比较 2 个分类器的标记结果,将标记 结果一致的样本重新加入到原样本库中,更新样本 库,重新训练分类器;如此循环上述步骤,直至视频 结束。 选取识别效果好的一个分类器作为最终分类 器输出并进行后续检测。 这样不仅能让科研人员从 繁重的人工标记样本的工作中得到解放,而且能够 动态更新样本库, 大大增加自适应性, 提高检测 准确率。 SEMI⁃SVM 学习算法的基本步骤如下: 输入: 已 标 记 样 本 库: L = {( x1 , y1 ), ( x2 , y2 ),...,(xi,yi)} 未标记样本库: U= {u1 ,u2 ,…,un } (未标记样本库来自交通视 频) 输出:SEMI⁃SVM 分类器 h3 Begin: 1)从已标记样本库 L 中提取 HOG 特征训练径 向基核函数 GOA⁃SVM 分类器 h1 ; 2)从已标记样本库 L 中提取 LBP 特征训练多 项式核函数 SVM 分类器 h2 ; do { 3)用分类器 h1 对未标记视频样本库 U 每隔 m 帧进行 1 次检测标记,选择 k 个置信度最大的正、负 样本,得到结果 Uh1 ; U → Uh1 4)用分类器 h2 对未标记视频样本库 U 每隔 m 帧进行 1 次检测标记,选择 k 个置信度最大的正、负 样本,得到结果 Uh2 ; U → Uh2 5)对比 Uh1和 Uh2 ,将标记结果一致的样本放入 样本库 U′中; Uh1 ∩ Uh2 → U′ 6)将 U′+L 组成新的样本库,重新训练分类器 h1 ,h2 ; }while(视频未结束) 7)得到用新样本库训练的分类器 h1 ′、h2 ′,比较 h1 ′与 h2 ′选择检测结果好的分类器作为最终分类器 h3 输出。 End 其中,SEMI⁃SVM 算法要求有 2 个不同类型的 分类器进行协同训练,若采用相同的分类器就变成 了自训练算法。 该算法中虽然采用的 2 个分类器都 是 SVM 分类器,但由于这里选取不同的核函数,可 认为是 2 个不同分类器进行协同训练。 由于该学习算法是利用 2 个不同分类器对同一 个未标记样本视频进行检测并标记,若 2 次标记结 果相同,说明正确标记该未知样本的置信度就比较 高,则将该标记作为新的样本加入到样本库中就更 有价值。 2 特定运动区域的 SEMI⁃SVM 优化方法 本文采用的车辆检测方法是先对全图作帧间差 分,通过扩展补偿得到运动区域,然后选取特定的运 动区域利用已训练好的分类器进行检测。 1)对图像进行帧间差分及二值化阈值分割。 设 I(m,n,t)为 t 时刻的图像序列,(m,n)表示 图像中坐标为(m,n)的像素点,选取视频序列,连续 的 3 帧 I(m,n,t-1),I(m,n,t)和 I(m,n,t+1),利用 式(11)、(12)分别对相邻的帧作帧间差分: Dt,t-1(m,n) = I(m,n,t) - I(m,n,t - 1) (11) Dt+1,t(m,n) = I(m,n,t + 1) - I(m,n,t) (12) 式中 D(m,n)为差分图像。 选取适当的阈值 T 对得到的差分图像 D(m,n) 进行二值化如下: bt,t-1(m,n) = 255,Dt,t-1(m,n) ≥ T {0,Dt,t-1(m,n) < T (13) bt+1,t(m,n) = 255,(Dt+1,t(m,n) ≥ T {0,Dt+1,t(m,n) < T (14) 第 5 期 蒋新华,等:半监督 SVM 分类算法的交通视频车辆检测方法 ·693·
·694 智能系统学报 第10卷 对所得的2幅二值前景图做“或”运算,得到二 本则为人工截取视频中不包括车辆的图像(图3 值图像: (b)),例如非机动车、行人、道路和建筑物等,甚至 255,b.-1(m,n)Ub+1(m,n)=255 网上搜索到的不包括车辆的随意图像。正、负样本 B(m,n)= 0,b-(m,n)Ub4(m,n)=0 的尺寸统一截取为64×128像素。通过上述方式, (15) 本文提取初始的800个正样本和2000个负样本的 2)利用中指滤波进行图像平滑处理。 HOG特征与LBP特征分别进行径向基核函数GOA- 中值滤波能够很好地抑制脉冲干扰和图像噪 SVM分类器与多项式核函数SVM分类器的训练 声,保护图像的边缘信息。利用中值滤波进行平滑 学习。 处理可以保留更多的关于图像的灰度信息,使图像 轮廓检测的质量得到保障。 3)对二值图像形态学去噪。 对B(m,n)进行膨胀然后腐蚀可以去除图像中 的孤立噪点和部分空洞,弥合小裂缝,而总的位置和 形状不变。 4)获取运动区域并进行多尺度检测。 对去噪处理后的图像,寻找运动区域的连通域, 在遍历标记连通域时适当扩展区域,可以完整的得 (a)正样本 到运动区域如图2所示。选取特定运动区域,利用 分类器进行车辆检测。 (b)负样本 图3原始训练的部分正、负样本图片 图2运动车辆区域 Fig.3 Part of positive and negative sample pictures for Fig.2 Vehicle motion region the initial classifier 3实验结果与分析 3.2初始样本集SVM分类器实现及实验结果 系统实验采用福州市五四路冶山路南路段的交 在经过交通视频正、负样本HOG与LBP特征 通视频数据(分辨率:1140×934),系统实验主机硬 属性提取之后,分别对2种核函数SVM分类器进行 件配置为Core i5-3470CPU(4核,3.2GHz主频), 训练学习。同时采用遗传算法对径向基核函数 4G内存,Microsoft Windows7系统,算法基于C+以 SVM分类器模型(GOA-SVM)的训练适应度进行遗 及OpenCV开发实现。 传演化择优,并对分类器的检测准确度进行自适应 3.1初始分类器样本集 动态调优。 初始样本的获取主要以人工方式处理,其中,正 对正、负样本特征数据进行半交叉验证测试,利 样本为人工截取视频中车辆尾部(图3(a))。负样 用不同参数数据进行GOA-SVM分类器模型与多项
对所得的 2 幅二值前景图做“或”运算,得到二 值图像: B(m,n) = 255,bt,t-1(m,n) ∪ bt+1,t(m,n) = 255 0,bt,t-1(m,n) ∪ b { t+1,t(m,n) = 0 (15) 2)利用中指滤波进行图像平滑处理。 中值滤波能够很好地抑制脉冲干扰和图像噪 声,保护图像的边缘信息。 利用中值滤波进行平滑 处理可以保留更多的关于图像的灰度信息,使图像 轮廓检测的质量得到保障。 3)对二值图像形态学去噪。 对 B(m,n)进行膨胀然后腐蚀可以去除图像中 的孤立噪点和部分空洞,弥合小裂缝,而总的位置和 形状不变。 4)获取运动区域并进行多尺度检测。 对去噪处理后的图像,寻找运动区域的连通域, 在遍历标记连通域时适当扩展区域,可以完整的得 到运动区域如图 2 所示。 选取特定运动区域,利用 分类器进行车辆检测。 图 2 运动车辆区域 Fig.2 Vehicle motion region 3 实验结果与分析 系统实验采用福州市五四路冶山路南路段的交 通视频数据(分辨率:1 140×934),系统实验主机硬 件配置为 Core i5⁃3470 CPU(4 核,3.2 GHz 主频), 4 G内存,Microsoft Windows 7 系统,算法基于 C++以 及 OpenCV 开发实现。 3.1 初始分类器样本集 初始样本的获取主要以人工方式处理,其中,正 样本为人工截取视频中车辆尾部(图 3(a))。 负样 本则为人工截取视频中不包括车辆的图像( 图 3 (b)),例如非机动车、行人、道路和建筑物等,甚至 网上搜索到的不包括车辆的随意图像。 正、负样本 的尺寸统一截取为 64×128 像素。 通过上述方式, 本文提取初始的 800 个正样本和 2 000 个负样本的 HOG 特征与 LBP 特征分别进行径向基核函数 GOA⁃ SVM 分类器与多项式核函数 SVM 分类器的训练 学习。 (a)正样本 (b)负样本 图 3 原始训练的部分正、负样本图片 Fig.3 Part of positive and negative sample pictures for the initial classifier 3.2 初始样本集 SVM 分类器实现及实验结果 在经过交通视频正、负样本 HOG 与 LBP 特征 属性提取之后,分别对 2 种核函数 SVM 分类器进行 训练学习。 同时采用遗传算法对径向基核函数 SVM 分类器模型(GOA⁃SVM)的训练适应度进行遗 传演化择优,并对分类器的检测准确度进行自适应 动态调优。 对正、负样本特征数据进行半交叉验证测试,利 用不同参数数据进行 GOA⁃SVM 分类器模型与多项 ·694· 智 能 系 统 学 报 第 10 卷