第6卷第3期 智能系统学报 Vol.6 No.3 2011年6月 CAAI Transactions on Intelligent Systems Jun.2011 doi:10.3969/i.i8sn.1673-4785.2011.03.004 指示类交通标识的自动检测 罗艳，蔡自兴 (中南大学信息科学与工程学院，湖南长沙410083) 摘要：针对指示类交通标识的特点，进行标志牌检测算法的研究.首先利用快速HSV颜色查找的方法进行颜色分 割，对颜色分割后的二值图进行必要的形态学预处理，接着利用圆形度和拐角检测与几何特征结合的方法进行形状 识别.针对某些圆形标志边缘分割不完整的情形，提出一种根据距离直方图判断是否为圆形标志的方法.实验结果 表明，算法对实际道路环境下的指示类交通标识的检测具有较好准确性和鲁棒性，满足实时性要求 关键词：指示类交通标识；HSV颜色查找；圆形度；拐角检测；距离直方图 中图分类号：TP391.4文献标识码：A文章编号：16734785(2011)03021306 Automatic detection of indicative traffic signs LUO Yan,CAI Zixing (School of Information Science and Engineering,Central South University,Changsha 410083,China) Abstract:This paper studied the detection algorithms of indicative traffic signs.First,the color segmentation was recorded along with a fast HSV color search method,and later the morphologic preprocessing was taken on the bina- ry image after the color segmentation.Second,circularity and corner detection combined with geometric character- istics were used to judge if a region was an indicative sign.Last,in view of the incomplete edge of the round sign after the color segmentation,a new algorithm was raised based on a distance histogram for confirmation.Experi- mental results show that this algorithm is accurate and robust for detecting indicative traffic signs in real traffic envi- ronments,and also meets the real-time demand. Keywords:indicative traffic signs;HSV color search;circularity;corner detection;distance histogram 对智能车辆的研究开始于20世纪50年代，以美智能交通系统离不开交通标识识别(tra出fic signs rec 国为首，德国、意大利、英国以及日本等国家相继开展 ognition,TSR)系统，交通标识识别是通过机器视觉相 了自动驾驶和车辆导航技术的研究.20世纪80年代 关技术来完成，利用车载相机获得车辆前方图像，通 随着微处理器性能的提高，开始出现真正意义上的智 过计算机视觉与图像处理的方法来识别交通标识，达 能车辆系统的研究.如今，世界上主要的智能车辆研 到真正指示车辆安全行驶的目的， 究领域出现很多突破性的研究成果，如美国的Navlab 在基于计算机视觉系统的交通标识识别中，如何 系列智能车、德国的VaMoRs无人车、意大利ARGO 快速有效地检测并提取出交通标识是一个关键问题， 自主车、我国国防科技大学的CITAVT系列视觉导航 以往的文献方法有很多，但大多是针对禁令标识，比 自主车、吉林大学的JUIV和JLUIV系列智能车等. 如Houg变换是最常用的圆形标识检测方法，该方 智能车辆的研究也是智能交通系统研究的主要内容， 法的优点是可靠性高，缺点是计算量和资源需求比较 为实现安全驾驶和自主导航提供关键技术，目前的智 大，其相应的很多改进算法都致力于减少算法的时间 能交通系统都是针对高速公路或者野外环境，主要是 和空间复杂性.模板匹配法231是比较低层次的方法， 利用雷达和GPRS导航设备来完成路径搜索.真正的 逐个像素点的匹配将消耗大量的系统时间，很难满足 收稿日期：2010-12-22. 实时性要求.神经网络方法4把通过归一化和特征提 基金项目：国家自然科学基金资助项目(90820302). 取后的数据作为输入样本，以一定的学习准则对神经 通信作者：罗艳.E-mail:luoyan0702@sohu.com 网络进行学习训练，以此实现交通标识的检测和识
.214 智能系统学报 第6卷 别，但是输入量较大，网络学习时间较长.拐角检测算 区域，这里取195<H<245,S>0.25,V>0.2可以 法s6是Escalera在1997年提出来的，该方法通过构 提取出蓝色标识区域。 造不同形状的掩膜进行卷积运算来提取拐角，算法效 上述方法中前面3种都是基于RGB颜色空间 果很好，但是对矩形需要进行4次卷积运算，时间较 的分割方法，优点是分割算法简单、速度很快，缺点 长.圆形度方法门通过公式计算圆形度的值来判断圆 是颜色极易受光照变化影响，对光照变化很敏感，因 形形状，该方法原理简单，计算量小，能直观地反映图 此适应性较差.第4种是基于HSV空间的方法，由 形趋向圆的程度， 于将亮度分量从颜色中分离出来，使得颜色对亮度 本文采用了圆形度的计算公式和拐角检测算法 的依赖性减少，该方法对光照变化具有一定的鲁棒 的思想，提出了快速有效的基于彩色图像的指示类 性，缺点是从RGB空间转换到HSV空间是非线性 交通标识检测方法，并提出了圆形标识边缘分割不 变换，这个过程比较耗费系统时间，影响系统实时 完整时的改进算法.算法首先对采集到的彩色图像 性.但是如果预先建立一个从RGB到HSV的快速 进行颜色分割，这里采用了RGB到HSV空间的快 颜色查找方法，即可直接得到H、S、V3个分量值，既 速转换分割方法，根据色调和饱和度分量来提取蓝 可以像在HSV空间进行颜色处理一样方便，又避免 色区域并二值化.接着采用圆形度计算公式检测圆 了颜色空间非线性变换带来的复杂度.下面公式是 形，利用拐角检测与几何信息结合的方法来检测矩 一种建立快速HSV颜色查找的简单方法 形，最后提出了改进算法，即距离直方图的方法来检 fmat =max(R,G,B), 测边缘分割不完整的圆形标识， fuin min(R,C,B), ifR=fx,H=（G-B)/fna-fa）, 1指示交通标识的检测 if G=fmm,H=2+(B-R)/(famt -fai) 1.1颜色分割 if B fs,H=4+(R-G)/(fam -fain), 常用的颜色分割方法有RGB空间的颜色分割、 H=H×60. 归一化的RGB分割、简单向量滤波器(simple vector fH<0,H=H+360, filter,SVP)颜色分割和HSV空间的颜色分割方法 V=fmat, 相机得到的图像一般都是以RGB模型表示，即任何 S=（fna-fnin）/fnax 一种颜色都由R、G、B3个分量合成，R、G、B的范围 建立了RGB到HSV空间的快速查找方法后， 都是[0,255]，例如白色表示为R=255,G=255, 本文采用HSV颜色分割方法进行指示类交通标识 B=255.将R、G、B分量进行归一化处理，即r=R/ 分割，上面已经给出了HSV分割的厨值， (R+G+B),g=G/(R+G+B),b=B/(R+G+B), 1.2预处理 文献[89]分别给出了分割标识牌中蓝色区域的阈 颜色分割之后的图像比较粗糙，一些预处理步 值.下面将重点讲述SVF和HSV方法， 骤，比如小面积区域去除、噪声点去除、形态学处理等 SVF是日本学者Asakura等[o]在2000年提出 必不可少.对颜色分割后的图像进行上述预处理，采 来的，利用式(1)将图像中的单色(achromatic color) 用面积排除的方法将不满足条件的小面积和特大面 积区域排除掉.然后利用中值滤波对图像进行去噪处 去除，例如轮廓阴影等都是单色，在去除单色后的图 理，如果在某个模板中，对像素进行由小到大的重排 像中再进行特定颜色的提取 f=1R-G11G,B11B-RL,D=20. 列，那么最亮或者最暗的点一定被排在两侧，用模板 D 中排在中间位置上的像素值代替待处理的中心点的 (1) 像素值，就可以达到消除噪声的目的.有的标识在颜 其中：f<1为单色f≥1为彩色.本文在，≥1的图 色分割后边缘可能会出现少许断裂，因此需要对中值 像上再进行RGB颜色分割，取B-R>85,B>100 滤波后的图像进行形态学膨胀操作，可以将边缘出现 可提取蓝色区域. 的小缺口进行弥合，从而使标识边缘形状完整.但是 HSV是适合人类视觉特性的颜色模型，H表示 边缘出现较大缺口是无法通过膨张操作来弥合的，因 色调，即红、绿、蓝等颜色；S表示饱和度，即颜色的 为膨胀次数太多会使得距离较近的2个物体连接到 深浅，如浅红、深红；V表示亮度.H值在0~360之 一起.图1(a)是原图，(b)是对原图进行中值滤波后 间，每种色调对应一个H值，S和V的值都在0~1 的结果，(c)是对(b)图膨胀后的结果. 之间.通过设定H、S、V的范围可以得到需要的颜色
第3期 罗艳，等：指示类交通标识的自动检测 ·215· 的阈值8时，则认为该点为所求拐点 2)几何特征约束.如果找到了左上角拐点和右 下角拐点，则以这2点为矩形对角线的两端点构成 一个矩形，计算该矩形的面积与目标区域实际面积 的比值，如果比值介于[0.87,1.10]，则继续计算该 (a颜色分割结果 )巾值滤波结果 (c)膨胀结果 矩形的长与区域最小外接矩形的长的差值，以及矩 图1对二值图预处理 形的宽与区域最小外接矩形宽的差值，如果这2个 Fig.1 Preprocessing for the binary images 差值都小于7，则视为找到了一个矩形区域.上述经 1.3形状识别 验值都是通过实验得到 指示交通标识有2类，一类是蓝色圆形，另一类 6 -11 -11-6 -6 -11 -11 -6 是蓝色矩形.前面方法进行了颜色分割和必要的预 -18 -11 处理已经将蓝色区域提取了出来，这样的区域可能 有圆形或矩形，也可能有其他不规则形状，为了将可 18 -11 0 -11 -18 -18 -11 能的圆形和矩形标识提取出来，采用圆形度和拐角 -6 0 6 -11 - -6 检测与几何特征结合的方法 2 20 12 1.3.1圆形度 12 19 19 12 圆形度方法可以检测图像中的圆形物体.圆形 0 7 S 度定义为：C=4,其中：4是区域面积，用区域中 18 -18 -11 0 13 13 -11 -11 -6 > 像素点的个数来表示；L是区域周长，定义为区域边 界像素8链码的长度之和；C∈[0,1]表示圆形度， 图2矩形左上角掩膜 当目标为圆时，C有最大值1.当图像越接近于圆，C Fig.2 Mask of upper left corner of a rectangle 区域最小外接矩形有2种.第1种最小外接矩 越接近于1，因此圆形度能直观地反映接近圆形的 程度.因此需要设定一个阈值范围0，通过0的取值 形的4条邻边相互垂直，但是上下2条边是水平的， 范围将与圆差别较大的区域去除，这里通过实验取 左右2条边是竖直的.如图3(a)所示，方框画出了 0∈[0.78,1] 白色区域的最小外接矩形.第2种最小外接矩形的 1.3.2拐角检测与几何信息结合的方法 4条邻边是相互垂直的，但是上下2条边不一定是 Escalera等人1o提出一种基于拐角提取矩形标识 水平的，左右2条边也不一定是竖直的.如图3(b) 的检测算法.首先使用对应矩形4个拐角的4个掩模 所示，这种最小外接矩形与区域实际大小更接近.上 分别对蓝色目标区域进行卷积运算，一次卷积运算得 述拐角检测算法步骤2)中采用的是第2种最小外 到一个与目标区域大小相同的卷积矩阵，搜索矩阵中 接矩形（图3(b)所示） 的最大值，如果该最大值大于预先设定的阈值6，则认 为该最大值对应于目标区域中的点为拐角的位置.然 后依次在图像中搜索构成同一矩形的4种拐角，以确 定矩形的存在与否.实验中发现矩形拐角在卷积矩阵 中都是最大值且都大于700，所以6取700.本文对这 算法进行了改进，即将拐角检测与几何特征结合.对一 a第1种最小外接矩形 )第2种最小外接炬形 个区域只提取左上角拐点和右下角拐点，然后以这2 图32种最小外接矩形 个点为对角线构成一个矩形，判断该矩形与实际区域 Fig.3 Two kinds of minimum enclosing rectangles 的面积、长宽比等几何关系来确认该区域是否为矩形 2距离直方图 图2给出了一个矩形左上角掩膜，矩形右下角掩膜通 过对称变换可以得到。 圆形指示标识是由蓝底加白色箭头组成，颜色 拐角检测算法具体步骤如下。 分割算法主要是利用蓝色区域占整个标识区域面积 1)卷积运算.采用左上角掩膜和右下角掩膜分 较大的特点来进行颜色提取，但是一旦出现阴雨天、 别对二值图中未处理的白色像素点进行卷积运算， 光照变化或标识牌处于建筑物等的阴影中时，颜色 取卷积矩阵中的最大值，当该最大值大于预先给定 分割就很容易出现边缘断裂现象】
216. 智能系统学报 第6卷 因此对不满足圆形度的区域再计算轮廓上点的个 数，即de[dn+5,dmm-3],则k++,k是满足条件 的点的个数，如果满足k/N>0.78,则视为边缘出现 断裂的圆形标识区域， 20 a)惊图 )颜色分剃结果（⊙预处理结果 16 图4边缘出现断裂的圆形标志 Fig.4 Round sign with broken edges 12 图4(a)为圆形指示标识的原图，在分辨率为 768×576的S0 NY SSC相机下采集的.图4(b)是颜 色分割结果，可见边缘出现了断裂.图4(c)是预处 理后的结果，可见由于颜色分割出现的断裂比较大， 2)224262803234368 导致简单的形态学膨胀无法弥合缺口，此时应用圆 距离 形度方法无法检测出该圆形标识.但是可以看到圆 图5距离直方图 周的大部分还是完好的，因此根据这一特性提出了 Fig.5 Distance histogram 距离直方图方法，该方法可以将边缘分割出现断裂 的圆形标识检测出来.图5是图4(c)的距离直方 3 实验结果 图，也就是轮廓上每点到质心的距离构成的直方图 由图可知，大部分的距离都大于25，少数点到质心 本文在内存为1GB、主频为1.6GHz的P℃机 的距离小于25或者大于37，因此通过直方图统计 上，采用VS2008开发的程序对1000多幅大小为 的方法可以得到轮廓上点的总个数从.设圆周上点i 768×576的图像进行了实验，以下是部分实验结 到质心的距离为d,最小距离为d,最大距离为 果.原图是由SONY SSC相机采集的.图6包含3幅 dm,通过对500多幅图像做实验得到一个统计结 子图，其中(a)是原图，(b)是颜色分割并进行预处 果，即圆形标识满足在[dn+5,dmm-3]的点的个数 理后的结果，得到标识区域的圆形度为0.882，大于 占轮廓上点总个数N的80%以上，本文放宽至78%. 最小阈值0.78，(c)准确定位了图中圆形指示标识. (a原图 预处理后的二值图 (c)标识定位 图6圆形度方法的检测结果 Fig.6 Results of circularity (a)原图 凸)定位左上角和石下角拐角 (c矩形标识定位 图7拐角检测算法的结果 Fig.7 Results of corner detection
第3期 罗艳，等：指示类交通标识的自动检测 ·217 图7是矩形标识检测结果，其中(a)是原图， 割并预处理后的结果，经过膨胀后边缘仍然有小的 (b)是对预处理后的图像进行拐角定位的结果，可 断裂，使得圆形度为0.661，不能满足圆形度范围 以准确定位矩形的左上角和右下角拐角.显而易见 [0.78,1],但是通过距离直方图可以得到[da+5, 由这2个拐点构成的矩形与白色区域的最小外接矩 dmm-3]之间的点占轮廓上点的总个数的比值为 形十分接近，而且很容易定位，如图7（©）所示。 86%,大于阈值78%，因此可以通过距离直方图来 图8显示了分割不完整的情况，图8(a)是在阴 定位，定位结果如图8(c)所示. 天时自己搭建的环境下采集的原图，(b)是颜色分 a)院图 )预处理的结果 (圆形标识定位 图8距离直方图的检测结果 Fig.8 Results of distance histogram 本文提出的距离直方图方法对单独使用圆形度 ZHANG Xiao,PENG Wei.Detection of circle based on 方法检测圆形标识有所改进，提高了圆形标识检测 Hough transform[J].Transducer and Microsystem Technol- 的准确率.通过对500幅768×576大小的图像进行 0gie8,2006,25(4):6264. [2]许少秋.户外交通标识检测和形状识别[J].中国图象图 实验得到如表1所示的统计结果.单独采用圆形度 形学报，2009,14(4)：707-711. 方法检测一幅图像平均执行时间为16ms,检测的 XU Shaoqiu.Traffic sign detection and shape recognition in 准确率为75%.增加了距离直方图方法以后，处理 outdoor environments[J].Journal of Image and Graphics, ~幅图像的平均时间为23s,完全可以满足实时 2009,14(4):707-711. 性，准确率达到92%，大大减少了漏检的数量 [3]HSU S H,HUANG C L.Road sign detection and recogni- 表1检测实验结果性能对比 tion using matching pursuit method[].Image and Vision Table 1 Comparison of detection experimental results Computing,2001,19(3):119-129. [4]胡小燕.基于小波神经网络的交通标识识别研究[D].上 方法 平均执行时间/ms准确率/% 海：华东交通大学，2006：4248. 圆形度方法 6 75 HU Xiaoyan.Traffic signs recognition research based on 圆形度与距离直方 wavelet neural network[D].Shanghai:East China Jiaotong 23 92 图结合的方法 University,2006:42-48. [5]De LA ESCALERA A,MORENO L,SALICHS M A,et al. 4结束语 Road traffic sign detection and classification[J].IEEE Trans actions on Industrial Electronics,1997,44(6):848-859. 鉴于针对指示类交通标识的检测方法甚少，而 [6]De LA ESCALERA A,ARMINGOJ J M,MATA M.Traffic 且实用性不强，提出了基于彩色图像的指示交通标 sign recognition and analysis for intelligent vehicles[].Im- 识快速检测方法.实验表明，本文方法对标识的旋转 age and Vision Computing,2003,21(3):247-258. 和缩放具有很好的鲁棒性，满足实时性要求，而且对 [7]刘旭东.高速公路限速标志检测与识别技术研究[D].福 州：福建农业大学，2009：32-34. 光照变化也有一定的鲁棒性.但是仍然存在一些不 LIU Xudong.Study on the technique of motorway speed lim- 足，例如大部分实验是在静态图像上进行的，并且静 it sign detection and recognition[D].Fuzhou:Agricultural 态图像都来源于多种光照条件下的实际道路环境和 University of Fujian,2009:32-34. 自己搭建的实验环境，缺乏对大量视频图像进行实 [8]陈维馨.道路交通标识检测技术研究[D].厦门：厦门大 验统计和分析.而且也没有考虑交通标识遮挡问题， 学，2007：14-18. CHEN Weixin.Road traffic sign detection[D].Xiamen: 因此下一步将针对这些方面进行深入研究 Xiamen University,2007:14-18. 参考文献： [9]黄志勇，孙光民，李芳.基于RGB视觉模型的交通标识分 割[J].微电子与计算机技术，2004,21(10)：147-152. [1]张宵，彭维.基于Hough变换的圆形物体的检测[J].传 HUANG Zhiyong,SUN Guangming,LI Fang.Traffic sign 感器与微系统，2006,25(4)：62-64. segment based on RGB vision model[J].Microelectronics