弱光照条件下交通标志检测与识别

工程科学学报 Chinese Journal of Engineering 弱光照条件下交通标志检测与识别 赵坤刘立孟宇孙若灿 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun.LIU Li,MENG Yu,SUN Ruo-can 引用本文： 赵坤，刘立，孟宇，孙若灿.弱光照条件下交通标志检测与识别].工程科学学报，2020,42(8)：1074-1084.doi: 10.13374j.issn2095-9389.2019.08.14.003 ZHAO Kun,LIU Li,MENG Yu,SUN Ruo-can.Traffic signs detection and recognition under low-illumination conditions[J].Chinese Journal of Engineering,.2020.42(8:1074-1084.doi:10.13374j.issn2095-9389.2019.08.14.003 在线阅读View online::https://doi..org10.13374/.issn2095-9389.2019.08.14.003 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6：817 https::/doi.org10.13374.issn2095-9389.2019.06.014 基于YOL0v3的无人机识别与定位追踪 Drone identification and location tracking based on YOLOv3 工程科学学报.2020.42(4)：463 https:/1doi.org10.13374.issn2095-9389.2019.09.10.002 基于TATLNet的输电场景威胁检测 Threat detection in transmission scenario based on TATLNet 工程科学学报.2020,42(4：509 https::/1doi.0rg/10.13374.issn2095-9389.2019.09.15.004 复杂环境下一种基于Siam Mask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask 工程科学学报.2020,42(3：381 https:1doi.org10.13374.issn2095-9389.2019.06.06.005 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019.4110：1229 https:doi.org10.13374.issn2095-9389.2019.03.27.002 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020.42(5)：557 https:1doi.org/10.13374.issn2095-9389.2019.03.21.003

弱光照条件下交通标志检测与识别 赵坤 刘立 孟宇 孙若灿 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun, LIU Li, MENG Yu, SUN Ruo-can 引用本文: 赵坤, 刘立, 孟宇, 孙若灿. 弱光照条件下交通标志检测与识别[J]. 工程科学学报, 2020, 42(8): 1074-1084. doi: 10.13374/j.issn2095-9389.2019.08.14.003 ZHAO Kun, LIU Li, MENG Yu, SUN Ruo-can. Traffic signs detection and recognition under low-illumination conditions[J]. Chinese Journal of Engineering, 2020, 42(8): 1074-1084. doi: 10.13374/j.issn2095-9389.2019.08.14.003 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于YOLOv3的无人机识别与定位追踪 Drone identification and location tracking based on YOLOv3 工程科学学报. 2020, 42(4): 463 https://doi.org/10.13374/j.issn2095-9389.2019.09.10.002 基于TATLNet的输电场景威胁检测 Threat detection in transmission scenario based on TATLNet 工程科学学报. 2020, 42(4): 509 https://doi.org/10.13374/j.issn2095-9389.2019.09.15.004 复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask 工程科学学报. 2020, 42(3): 381 https://doi.org/10.13374/j.issn2095-9389.2019.06.06.005 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003

工程科学学报.第42卷.第8期：1074-1084.2020年8月 Chinese Journal of Engineering,Vol.42,No.8:1074-1084,August 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003;http://cje.ustb.edu.cn 弱光照条件下交通标志检测与识别 赵 坤，刘立，孟宇⑧，孙若灿 北京科技大学机械工程学院，北京100083 ☒通信作者.E-mail:myu@ustb.edu.cn 摘要针对弱光照条件下交通标志易发生漏检和定位不准的问题.本文提出了增强YOLOv3(You only look once)检测算 法，一种实时自适应图像增强与优化YOLO3网络结合的交通标志检测与识别方法.首先构建了大型复杂光照中国交通标 志数据集；然后针对复杂的弱光照图像提出自适应增强算法，通过调整图像亮度和对比度强化交通标志与背景之间的差异； 最后采用YOLO3网络框架检测交通标志.为了降低先验锚点框设置精度以及图像中背景与前景比例严重失衡对检测精度 造成的影响，优化了先验锚点框聚类算法和网络的损失函数.对比实验结果表明.在实时性大致相当的情况下，本文提出的 增强YOLOv3检测算法较标准YOLO3算法对交通标志有更高的回归精度和置信度，召回率和准确率分别提高0.96%和 0.48%. 关键词交通标志检测：弱光照：自适应图像增强；YOLOv3:深度学习 分类号TP391.4 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun,LIU Li,MENG Yu,SUN Ruo-can School of Mechanical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:myu@ustb.edu.cn ABSTRACT Traffic sign detection and recognition,which are important to ensure traffic safety,have been a research hotspot.In recent years,with the rapid development of automated driving technology,significant progress has been made in developing more accurate and efficient deep learning algorithms for traffic sign detection and recognition.However,these studies mainly focus on foreign traffic signs and do not consider the low-illumination conditions in practical application,which is a common scene.Therefore,many challenges still exist in the application of traffic sign detection and recognition in traffic scenes.To solve the problems of easy omission and inaccurate positioning for traffic sign detection and recognition under complex illumination conditions,the enhanced YOLOv3(You only look once)detection algorithm,a traffic sign detection and recognition method combining real-time adaptive image enhancement and the YOLOv3 frame was proposed.First,a large and complex illumination traffic sign dataset for Chinese traffic was constructed;it included globally low illumination,locally low illumination,and sufficient illumination images.Then an adaptive enhancement algorithm was proposed for low-illumination images,which can enhance the difference between traffic signs and background by adjusting the brightness and contrast of the images.Finally,high-quality and discrimination images as input were transmitted to the YOLOv3 network framework,and traffic sign detection and recognition were performed.To reduce the influences of the prior anchor box setting accuracy and the imbalance between the background and foreground on the detection accuracy,the clustering algorithm for the prior anchor box and loss function for the network were optimized.The results of the comparison experiment with the LISA dataset and complex illumination traffic sign dataset for Chinese traffic show that the proposed enhanced YOLOv3 detection algorithm has 收稿日期：2019-08-14 基金项目：国家重点研发计划资助项目(2018YFE0192900.2018YFC0810500.2018YFC0604403):国家高技术研究发展计划资助项目 (2011AA060408):中央高校基本科研业务费专项资金资助项目(FRF-TP.17-010A2)

弱光照条件下交通标志检测与识别 赵    坤，刘    立，孟    宇苣，孙若灿 北京科技大学机械工程学院，北京 100083 苣通信作者，E-mail：myu@ustb.edu.cn 摘    要    针对弱光照条件下交通标志易发生漏检和定位不准的问题，本文提出了增强 YOLOv3（You only look once）检测算 法，一种实时自适应图像增强与优化 YOLOv3 网络结合的交通标志检测与识别方法. 首先构建了大型复杂光照中国交通标 志数据集；然后针对复杂的弱光照图像提出自适应增强算法，通过调整图像亮度和对比度强化交通标志与背景之间的差异； 最后采用 YOLOv3 网络框架检测交通标志. 为了降低先验锚点框设置精度以及图像中背景与前景比例严重失衡对检测精度 造成的影响，优化了先验锚点框聚类算法和网络的损失函数. 对比实验结果表明，在实时性大致相当的情况下，本文提出的 增强 YOLOv3 检测算法较标准 YOLOv3 算法对交通标志有更高的回归精度和置信度，召回率和准确率分别提高 0.96% 和 0.48%. 关键词    交通标志检测；弱光照；自适应图像增强；YOLOv3；深度学习 分类号    TP391.4 Traffic signs detection and recognition under low-illumination conditions ZHAO Kun，LIU Li，MENG Yu苣 ，SUN Ruo-can School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: myu@ustb.edu.cn ABSTRACT    Traffic  sign  detection  and  recognition,  which  are  important  to  ensure  traffic  safety,  have  been  a  research  hotspot.  In recent  years,  with  the  rapid  development  of  automated  driving  technology,  significant  progress  has  been  made  in  developing  more accurate and efficient deep learning algorithms for traffic sign detection and recognition. However, these studies mainly focus on foreign traffic signs and do not consider the low-illumination conditions in practical application, which is a common scene. Therefore, many challenges still exist in the application of traffic sign detection and recognition in traffic scenes. To solve the problems of easy omission and inaccurate positioning for traffic sign detection and recognition under complex illumination conditions, the enhanced YOLOv3 (You only look once) detection algorithm, a traffic sign detection and recognition method combining real-time adaptive image enhancement and the YOLOv3 frame was proposed. First, a large and complex illumination traffic sign dataset for Chinese traffic was constructed; it included  globally  low  illumination,  locally  low  illumination,  and  sufficient  illumination  images.  Then  an  adaptive  enhancement algorithm  was  proposed  for  low-illumination  images,  which  can  enhance  the  difference  between  traffic  signs  and  background  by adjusting  the  brightness  and  contrast  of  the  images.  Finally,  high-quality  and  discrimination  images  as  input  were  transmitted  to  the YOLOv3 network framework, and traffic sign detection and recognition were performed. To reduce the influences of the prior anchor box setting accuracy and the imbalance between the background and foreground on the detection accuracy, the clustering algorithm for the prior anchor box and loss function for the network were optimized. The results of the comparison experiment with the LISA dataset and  complex  illumination  traffic  sign  dataset  for  Chinese  traffic  show  that  the  proposed  enhanced  YOLOv3  detection  algorithm  has 收稿日期: 2019−08−14 基金项目: 国家重点研发计划资助项目（ 2018YFE0192900， 2018YFC0810500， 2018YFC0604403） ；国家高技术研究发展计划资助项目 （2011AA060408）；中央高校基本科研业务费专项资金资助项目（FRF-TP-17-010A2） 工程科学学报，第 42 卷，第 8 期：1074−1084，2020 年 8 月 Chinese Journal of Engineering, Vol. 42, No. 8: 1074−1084, August 2020 https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003; http://cje.ustb.edu.cn

赵坤等：弱光照条件下交通标志检测与识别 1075· higher regression accuracy and category confidence than the published YOLOv3 algorithm for traffic signs;the recall and precision are higher by 0.96%and 0.48%,respectively,which indicates the application potential of the proposed algorithm in actual traffic scenarios KEY WORDS traffic sign detection:low illumination;adaptive image enhancement;YOLOv3;deep learning 近年来，人工智能的快速发展极大的加快了 在图像上提取2000个目标候选区，然后采用深层 无人车技术的研究进程，特别是深度学习山在环 卷积网络对目标候选区进行分类.但由于其对每 境感知、路径规划、决策控制等关键技术上的研 个候选区都执行卷积运算而不是共享计算，因此 究与应用，使得自动驾驶时代在不久的将来真正 检测速度较慢.文献[11]提出了空间金字塔网络 成为可能.交通标志检测与识别是智能交通领域 (Spatial pyramid pooling network,SPPnets),通过共 环境感知四系统的一个重要分支，对于保证交通 享卷积特征图来提高速度.快速区域卷积神经网 安全具有十分重要的研究意义，逐渐成为国内外 络(Fast R-CNN)I能够对共享卷积特征进行端到 学者的研究重点，近几年虽然对交通标志检测与 端训练，提高了检测精度与速度.但是SPPnets 识别的研究取得了较为满意的结果，但是在实际 和Fast R-CNN仍然使用SS方法生成目标候选区， 应用中仍然存在较多问题，针对应用场景下的交 此阶段成为提高实时性的瓶颈.更快区域卷积神 通标志检测与识别方法仍需进一步深入研究 经网络(Faster R-CNN)B1引入了区域提案网络 目前交通标志检测与识别方法主要分为两大 (Region proposals network,RPN)生成目标候选区， 类：基于传统手工特征和机器学习分类的方法以 极大的提高了目标检测的速度.YOLO(You only 及基于深度学习的方法 look once)将目标检测任务重构为一个从图像像 (1)基于传统手工特征和机器学习的方法 素直接到边界框坐标和类概率的回归问题，单阶 基于传统手工特征和机器学习的方法大致可 段多盒检测器(Single shot multibox detector,SSD) 以分为以下三个子类：1)应用颜色和边缘信息； 利用特征图上的小型卷积滤波器来预测边界框位 2)应用形状信息；3)应用机器学习机制.在第一类 置中的目标类别和偏移，以提高目标检测的性能. 方法中通常先用颜色分割图像，然后进行边缘检 随着以上目标检测框架逐渐成熟以及大型国 测，最后使用随机一致性采样(RANSAC)或Hough 外交通标志数据集的出现，已出现许多基于深度 变换等方法处理，从边缘图中识别特定的形状B! 学习的交通标志检测与识别实证研究6-1，研究 第二类方法只依靠边缘信息，在文献[5]和[6]中 结果显示出了深度学习在交通标志检测与识别领 实现了一种基于径向对称性的快速算法，该算法 域的优越性，基于深度学习的交通标志进行检测 可以适应各种规则形状，包括三角形、正方形、菱形 与识别方法成为当前的研究主流 八边形和圆形.第三类方法应用机器学习技术，其 当采用上述较为成熟的深度学习框架检测交 中神经网络、支持向量机(SVM)和AdaBoost是最 通标志时，发现检测失败的样本通常为阴天、傍晚 常用的方法.例如文献[7]对输人图像进行颜色分 或背光等弱光照条件样本，具有亮度或对比度低 割后提取出块，然后使用线性SVM将其分类为不 的特点：检测失败的表现形式为漏检和定位不准、 同的形状.文献[8]应用AdaBoost方法使用一组 置信度较低.在无人驾驶应用中，不可避免的出现 考虑颜色和位置的Haar小波特征检测交通标志. 很多复杂的弱光照情况，因此需要对弱光照条件 基于传统手工特征和机器学习的方法需要针 下交通标志检测与识别方法进行深入研究，以提 对不同的标志设计不同的手工特征，且无法同时 高其在实际应用中的效果 识别所有类别的交通标志，算法的实时性无法得 针对以上的问题，本文提出了用于提高弱光照 到保证 条件下交通标志检测与识别性能的增强YOLOv3 (2)基于深度学习的方法 检测算法.首先提出了实时自适应图像增强算法， 近年来，深度卷积神经网络在目标检测任务 调整图像亮度和对比度，便于降低后续检测漏检 中取得了巨大的成功.Girshick等9提出了用于精 率：然后采用YOLO3框架检测增强后的图像并 确目标检测和语义分割的丰富特征层次结构区域 优化了损失函数和先验锚点框聚类算法，提高交 卷积神经网络(Regions with CNN,R-CNN),利用选 通标志边框回归精度和置信度；此外，开发了复杂 择性搜索(Selective search,SS)Io代替传统滑窗法 光照中国交通标志数据集用于对中国交通标志检

higher regression accuracy and category confidence than the published YOLOv3 algorithm for traffic signs; the recall and precision are higher by 0.96% and 0.48%, respectively, which indicates the application potential of the proposed algorithm in actual traffic scenarios. KEY WORDS    traffic sign detection；low illumination；adaptive image enhancement；YOLOv3；deep learning 近年来，人工智能的快速发展极大的加快了 无人车技术的研究进程，特别是深度学习[1] 在环 境感知、路径规划、决策控制等关键技术上的研 究与应用，使得自动驾驶时代在不久的将来真正 成为可能. 交通标志检测与识别是智能交通领域 环境感知[2] 系统的一个重要分支，对于保证交通 安全具有十分重要的研究意义，逐渐成为国内外 学者的研究重点. 近几年虽然对交通标志检测与 识别的研究取得了较为满意的结果，但是在实际 应用中仍然存在较多问题，针对应用场景下的交 通标志检测与识别方法仍需进一步深入研究. 目前交通标志检测与识别方法主要分为两大 类：基于传统手工特征和机器学习分类的方法以 及基于深度学习的方法. （1）基于传统手工特征和机器学习的方法. 基于传统手工特征和机器学习的方法大致可 以分为以下三个子类： 1）应用颜色和边缘信息； 2）应用形状信息；3）应用机器学习机制. 在第一类 方法中通常先用颜色分割图像，然后进行边缘检 测，最后使用随机一致性采样（RANSAC）或 Hough 变换等方法处理，从边缘图中识别特定的形状[3−4] . 第二类方法只依靠边缘信息，在文献 [5] 和 [6] 中 实现了一种基于径向对称性的快速算法，该算法 可以适应各种规则形状，包括三角形、正方形、菱形、 八边形和圆形. 第三类方法应用机器学习技术，其 中神经网络、支持向量机（SVM）和 AdaBoost 是最 常用的方法. 例如文献 [7] 对输入图像进行颜色分 割后提取出块，然后使用线性 SVM 将其分类为不 同的形状. 文献 [8] 应用 AdaBoost 方法使用一组 考虑颜色和位置的 Haar 小波特征检测交通标志. 基于传统手工特征和机器学习的方法需要针 对不同的标志设计不同的手工特征，且无法同时 识别所有类别的交通标志，算法的实时性无法得 到保证. （2）基于深度学习的方法. 近年来，深度卷积神经网络在目标检测任务 中取得了巨大的成功. Girshick 等[9] 提出了用于精 确目标检测和语义分割的丰富特征层次结构区域 卷积神经网络（Regions with CNN，R-CNN），利用选 择性搜索（Selective search，SS） [10] 代替传统滑窗法 在图像上提取 2000 个目标候选区，然后采用深层 卷积网络对目标候选区进行分类. 但由于其对每 个候选区都执行卷积运算而不是共享计算，因此 检测速度较慢. 文献 [11] 提出了空间金字塔网络 （Spatial pyramid pooling network，SPPnets），通过共 享卷积特征图来提高速度. 快速区域卷积神经网 络（Fast R-CNN） [12] 能够对共享卷积特征进行端到 端训练 ，提高了检测精度与速度. 但是 SPPnets 和 Fast R-CNN 仍然使用 SS 方法生成目标候选区， 此阶段成为提高实时性的瓶颈. 更快区域卷积神 经网络（ Faster R-CNN） [13] 引入了区域提案网络 （Region proposals network, RPN）生成目标候选区， 极大的提高了目标检测的速度. YOLO （You only look once） [14] 将目标检测任务重构为一个从图像像 素直接到边界框坐标和类概率的回归问题. 单阶 段多盒检测器（Single shot multibox detector，SSD） [15] 利用特征图上的小型卷积滤波器来预测边界框位 置中的目标类别和偏移，以提高目标检测的性能. 随着以上目标检测框架逐渐成熟以及大型国 外交通标志数据集的出现，已出现许多基于深度 学习的交通标志检测与识别实证研究[16−19] ，研究 结果显示出了深度学习在交通标志检测与识别领 域的优越性，基于深度学习的交通标志进行检测 与识别方法成为当前的研究主流. 当采用上述较为成熟的深度学习框架检测交 通标志时，发现检测失败的样本通常为阴天、傍晚 或背光等弱光照条件样本，具有亮度或对比度低 的特点；检测失败的表现形式为漏检和定位不准、 置信度较低. 在无人驾驶应用中，不可避免的出现 很多复杂的弱光照情况，因此需要对弱光照条件 下交通标志检测与识别方法进行深入研究，以提 高其在实际应用中的效果. 针对以上的问题，本文提出了用于提高弱光照 条件下交通标志检测与识别性能的增强 YOLOv3 检测算法. 首先提出了实时自适应图像增强算法， 调整图像亮度和对比度，便于降低后续检测漏检 率；然后采用 YOLOv3 框架检测增强后的图像并 优化了损失函数和先验锚点框聚类算法，提高交 通标志边框回归精度和置信度；此外，开发了复杂 光照中国交通标志数据集用于对中国交通标志检 赵    坤等： 弱光照条件下交通标志检测与识别 · 1075 ·

·1076 工程科学学报，第42卷，第8期 测与识别方法的研究 交通标志.因此研究中国交通标志识别与检测方 1弱光照中国交通标志数据集 法以及后续算法的应用必须具备大型复杂光照中 国交通标志数据集 目前对交通标志检测与识别的研究，研究者 本文采集并标注了北京市道路交通主要类别 多采用比较知名的公共交通标志数据集对算法性 的交通标志组成数据集，包括警告类、禁令类、指 能进行测试，如美国交通标志数据集(LISA)20,、德 示类等7种交通标志.数据集中包含雨雪天气，阴 国交通标志数据集（包括检测基准数据集GTSDB 天及傍晚等光照条件复杂的交通标志图像，部分 和识别数据集GTSRB)2和比利时交通标志数据 图像如图1所示.数据集共包括6258张图像（内 集(BTSRB)四.但以上数据集仅限于欧洲交通标 含8675个交通标志，无负样本，数据分布如图2所 志且样本大多是在光照条件良好的情况下采集 示)，涵盖了目前常出现的城市道路交通标志，与 的，国内相关机构还没有开发和公布大型完备的 现有大型欧洲交通标志数据集相比图像数量略少 复杂光照中国交通标志数据集以用于检测中国的 但基本可保证数据量充足 (a) (b) (d) 图1不同天气及光照条件的图像样本.(a)阴天，(b)雨雪天，(c)光照充足：(d)光照不足 Fig.I Image samples under different weather and illumination conditions:(a)overcast,(b)rain and snow;(c)sufficient illumination;(d)insufficient illumination 一部分在阴天傍晚等情况下通过拍照实地（北京 1350 1323 市北三环与北四环之间的交通主干道)采集，主要 1299 1261 1265 为弱光照样本.为了提高数据集的普适性，从不同 1250 1237 的角度和距离对同一个交通标志进行多次采集 1200 1172 1150 2)数据处理.参照2.1中的分类原则，按照强 1138 1100 度均值将图像分类为偏暗类(2621张)和明亮类 1050 (3637张).为了保证数据大致均衡，对其中500张 1000 0 2 34 6 明亮类图像进行了随机调暗处理，最终偏暗类图 Categories 像和明亮类图像分别为3121张3137张 图2交通标志数据分布示意图 3)标注方法及内容.采用LableMe软件标注 Fig.2 Data distribution diagram for traffic signs 每幅图像，标注信息包括交通标志的类别属性，图 数据集构建过程具体如下： 像的光照情况，标志边框的左上坐标和右下坐标 1)数据采集.样本主要通过两种方式获得，一 (像素单位)，信息保存在xml格式下的文件中 部分通过百度地图剪裁，主要为光照充足的样本；另 4)数据划分.分别将偏暗类图像和明亮类图

测与识别方法的研究. 1    弱光照中国交通标志数据集 目前对交通标志检测与识别的研究，研究者 多采用比较知名的公共交通标志数据集对算法性 能进行测试，如美国交通标志数据集（LISA） [20]、德 国交通标志数据集（包括检测基准数据集 GTSDB 和识别数据集 GTSRB)[21] 和比利时交通标志数据 集（BTSRB） [22] . 但以上数据集仅限于欧洲交通标 志且样本大多是在光照条件良好的情况下采集 的，国内相关机构还没有开发和公布大型完备的 复杂光照中国交通标志数据集以用于检测中国的 交通标志. 因此研究中国交通标志识别与检测方 法以及后续算法的应用必须具备大型复杂光照中 国交通标志数据集. 本文采集并标注了北京市道路交通主要类别 的交通标志组成数据集，包括警告类、禁令类、指 示类等 7 种交通标志. 数据集中包含雨雪天气，阴 天及傍晚等光照条件复杂的交通标志图像，部分 图像如图 1 所示. 数据集共包括 6258 张图像（内 含 8675 个交通标志，无负样本，数据分布如图 2 所 示），涵盖了目前常出现的城市道路交通标志，与 现有大型欧洲交通标志数据集相比图像数量略少 但基本可保证数据量充足. 数据集构建过程具体如下： 1）数据采集. 样本主要通过两种方式获得，一 部分通过百度地图剪裁，主要为光照充足的样本；另 一部分在阴天傍晚等情况下通过拍照实地（北京 市北三环与北四环之间的交通主干道）采集，主要 为弱光照样本. 为了提高数据集的普适性，从不同 的角度和距离对同一个交通标志进行多次采集. 2）数据处理. 参照 2.1 中的分类原则，按照强 度均值将图像分类为偏暗类（2621 张）和明亮类 （3637 张）. 为了保证数据大致均衡，对其中 500 张 明亮类图像进行了随机调暗处理，最终偏暗类图 像和明亮类图像分别为 3121 张 3137 张. 3）标注方法及内容. 采用 LableMe 软件标注 每幅图像，标注信息包括交通标志的类别属性，图 像的光照情况，标志边框的左上坐标和右下坐标 （像素单位），信息保存在 xml 格式下的文件中. 4）数据划分. 分别将偏暗类图像和明亮类图 (a) (b) (c) (d) 图 1    不同天气及光照条件的图像样本. （a）阴天; （b）雨雪天; （c）光照充足; （d）光照不足 Fig.1    Image samples under different weather and illumination conditions: (a) overcast; (b) rain and snow; (c) sufficient illumination; (d) insufficient illumination 1350 1300 1250 1200 Number of taffic signs 1150 1100 1050 1000 0 1 2 3 4 Categories 5 6 7 No parking Slow down Pedestrian crossing Motor vehicle No motor vehicle Keep right Turn right 1172 1323 1261 1299 1265 1237 1138 图 2    交通标志数据分布示意图 Fig.2    Data distribution diagram for traffic signs · 1076 · 工程科学学报，第 42 卷，第 8 期

赵坤等：弱光照条件下交通标志检测与识别 1077· 像按照约1：1的比例划分组成训练集和测试集. 数c和y有不同的计算方式 为了增加数据量，训练时采用数据增广对初始图 图像标准差反映了像素值与均值的离散程 像随机平移 度，标准差越大图像质量越好，因此，本文先采用 2增强YOLOv3算法 图像强度标准差对图像分类，判别公式如下所示： h,4c≤ (2) 2.1自适应图像增强 (a,其他 弱光照交通标志图像数据集中主要存在以下 式(2)中，σ为图像标准差，p为图像对比度衡 四种情况的图像：整体亮度较低、半明半暗且交通 量系数，根据实验发现，取p=3能够作为分类不同 标志在偏暗区、半明半暗且交通标志在偏亮区以 对比度图像的标准；h表示低对比度图像，表示 及整体亮度良好的图像，光照条件较为复杂.而图 中高对比度图像 像增强的目的就是针对不同光照条件的图像合理 同一对比度类别的图像也会有不同的亮度， 的均衡化像素分布范围，调整图像亮度和对比度， 需要对图像进一步划分.图像强度均值反映了图 提高交通标志与背景间的区分度 像的亮度，均值越大图像亮度越大，本文采用λ表 现有的方法一般采用直方图均衡化全局图像)， 示图像强度均值.经过多组实验发现，图像强度均 但采用全局加强的方法可能会导致图像部分过加 值小于0.5时，亮度不佳，大于等于0.5时，亮度良 强或欠加强；也有局部加强方法，Celik和Tjahjadi2 好.因此，本文设置=0.5作为区别图像亮度高低 提出局部加强技术对图片部分进行不同程度的强 的界限，最终图像分类类别如表1所示 化，但其未考虑全局亮度信息 Gamma校正常用于调整图像的整体亮度，传 表1图像分类 统的Gamma校正对所有的图像都采用同样的处 Table 1 Image classification 理方式，使得图像质量好的图像被过度地处理.对 Contrast category Intensity mean,A Image category 此，本文提出自适应Gamma校正(Adaptive Gamma ≥0.5 Low contrast and high brightness correction,AGC),可对不同光照程度的图像进行 0.5 Low contrast and low brightness 自适应处理.首先将图像转换到HSV颜色空间， ≥0.5 High contrast and high brightness 然后对V通道进行自适应Gamma处理以调整图 0.5 High contrast and low brightness 像亮度，最后再将图像转换到RGB颜色空间进行 后续检测，主要流程如图3所示.其中，对图像进 2.1.1h类图像处理 上类图像σ值小，图像中的大部分像素有相近 行自适应Gamma校正处理时，图像强度变换函数 的强度值，聚集在小的像素范围内，对于这样的图 设置为： 像，需要使像素分布扩展到更大的范围以提高对 s=cRY (1) 比度.在Gamma校正中，y值越大，相应的图像强 式中，s为输出图像的强度，R为输入图像的强度， 度越大，对比度也越大.在本文的自适应Gamma y为控制输入输出曲线的参数，c为修正系数，两参 校正中，对于1类别图像采用下面的公式计算y值： 数共同控制曲线形状.对于不同光照下的图像，参 y=-l0g2(c) (3) V Channel 对于系数c值，传统的Gamma校正方法通常 取1，本文针对不同对比度图像采用不同的c值： Yes Low contrast? No 1 c=1+s0.5-0×(@-1) (4) Parameters c and y Parameters c and y 式中，a有以下定义： a=RY+(1-RY)XAY (5) Image processing with intensity transform function 0.5-)为阶跃函数： f1,0.5->0 (6) Transformed V channel s0.5-0={00.5-A≤0 图3自适应Gamma校正流程图 这样处理y和c值使得算法能够对1类别中 Fig.3 Flow diagram of adaptive gamma correction 亮度不同的图像分别采取合适的变换

像按照约 1∶1 的比例划分组成训练集和测试集. 为了增加数据量，训练时采用数据增广对初始图 像随机平移. 2    增强 YOLOv3 算法 2.1    自适应图像增强 弱光照交通标志图像数据集中主要存在以下 四种情况的图像：整体亮度较低、半明半暗且交通 标志在偏暗区、半明半暗且交通标志在偏亮区以 及整体亮度良好的图像，光照条件较为复杂. 而图 像增强的目的就是针对不同光照条件的图像合理 的均衡化像素分布范围，调整图像亮度和对比度， 提高交通标志与背景间的区分度. 现有的方法一般采用直方图均衡化全局图像[23] ， 但采用全局加强的方法可能会导致图像部分过加 强或欠加强；也有局部加强方法，Celik 和 Tjahjadi[24] 提出局部加强技术对图片部分进行不同程度的强 化，但其未考虑全局亮度信息. Gamma 校正常用于调整图像的整体亮度，传 统的 Gamma 校正对所有的图像都采用同样的处 理方式，使得图像质量好的图像被过度地处理. 对 此，本文提出自适应 Gamma 校正（Adaptive Gamma correction，AGC），可对不同光照程度的图像进行 自适应处理. 首先将图像转换到 HSV 颜色空间， 然后对 V 通道进行自适应 Gamma 处理以调整图 像亮度，最后再将图像转换到 RGB 颜色空间进行 后续检测，主要流程如图 3 所示. 其中，对图像进 行自适应 Gamma 校正处理时，图像强度变换函数 设置为： s = cRγ （1） 式中，s 为输出图像的强度，R 为输入图像的强度， γ 为控制输入输出曲线的参数，c 为修正系数，两参 数共同控制曲线形状. 对于不同光照下的图像，参 数 c 和 γ 有不同的计算方式. 图像标准差反映了像素值与均值的离散程 度，标准差越大图像质量越好，因此，本文先采用 图像强度标准差对图像分类，判别公式如下所示： Icls =    IL,4σ ⩽ 1 p IH,其他 （2） 式（2）中，σ 为图像标准差，p 为图像对比度衡 量系数，根据实验发现，取 p=3 能够作为分类不同 对比度图像的标准；IL 表示低对比度图像，IH 表示 中高对比度图像. 同一对比度类别的图像也会有不同的亮度， 需要对图像进一步划分. 图像强度均值反映了图 像的亮度，均值越大图像亮度越大，本文采用 λ 表 示图像强度均值. 经过多组实验发现，图像强度均 值小于 0.5 时，亮度不佳，大于等于 0.5 时，亮度良 好. 因此，本文设置 λ=0.5 作为区别图像亮度高低 的界限，最终图像分类类别如表 1 所示. 2.1.1    IL 类图像处理 IL 类图像 σ 值小，图像中的大部分像素有相近 的强度值，聚集在小的像素范围内，对于这样的图 像，需要使像素分布扩展到更大的范围以提高对 比度. 在 Gamma 校正中，γ 值越大，相应的图像强 度越大，对比度也越大. 在本文的自适应 Gamma 校正中，对于 IL 类别图像采用下面的公式计算 γ 值： γ = −log2 (σ) （3） 对于系数 c 值，传统的 Gamma 校正方法通常 取 1，本文针对不同对比度图像采用不同的 c 值： c = 1 1+ε(0.5−λ)×(α−1) （4） 式中，α 有以下定义： α=R γ +(1−R γ )×λ γ （5） ε(0.5−λ) 为阶跃函数： ε(0.5−λ) = { 1,0.5−λ > 0 0,0.5−λ ⩽ 0 （6） 这样处理 γ 和 c 值使得算法能够对 IL 类别中 亮度不同的图像分别采取合适的变换. 表 1    图像分类 Table 1    Image classification Contrast category Intensity mean, λ Image category IL ≥ 0.5 Low contrast and high brightness <0.5 Low contrast and low brightness IH ≥ 0.5 High contrast and high brightness <0.5 High contrast and low brightness Low contrast? V Channel Parameters c and γ Parameters c and γ Image processing with intensity transform function Transformed V channel Yes No 图 3    自适应 Gamma 校正流程图 Fig.3    Flow diagram of adaptive gamma correction 赵    坤等： 弱光照条件下交通标志检测与识别 · 1077 ·