陕西省自然科学基金：基于深度卷积网络的路面裂缝分割方法

基于深度卷积网络的路面裂缝分割方法 李伟,申浩',马志丹’,孙朝云',呼延菊2 (a.长安大学信息工程学院,陕西西安710064:b.加拿大滑铁卢大学,加拿大滑铁卢N2L3G1) 摘要:路面裂缝作为路面常见病害之一,是公路养护管理工作的重点。将裂缝从路面 背景中精确的分割是裂缝检测和修补的基础。传统的裂缝分割方法易受到光照强度 和路面噪声的影响,分割效果有待提高。本文提出了一种基于深度卷积网络的路面 裂缝分割方法。该方法采用深度卷积网络对路面裂缝进行特征学习和提取,同时结 合多尺寸特征图进行裂缝的分割。通过采用深度卷积网络,可以克服多种因素对裂 缝分割的干扰。通过过联合多尺寸特征图对裂缝进行分割,可以提高神经网络分割 的准确性。本文冋时将该方法与阈值分割方法、F娳N进行了对比。结果表明,本文 提出的裂缝分割方法明显优于其他方法。 关镳词:路面裂缝;深度卷积网络;裂缝分割 中图分类号:U238 An Innovation of pavement Crack segmentation Based on deep convolutional Li Wei!, Shen Hao, Ma Zhi-dan, Sun Zhao-yun, Huyan ur (1. School of Information Engineering, Chang an University, Xian 710064; 2. University of Waterloo. Canada. Waterloo. Canada N2L3G1) Abstract: Pavement crack as one of the common diseases is the key point of highway maintenance and management. Precise segmentation of crack from the background is the fundament of crack detection and mending. Traditional crack segmentation methods are easily affected by light intensity and pavement noise, and the accuracy of segmentation needs to be improved. An innovation of pavement crack segmentation based on deep convolutional network is put forward in this paper. The deep convolution network is used to learn and extract the characteristics of pavement cracks, and multi-dimensional feature maps are combined for the segmentation of cracks. By using deep convolution network, the interference of many factors to crack segmentation can be settled. The accuracy of neural network segmentation can be improved by combining multi-dimensional feature maps. This method is compared with threshold method and FCN, the results show that the proposed method is 基金项目:陕西省自然科学基金-重大基础研究项目(2017ZDJC-23) 通讯作者:申浩,男,长安大学硕士研究生。 Email: shen8927 foxmail. com

基于深度卷积网络的路面裂缝分割方法 李伟 1 ，申浩 1* ，马志丹 1 ，孙朝云 1 ，呼延菊 2 （a.长安大学信息工程学院，陕西 西安 710064； b.加拿大滑铁卢大学,加拿大 滑铁卢 N2L3G1） 摘 要： 路面裂缝作为路面常见病害之一，是公路养护管理工作的重点。将裂缝从路面 背景中精确的分割是裂缝检测和修补的基础。传统的裂缝分割方法易受到光照强度 和路面噪声的影响，分割效果有待提高。本文提出了一种基于深度卷积网络的路面 裂缝分割方法。该方法采用深度卷积网络对路面裂缝进行特征学习和提取，同时结 合多尺寸特征图进行裂缝的分割。通过采用深度卷积网络，可以克服多种因素对裂 缝分割的干扰。通过过联合多尺寸特征图对裂缝进行分割，可以提高神经网络分割 的准确性。本文同时将该方法与阈值分割方法、FCN 进行了对比。结果表明，本文 提出的裂缝分割方法明显优于其他方法。 关键词： 路面裂缝；深度卷积网络；裂缝分割 中图分类号：U238 An Innovation of Pavement Crack Segmentation Based on Deep Convolutional Network Li Wei1 , Shen Hao1 , Ma Zhi-dan1 , Sun Zhao-yun1 , Huyan Ju2 （1. School of Information Engineering, Chang’an University, Xi’an 710064; 2. University of Waterloo, Canada, Waterloo, Canada N2L3G1） Abstract: Pavement crack as one of the common diseases is the key point of highway maintenance and management. Precise segmentation of crack from the background is the fundament of crack detection and mending. Traditional crack segmentation methods are easily affected by light intensity and pavement noise, and the accuracy of segmentation needs to be improved. An innovation of pavement crack segmentation based on deep convolutional network is put forward in this paper. The deep convolution network is used to learn and extract the characteristics of pavement cracks, and multi-dimensional feature maps are combined for the segmentation of cracks. By using deep convolution network, the interference of many factors to crack segmentation can be settled. The accuracy of neural network segmentation can be improved by combining multi-dimensional feature maps. This method is compared with threshold method and FCN, the results show that the proposed method is 基金项目：陕西省自然科学基金-重大基础研究项目（2017ZDJC-23） 通讯作者：申浩，男，长安大学硕士研究生。Email: shen8927@foxmail.com

superior to other methods key words: pavement crack; deep convolutional network; segmentation 引言 近年来,随着公路交通事业的飞速发展,我国公路总里程不断增加,由此带来的公路的 养护管理工作日趋繁重。裂缝作为路面常见和主要的病害之一,是《公路技术状况评定标准》 中的重要参考指标。及时发现并对裂缝进行处理是民出行安全和公路正常使用寿命的重要 保障23。传统的人工检测裂缝方法主观性高、效率低下,且对道路检测人员的人身安全有 极大地威胁。近年来,国内外学者在路面裂缝自动化检测方面做了大量工作。基于阈值分割、 图像滤波算法的路面裂缝自动化检测方法受到光照强度、路面类型等诸多因素的影响,检测 的准确性有待提高5。基于路面三维数据的裂缝分割算法受到较高检测成本的限制发展缓 慢明。随着人工智能的发展和普及,运用卷积神经网络进行路面裂缝分割成为新的突破口 卷积神经网络( Convolutional Neural Networks,CNN)是一种仿生学的计算机算法,其具有 局部感受野、权值共享等诸多特点。深度卷积神经网络由大量卷积结构构成。随着卷积层的 增加,神经网络可以学习更加复杂的目标特征,同时优化学习效果。目前,基于深度卷积神 经网络的相关算法已经在目标检测、语义分割等众多领域取得了很好的效果。 本文提出了一种基于深度卷积神经网络的路面裂缝分割方法。该方法由特征提取网络和 上采样分割网络两部分组成。特征提取网络通过对大量裂缝图像进行学习训练,准确提取 裂缝的形态特征。上采样分割网络通过联合多种尺度的裂缝特征图,以上采样方式实现裂缝 图像的分割。该方法可以克服路面亮度、路面噪声等干扰因素,对于路面裂缝的分割具有较 强鲁棒性。本文同时将该方法与阈值分割方法、FCN21进行了对比。结果表明,该裂缝分 割方法明显优于其他方法。 深度卷积分割网络概述 深度卷积分割网络主要包括输入层、卷积层、池化层、上采样层、激活函数和损失函数 等单元结构组成。输入层确定卷积网络输入图像的尺寸大小和通道数,是网络模型的入口 卷积层是对目标进行特征提取的结构,包含卷积核大小、卷积核数量、卷积步长、边界填充 等众多参数。一个典型的卷积结构如图1所示 V2 21w2w23 aar f an+ asl as as, as asala 输入图像 卷积核 图1卷积过程示例

superior to other methods. key words: pavement crack; deep convolutional network; segmentation 一、引言 近年来，随着公路交通事业的飞速发展，我国公路总里程不断增加，由此带来的公路的 养护管理工作日趋繁重。裂缝作为路面常见和主要的病害之一，是《公路技术状况评定标准》 中的重要参考指标[1]。及时发现并对裂缝进行处理是民出行安全和公路正常使用寿命的重要 保障[2,3]。传统的人工检测裂缝方法主观性高、效率低下，且对道路检测人员的人身安全有 极大地威胁。近年来，国内外学者在路面裂缝自动化检测方面做了大量工作。基于阈值分割、 图像滤波算法的路面裂缝自动化检测方法受到光照强度、路面类型等诸多因素的影响，检测 的准确性有待提高[4,5,6] 。基于路面三维数据的裂缝分割算法受到较高检测成本的限制发展缓 慢[7,8,9]。随着人工智能的发展和普及，运用卷积神经网络进行路面裂缝分割成为新的突破口。 卷积神经网络（Convolutional Neural Networks, CNN）是一种仿生学的计算机算法，其具有 局部感受野、权值共享等诸多特点。深度卷积神经网络由大量卷积结构构成。随着卷积层的 增加，神经网络可以学习更加复杂的目标特征，同时优化学习效果。目前，基于深度卷积神 经网络的相关算法已经在目标检测、语义分割等众多领域取得了很好的效果[10] 。 本文提出了一种基于深度卷积神经网络的路面裂缝分割方法。该方法由特征提取网络和 上采样分割网络[11]两部分组成。特征提取网络通过对大量裂缝图像进行学习训练，准确提取 裂缝的形态特征。上采样分割网络通过联合多种尺度的裂缝特征图，以上采样方式实现裂缝 图像的分割。该方法可以克服路面亮度、路面噪声等干扰因素，对于路面裂缝的分割具有较 强鲁棒性。本文同时将该方法与阈值分割方法、FCN[12,13] 进行了对比。结果表明，该裂缝分 割方法明显优于其他方法。 二、深度卷积分割网络概述 深度卷积分割网络主要包括输入层、卷积层、池化层、上采样层、激活函数和损失函数 等单元结构组成。输入层确定卷积网络输入图像的尺寸大小和通道数，是网络模型的入口。 卷积层是对目标进行特征提取的结构，包含卷积核大小、卷积核数量、卷积步长、边界填充 等众多参数。一个典型的卷积结构如图1所示。 图1 卷积过程示例

n为输入图像中的像素点,w,为大小为(u,)的卷积核,y2为卷积输出,b为卷积 偏置,∫为激活函数,由此可得: y=f(∑∑v bu) 池化层通常在卷积层之后,用来对卷积层输出的特征向量降维。池化的过程如图2所示: 图2池化过程示例(步长为2) max(an)y=min(an)y=∑an(u,T∈R 池化层通过对特定范围的相邻元素取最大值、最小值或平均值等操作,将特征图的尺寸 减小,这一过程也可以通过步长大于1的卷积过程实现。输入图像经过卷积层和池化层,网 络提取的特征图数量增加,尺寸减小。上采样可以看作卷积或池化的逆过程,对特征图进行 插值放大。上采样包含两种方式 a000 00b0 为为为x[为2y 000d y c000 xx。x1x12 v yo yulon2 对x15x13y15 图3上采样的两种方式 第一种方(图3a)通过保存的池化层的坐标信息,将小尺寸的特征图反向映射到大尺寸 的特征图中。第二种方式(图3b)对特征图进行卷积逆运算,得到新的大尺寸的特征图,并将 其与卷积层对应尺寸的特征图相加作为上采样结果 激活函数和损失函数是神经网络的使能结构。激活函数的非线性特征映射作用使神经网 络具备学习和提取目标的复杂特征的能力。常用的激活函数有 sigmoid、tanh、relu(图2)。 sigmoid (x)= I+e-r Jah(x)=e -er fl, (x)=max(o, x) 损失函数是引导卷积网络进行特征学习的结构。损失函数可以为MSE、MAE,欧式距离、 余弦距离等。通过损失函数计算前向网络输出结果与标签值的差,采用反向传播算法,调整

ast 为输入图像中的像素点， wij 为大小为(,) u v 的卷积核， st y 为卷积输出，bst 为卷积 偏置， f 为激活函数，由此可得： , 1 1 ( ) u v st ij s i u t j v st i j y f wa b −+ − + = = = ∑∑ + 池化层通常在卷积层之后，用来对卷积层输出的特征向量降维。池化的过程如图2所示： 图2 池化过程示例（步长为2） max( ) ij uv y a = min( ) ij uv y a = 1 ij uv y a u v = + ∑ （uv R , ∈ ） 池化层通过对特定范围的相邻元素取最大值、最小值或平均值等操作，将特征图的尺寸 减小，这一过程也可以通过步长大于1的卷积过程实现。输入图像经过卷积层和池化层，网 络提取的特征图数量增加，尺寸减小。上采样可以看作卷积或池化的逆过程，对特征图进行 插值放大。上采样包含两种方式： 图3 上采样的两种方式 第一种方(图3 a)通过保存的池化层的坐标信息，将小尺寸的特征图反向映射到大尺寸 的特征图中。第二种方式(图3 b)对特征图进行卷积逆运算,得到新的大尺寸的特征图，并将 其与卷积层对应尺寸的特征图相加作为上采样结果。 激活函数和损失函数是神经网络的使能结构。激活函数的非线性特征映射作用使神经网 络具备学习和提取目标的复杂特征的能力。常用的激活函数有sigmoid、tanh、relu(图2)。 sigmoid 1 ( ) 1 x f x e− = + tanh ( ) x x x x e e f x e e − − − = + ( ) max(0, ) relu fx x = 损失函数是引导卷积网络进行特征学习的结构。损失函数可以为MSE、MAE，欧式距离、 余弦距离等。通过损失函数计算前向网络输出结果与标签值的差，采用反向传播算法，调整

卷积核权值。卷积网络的迭代训练过程是对损失函数不断优化的过程 图4激活函数 、基于深度卷积网络的路面裂缝分割模型 (一)模型整体结构 本文提出的基于深度卷积网络的裂缝分割模型如图5所示。以输入为320*320的RGB图像 为例,模型输出裂缝分割二值图。 320X320X3 0x320x1 BatchNormalization Conv2D Activation Conv2D Residual block 8 320x320x32 Concatenate Residual block 1 Up 2D Residual block 7 UpSampling 2D Residual block 2 esiqua OC 80x80x128 Concatenate UpSampling 2D Residual block 3 Residual block 5 40X40X256 Concatenate Residual block 4 20x20x5121 UpSampling2D 特征提取卷积网络 上采样卷积网络 图5深度卷积网络分割模型 分割模型由特征提取卷积网络和上采样网络两部分构成。特征提取卷积网络用于学习和

卷积核权值。卷积网络的迭代训练过程是对损失函数不断优化的过程。 图4 激活函数 三、基于深度卷积网络的路面裂缝分割模型 （一）模型整体结构 本文提出的基于深度卷积网络的裂缝分割模型如图5所示。以输入为320*320的RGB图像 为例，模型输出裂缝分割二值图。 图5 深度卷积网络分割模型 分割模型由特征提取卷积网络和上采样网络两部分构成。特征提取卷积网络用于学习和

提取裂缝的特征,产生大量裂缝特征图。上采样的过程是对特征提取网络的特征图进行解码 扩大的过程。通过联合不同尺寸特征图进行连续的上采样学习训练,可以得到仅含目标区域 的二值化图像,实现裂缝的分割 (二)残差单元结构 深度卷积网络通常采用更多的卷积层,以便于获得更加丰富的目标特征。随着网络结构 的加深,网络出现梯度消失和网络退化等问题。本文将 Resnet的残差结构引入分割模型 残差单元的结构如图6所示。 BatchNormalization Activation Conv2D(stride) Conv2D BatchNormalization Batch Normalization Activat Convo Add 图6残差结构单元( Residual block) 设残差单元输入为x,输出为y,残差单元的过程为 f(,w))+Wx 原始的恒等映射需要多个非线性层来拟合,但在实际实现过程中很难实现。在裂缝分割 的模型的特征提取网络和上采样过程中,分别使用了4个残差单元。通过引入残差结构,使 卷积网络更加快速的学习恒等映射能力,更易发现扰动因素,从而较好的解决卷积网络加深 对裂缝分割的影响。在残差结构中,采用步长( stride)为(2,2)的卷积代替池化过程,用于 减小特征图的尺寸和优化速度。模型的参数和特征图的尺寸如表1 (三)激活函数与损失函数 网络模型中间激活层采用Relu激活函数,同时对输入数据样本进行了多次正则化 ( BatchNormalization,BN)。BN是每层卷积网络的输出值调整为相同分布,以避免网络加深 导致特征向量的分布发生偏移或者变动。分割网络采用 Upasmple方式进行上采样,即对特征 图进行卷积逆运算,得到新的大尺寸的特征图,并将其与卷积层对应尺寸的特征图相加作为 上采样结果。分割网络对特征提取网络20×20、40×40、80×80、160×160的特征图进行上 采样,上采样的过程联合了特征提取网络40×40、80×80、160×160、320×320的特征图

提取裂缝的特征，产生大量裂缝特征图。上采样的过程是对特征提取网络的特征图进行解码 扩大的过程。通过联合不同尺寸特征图进行连续的上采样学习训练，可以得到仅含目标区域 的二值化图像，实现裂缝的分割。 （二）残差单元结构 深度卷积网络通常采用更多的卷积层，以便于获得更加丰富的目标特征。随着网络结构 的加深，网络出现梯度消失和网络退化等问题。本文将Resnet的残差结构[14]引入分割模型， 残差单元的结构如图6所示。 图6 残差结构单元(Residual_block) 设残差单元输入为 x ，输出为 y ，残差单元的过程为 ( ,{ }) i s y f x W Wx = + 原始的恒等映射需要多个非线性层来拟合，但在实际实现过程中很难实现。在裂缝分割 的模型的特征提取网络和上采样过程中，分别使用了4个残差单元。通过引入残差结构，使 卷积网络更加快速的学习恒等映射能力，更易发现扰动因素，从而较好的解决卷积网络加深 对裂缝分割的影响。在残差结构中，采用步长(stride)为(2,2)的卷积代替池化过程，用于 减小特征图的尺寸和优化速度。模型的参数和特征图的尺寸如表1。 （三）激活函数与损失函数 网络模型中间激活层采用Relu激活函数，同时对输入数据样本进行了多次正则化 (BatchNormalization,BN)。BN是每层卷积网络的输出值调整为相同分布，以避免网络加深 导致特征向量的分布发生偏移或者变动。分割网络采用Upasmple方式进行上采样，即对特征 图进行卷积逆运算,得到新的大尺寸的特征图，并将其与卷积层对应尺寸的特征图相加作为 上采样结果。分割网络对特征提取网络20×20、40×40、80×80、160×160的特征图进行上 采样，上采样的过程联合了特征提取网络40×40、80×80、160×160、320×320的特征图