第15卷第6期 智能系统学报 Vol.15 No.6 2020年11月 CAAI Transactions on Intelligent Systems Nov.2020 D0L:10.11992tis.202007022 PSdropout卷积神经网络在危化品巡检车中的应用 沙芸，李齐飞，甘建旺，刘学君，隗立昂 (北京石油化工学院信息工程学院，北京102617) 摘要：危化品仓储环境复杂多变，基于卷积神经网络的视觉巡检车需要快速的训练方法以便适用不同的 环境，提高卷积神经网络的训练速度是当前亟待解决的问题。迅速在网络中提取有效的神经元，是提高算法训 练速度的关键。传统的算法中，全链接层神经元的去留问题通常采用基于伯努力分布假设的Dropout方法，本 文提出一种基于泊松分布的Dropout方法。理论上看，在充分利用神经元历史行为的基础上，基于泊松分布与 基于伯努力分布的最大似然函数类似。实验结果表明，在保持正确率的情况下，训练提前收敛，节约了训练 时间。 关键词：危化品仓储：巡检车；卷积神经网络；神经元筛选；泊松分布；子网络；全链接层；网络架构 中图分类号：TP391.4;TQ086.5文献标志码：A文章编号：1673-4785(2020)06-1131-09 中文引用格式：沙芸，李齐飞，甘建旺，等.PSdropout卷积神经网络在危化品巡检车中的应用小.智能系统学报，2020,15(6)： 1131-1139. 英文引用格式：SHA Yun,LI Qifei,GAN Jianwang,etal.Application of PSdropout convolutional neural network in inspection car for hazardous chemicals[J].CAAI transactions on intelligent systems,2020,15(6):1131-1139. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals SHA Yun,LI Qifei,GAN Jianwang,LIU Xuejun,WEI Li'ang (School of Information Engineering,Beijing Institute of Petrochemical Technology,Beijing 102617,China) Abstract:The storage environment of hazardous chemicals is complex and changeable.To adapt to different environ- ments,visual-inspection vehicles based on convolutional neural networks require fast training methods,but the problem of improving the training speed of convolutional neural networks remains to be solved.To improve the training speed of the algorithm,effective neural cell in network must be extracted from the network more quickly.In the traditional al- gorithm,the removal of neurons from the fully connected layer is typically performed using the dropout method,which is based on the Bernoulli distribution hypothesis.In this paper,we propose a dropout method based on the Poisson dis- tribution.Theoretically,by making full use of the historical behavior of neurons,the maximum likelihood function based on the Poisson distribution is similar to that based on the Bernoulli distribution.The experimental results show that while maintaining the correct rate,the training can be converged in advance,thereby saving the training time. Keywords:storage of hazardous chemicals;inspection vehicle;convolutional neural network;dropout;Poisson distribu- tion;subnetwork;full link layer,network architecture 危化品仓库中存储物通常是易燃、易爆、腐 储环境，前人主要从危险化学品堆垛安全距 蚀性强的危险化学品。危化品存储时，有些种类 离1、堆垛位置布局优化方面来解决问题，这 严禁混存，可以混存的有严格距离要求，违反这 些方法大部分是布置静态摄像头计算距离，但是 些规定会引发重大的安全事故，危化品的存储安 存在镜头遮挡和计算偏差等问题。将卷积神经网 全是当前亟待解决的问题。针对复杂的危化品仓 络应用于危化品仓储巡检车视觉中，利用自动巡 检车对仓库进行自动巡检，并实时给出反馈是当 收稿日期：2020-07-12. 基金项目：国家重点研发计划项目子项目(2016YFC0801500), 前研究的热点。实际危化品仓库中光线不清、危 通信作者：沙芸.E-mail:shayun@bipt.edu.cn. 化品货物压线、危化品场景多变、仓库巡检路线
DOI: 10.11992/tis.202007022 PSdropout 卷积神经网络在危化品巡检车中的应用 沙芸，李齐飞，甘建旺，刘学君，隗立昂 （北京石油化工学院 信息工程学院，北京 102617） 摘 要 ：危化品仓储环境复杂多变，基于卷积神经网络的视觉巡检车需要快速的训练方法以便适用不同的 环境，提高卷积神经网络的训练速度是当前亟待解决的问题。迅速在网络中提取有效的神经元，是提高算法训 练速度的关键。传统的算法中，全链接层神经元的去留问题通常采用基于伯努力分布假设的 Dropout 方法，本 文提出一种基于泊松分布的 Dropout 方法。理论上看，在充分利用神经元历史行为的基础上，基于泊松分布与 基于伯努力分布的最大似然函数类似。实验结果表明，在保持正确率的情况下，训练提前收敛，节约了训练 时间。 关键词：危化品仓储；巡检车；卷积神经网络；神经元筛选；泊松分布；子网络；全链接层；网络架构 中图分类号：TP391.4；TQ086.5 文献标志码：A 文章编号：1673−4785(2020)06−1131−09 中文引用格式：沙芸, 李齐飞, 甘建旺, 等. PSdropout 卷积神经网络在危化品巡检车中的应用 [J]. 智能系统学报, 2020, 15(6): 1131–1139. 英文引用格式：SHA Yun, LI Qifei, GAN Jianwang, et al. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals[J]. CAAI transactions on intelligent systems, 2020, 15(6): 1131–1139. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals SHA Yun，LI Qifei，GAN Jianwang，LIU Xuejun，WEI Li’ang (School of Information Engineering, Beijing Institute of Petrochemical Technology, Beijing 102617, China) Abstract: The storage environment of hazardous chemicals is complex and changeable. To adapt to different environments, visual-inspection vehicles based on convolutional neural networks require fast training methods, but the problem of improving the training speed of convolutional neural networks remains to be solved. To improve the training speed of the algorithm, effective neural cell in network must be extracted from the network more quickly. In the traditional algorithm, the removal of neurons from the fully connected layer is typically performed using the dropout method, which is based on the Bernoulli distribution hypothesis. In this paper, we propose a dropout method based on the Poisson distribution. Theoretically, by making full use of the historical behavior of neurons, the maximum likelihood function based on the Poisson distribution is similar to that based on the Bernoulli distribution. The experimental results show that while maintaining the correct rate, the training can be converged in advance, thereby saving the training time. Keywords: storage of hazardous chemicals; inspection vehicle; convolutional neural network; dropout; Poisson distribution; subnetwork; full link layer; network architecture 危化品仓库中存储物通常是易燃、易爆、腐 蚀性强的危险化学品。危化品存储时，有些种类 严禁混存，可以混存的有严格距离要求，违反这 些规定会引发重大的安全事故，危化品的存储安 全是当前亟待解决的问题。针对复杂的危化品仓 储环境，前人主要从危险化学品堆垛安全距 离 [1-4] 、堆垛位置布局[5] 优化方面来解决问题，这 些方法大部分是布置静态摄像头计算距离，但是 存在镜头遮挡和计算偏差等问题。将卷积神经网 络应用于危化品仓储巡检车视觉中，利用自动巡 检车对仓库进行自动巡检，并实时给出反馈是当 前研究的热点。实际危化品仓库中光线不清、危 化品货物压线、危化品场景多变、仓库巡检路线 收稿日期：2020−07−12. 基金项目：国家重点研发计划项目子项目 (2016YFC0801500). 通信作者：沙芸. E-mail：shayun@bipt.edu.cn. 第 15 卷第 6 期 智 能 系 统 学 报 Vol.15 No.6 2020 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2020
·1132· 智能系统学 报 第15卷 遮挡等都会造成巡检困难。当场景变化比较多的 能力的迁移。 时候，需要模型具有较强的适应能力。 1.2具体实现 目前卷积神经网络研究中，网络层数和神经 搭建网络架构，如图1所示，本文的参数设 元数目越来越多，模型对特征的刻画和表达能力 置经过多次在本样本上实验测试，综合考量loss 越来越强，测试准确率不断提高。但是随着参数 与准确率情况选定而来。 不断增多，模型复杂度迅速提升，计算复杂度越 来越高，计算时间越来越长。然而实际工业应用 输 特征图特征图 中，模型需要具备快速的训练方法，较强的适用 激励层 0☑-0 能力。卷积神经网络必须降低网络的训练时长和 特征图特征图 0☑0 计算复杂度才能得到实际的工业应用。因此，基 特征图 0☑0 0-☑-0 于卷积神经网络的危化品仓储巡检车的视觉模型 o m7o 应当在保持准确率的同时，具有规模小、训练速 0-☑-0 0-☑-0 度快的特点。 池化层 y池化卷积 在设计卷积神经网络时，需要保持特征提取 88 卷积层 层 层 全连接层 能力的同时减少参数数量，压缩、修剪网络框架 图1网络架构 是目前较常用降低计算复杂度的方法。Srinivas Fig.1 Network architecture 等提出了修剪神经元的方法，在神经元显著性 最低时删除两个相似神经元中的一个神经元，提 网络框架参数设置： 高了计算效率，简化了网络架构，但是神经元显 首先，将原始图片归一化为120×120×3大小 著性的量化难于界定。Han等在训练网络架构 的样本作为输入，采用步长为1具有32个5×5 时探索连接的重要性，修剪不重要的连接以减少 大小的卷积核的卷积层作为第1层。采用步长 连接的数量。在一定程度上，修剪连接可以简化 为2的池化层作为第2层。采用步长为1具有 网络架构，但是性能与修剪神经元相比还是差强 64个5×5大小的卷积核的卷积层作为第3层，采 人意的。Chen等s提出了HashedNets,使用一个 用步长为2的池化层作为第4层。后接入512个 哈希函数将权重随机分组到HashedNets中，一个 神经元的全链接层。每层卷积层和全链接层之后 HashedNets中的连接将共享相同的参数，参数共 紧接ReLu非线性激活函数21以提高网络性能， 享极大地简化了计算过程，加速网络训练速度， 保证提取到更有用的信息。利用Dropout方法抑 但是参数在共享计算时并非对网络架构中的所有 制过拟合现象。实验中，将训练好的模型进行测 神经元都是友好的。在文献[9]中，权值小于阈 试，将当前画面中人为控制的巡检车的行驶角度 值的连接将被视为不必要的连接并被删除，对权 和行驶速度是否相等作为测试评判标准，损失函 值进行量化，并对量化后的权值进行霍夫曼编 码，进一步压缩网络，精简网络框架，但是阈值的 数2为 设定需要一定的工作量。网络压缩01)、网络剪 La,=MsE=∑（化）-yX8f 枝W、Dropout-16的相关改进本质上都是精简网 i=I 以上的卷积神经网络模型在实验样本中取得 络架构，修剪神经元、修剪神经元之间的连接、 了较好的测试结果，但是仍存在训练过程中损失 Dropout神经元，使网络变得稀疏，简化计算过 下降及收敛缓慢、对其他危化品仓库场景样本适 程。同时，由于在一定程度上抑制提取的特征同 化现象，可以有效缓解过拟合的发生。 应性较低的问题。因此，本文对Dropout进行改 本文将卷积神经网络应用于危化品仓储巡检 进，提出基于泊松分布的Dropout方法。 车中，主要任务为实现巡检车自主巡检，为加快 2 PSdropout抽样算法 10ss收敛速度对传统卷积神经网络算法进行改 进，提出了一种基于泊松分布的Dropout方法。 根据观察，不频繁更新的神经元在后期的训 练中，最终会以较大的概率被关闭。如果尽早根 1相关工作 据网络中神经元节点的历史激活状态进行神经元 1.1卷积神经网络 取舍，理论上可以快速找到作用大的子网络，从 卷积神经网络9能够很好地利用图像的结 而提高网络的训练速度。 构信息，可以较完整地提取图像中的特征信息。 2.1理论分析及算法步骤 文献[20]研究表明，全链接层可以保证模型表示 无Dropout的传统卷积网络计算公式为
遮挡等都会造成巡检困难。当场景变化比较多的 时候，需要模型具有较强的适应能力。 目前卷积神经网络研究中，网络层数和神经 元数目越来越多，模型对特征的刻画和表达能力 越来越强，测试准确率不断提高。但是随着参数 不断增多，模型复杂度迅速提升，计算复杂度越 来越高，计算时间越来越长。然而实际工业应用 中，模型需要具备快速的训练方法，较强的适用 能力。卷积神经网络必须降低网络的训练时长和 计算复杂度才能得到实际的工业应用。因此，基 于卷积神经网络的危化品仓储巡检车的视觉模型 应当在保持准确率的同时，具有规模小、训练速 度快的特点。 在设计卷积神经网络时，需要保持特征提取 能力的同时减少参数数量，压缩、修剪网络框架 是目前较常用降低计算复杂度的方法。Srinivas 等 [6] 提出了修剪神经元的方法，在神经元显著性 最低时删除两个相似神经元中的一个神经元，提 高了计算效率，简化了网络架构，但是神经元显 著性的量化难于界定。Han 等 [7] 在训练网络架构 时探索连接的重要性，修剪不重要的连接以减少 连接的数量。在一定程度上，修剪连接可以简化 网络架构，但是性能与修剪神经元相比还是差强 人意的。Chen 等 [8] 提出了 HashedNets，使用一个 哈希函数将权重随机分组到 HashedNets 中，一个 HashedNets 中的连接将共享相同的参数，参数共 享极大地简化了计算过程，加速网络训练速度， 但是参数在共享计算时并非对网络架构中的所有 神经元都是友好的。在文献 [9] 中，权值小于阈 值的连接将被视为不必要的连接并被删除，对权 值进行量化，并对量化后的权值进行霍夫曼编 码，进一步压缩网络，精简网络框架，但是阈值的 设定需要一定的工作量。网络压缩[10-13] 、网络剪 枝 [14] 、Dropout[15-16] 的相关改进本质上都是精简网 络架构，修剪神经元、修剪神经元之间的连接、 Dropout 神经元，使网络变得稀疏，简化计算过 程。同时，由于在一定程度上抑制提取的特征同 化现象，可以有效缓解过拟合的发生。 本文将卷积神经网络应用于危化品仓储巡检 车中，主要任务为实现巡检车自主巡检，为加快 loss 收敛速度对传统卷积神经网络算法进行改 进，提出了一种基于泊松分布的 Dropout 方法。 1 相关工作 1.1 卷积神经网络 卷积神经网络[17-19] 能够很好地利用图像的结 构信息，可以较完整地提取图像中的特征信息。 文献 [20] 研究表明，全链接层可以保证模型表示 能力的迁移。 1.2 具体实现 搭建网络架构[21] ，如图 1 所示，本文的参数设 置经过多次在本样本上实验测试，综合考量 loss 与准确率情况选定而来。 输 入 层 特征图 特征图 特征图 特征图 激励层 特征图 激励层 全连接层 卷积 核 卷积层 池化 层 池化层 卷积 层 图 1 网络架构 Fig. 1 Network architecture 网络框架参数设置： 120×120 ×3 5×5 5×5 首先，将原始图片归一化为 大小 的样本作为输入，采用步长为 1 具有 32 个 大小的卷积核的卷积层作为第 1 层。采用步长 为 2 的池化层作为第 2 层。采用步长为 1 具有 64 个 大小的卷积核的卷积层作为第 3 层，采 用步长为 2 的池化层作为第 4 层。后接入 512 个 神经元的全链接层。每层卷积层和全链接层之后 紧接 ReLu 非线性激活函数[22] 以提高网络性能， 保证提取到更有用的信息。利用 Dropout 方法抑 制过拟合现象。实验中，将训练好的模型进行测 试，将当前画面中人为控制的巡检车的行驶角度 和行驶速度是否相等作为测试评判标准，损失函 数 [23] 为 L(θ, θ∗ ,X) = MSE = 1 n ∑n i=1 eyi ( X, θ∗ i ) −yi(X, θi) 2 以上的卷积神经网络模型在实验样本中取得 了较好的测试结果，但是仍存在训练过程中损失 下降及收敛缓慢、对其他危化品仓库场景样本适 应性较低的问题。因此，本文对 Dropout 进行改 进，提出基于泊松分布的 Dropout 方法。 2 PSdropout 抽样算法 根据观察，不频繁更新的神经元在后期的训 练中，最终会以较大的概率被关闭。如果尽早根 据网络中神经元节点的历史激活状态进行神经元 取舍，理论上可以快速找到作用大的子网络，从 而提高网络的训练速度。 2.1 理论分析及算法步骤 无 Dropout 的传统卷积网络计算公式为 ·1132· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1133· 24”=wy+ 量实验结果中进行对比，综合Ioss和测试的结果， +=f) 选择实验结果最好的值作为p。 2012年，Hinton!在论文中提出Dropout,.当 按PSdropout更新当前层，公式如式(S)(10)。 一个复杂的神经网络用于训练特征较为简单的数 2.2理论推导 据集时，会很容易出现过拟合现象，主要表现为 Dropout与PSdropout抽样算法不同之处在于 训练时测试准确率很高、测试时测试准确率很 神经元的去留服从分布不同，极大似然估计的依 低。为了防止过拟合，可以通过阻止特征检测器 据是概率最大的事件最可能发生，在神经元去留 的共同作用来提高神经网络的性能。 问题上，神经元激活不同数目可作为不同事件， 采用Dropout的网络计算公式为 改进的PSdropout使具有积极意义的神经元最大 少~B(pa) (1) 化的激活这一事件发生概率可由极大似然估计进 y=r*yn (2) 行推导。另外，在理论中找相等是很难的，泊松 244=wy+b 分布和伯努利分布的极大似然相似，即可证明其 (3) y4=f(2） 有一定的相似性。对比伯努利分布与泊松分布， (4) 观测二者的极大似然估计值如下： Dropout方法神经元去留概率服从伯努利分 Dropout:在实验中，神经元去留概率服从伯 布，根据式(1)(4)对网络框架进行更新。Drop 努力分布： Connect!24]不再是随机将隐含层节点的输出清 D=y1,2,…ynl,y~B0 0,而是将节点中的每个与其相连的输入权值以一 似然函数为 定的概率清0，在输入处修剪掉多余的连接，在 Dropout概率设置为0.5时在本层网络中可以节省 L=p(Du）=ip6.l四）=iI--w 一半的计算量。以此算法作为实验中的对比算法。 取对数，整理化简： 泊松概率分布2l(poisson distribution)描述的 是在某段时间或某个空间内发生随机事件次数的 I=lnpD)=∑n(1--w= 概率，也就是根据过去某个随机事件在某段时间 或某个空间内发生的平均次数。在PSdropout抽 之：aa+0-)1n1-wy 样算法中，统计前一阶段训练中一定步数内的网 最大化似然函数，取导数为0的极值： 络框架中全链接层的神经元的修改次数情况，作 - 1 为下一阶段网络训练更新的指导，基于PSdro- a(1-四b4=0 1 pout的抽样算法神经元权重的筛选是服从泊松分 1- 布的。 N2. =1 采用PSdropout抽样算法的网络计算公式包括： PSdropout抽样算法：在实验中，神经元的去 pam二Runc (5) 留服从泊松分布： D=1y2,…,yn,y~Pd) ∫1，Pm≥Po P=0.Pm<Po (6) 似然函数： P(p) (7) 1-=时 =r”*y9 (8) 取对数，整理化简： 》=w+b (9) I=InL=-n4+>6.InA-Iny.) y=f2+） (10) =1 首先，根据式（⑤）记录当前神经元的修改次数 最大化似然函数，取导数为0的极值： Cw和训练次数Re,计算每个神经元权重的激活 al (抑制)概率Pm,Pm为激活张量，Pm来源符合泊松 =-W+>滥=0 =1 分布。 取出张量pm中的每一个元素与设定值p%作 MLE= 对比，若某个神经元的某个权重激活（抑制）概率 两种分布最终的极大似然函数取值相同，因 Pm>po,将当前Pn中对应位置设置为激活状态1， 此PSdropout抽样算法的神经元抽样方法的选取 否则，设置为抑制状态0，记录激活张量p;在大 是合理的
z (l+1) i = w l+1 i y l +b l+1 i y (l+1) i = f ( z l+1 i ) 2012 年，Hinton[15] 在论文中提出 Dropout，当 一个复杂的神经网络用于训练特征较为简单的数 据集时，会很容易出现过拟合现象，主要表现为 训练时测试准确率很高、测试时测试准确率很 低。为了防止过拟合，可以通过阻止特征检测器 的共同作用来提高神经网络的性能。 采用 Dropout 的网络计算公式为 r (l) j ∼ B(pm) (1) ∼ y l = r (l) ∗ y (l) (2) z (l+1) i = w (l+1) i ∼ y l +b (l+1) i (3) y (l+1) i = f ( z (l+1) i ) (4) Dropout 方法神经元去留概率服从伯努利分 布，根据式 (1)~(4) 对网络框架进行更新。DropConnect[ 2 4 ] 不再是随机将隐含层节点的输出清 0,而是将节点中的每个与其相连的输入权值以一 定的概率清 0，在输入处修剪掉多余的连接，在 Dropout 概率设置为 0.5 时在本层网络中可以节省 一半的计算量。以此算法作为实验中的对比算法。 泊松概率分布[25] (poisson distribution) 描述的 是在某段时间或某个空间内发生随机事件次数的 概率，也就是根据过去某个随机事件在某段时间 或某个空间内发生的平均次数。在 PSdropout 抽 样算法中，统计前一阶段训练中一定步数内的网 络框架中全链接层的神经元的修改次数情况，作 为下一阶段网络训练更新的指导，基于 PSdropout 的抽样算法神经元权重的筛选是服从泊松分 布的。 采用 PSdropout 抽样算法的网络计算公式包括： pm = Cw Rtimes (5) p ′ m = { 1, pm ⩾ p0 0, pm < p0 (6) r (l) j ∼ P ( p ′ m ) (7) ˜y l = r (l) j ∗ y (l) (8) z (l+1) i = w (l+1) i ˜y l +b (l+1) i (9) y (l+1) i = f ( z (l+1) i ) (10) Cw Rtimes pm p ′ m p ′ m 首先，根据式 (5) 记录当前神经元的修改次数 和训练次数 ，计算每个神经元权重的激活 (抑制) 概率 ， 为激活张量， 来源符合泊松 分布。 p ′ m p0 pm p0 p ′ m p ′ m 取出张量 中的每一个元素与设定值 作 对比，若某个神经元的某个权重激活 (抑制) 概率 > ,将当前 中对应位置设置为激活状态 1， 否则，设置为抑制状态 0，记录激活张量 ；在大 p0 量实验结果中进行对比，综合 loss 和测试的结果， 选择实验结果最好的值作为 。 按 PSdropout 更新当前层，公式如式 (5)~(10)。 2.2 理论推导 Dropout 与 PSdropout 抽样算法不同之处在于 神经元的去留服从分布不同，极大似然估计的依 据是概率最大的事件最可能发生，在神经元去留 问题上，神经元激活不同数目可作为不同事件， 改进的 PSdropout 使具有积极意义的神经元最大 化的激活这一事件发生概率可由极大似然估计进 行推导。另外，在理论中找相等是很难的，泊松 分布和伯努利分布的极大似然相似，即可证明其 有一定的相似性。对比伯努利分布与泊松分布， 观测二者的极大似然估计值如下： Dropout：在实验中，神经元去留概率服从伯 努力分布： D = {y1, y2,··· , yn}, y ∼ B(µ) 似然函数为 L = p(D|µ) = N Π n=1 p(yn |µ) = N Π n=1 µ yn (1−µ) (1−yn ) 取对数，整理化简： l = ln p(D|µ) = ∑N n=1 ln{ µ yn (1−µ) (1−yn) } = ∑N n=1 {yn lnµ+(1−yn)ln(1−µ)} 最大化似然函数，取导数为 0 的极值： ∂l ∂µ = ∑N n=1 { yn 1 µ (1−yn) 1 1−µ } = 1 µ(1−µ) {yn −µ} = 0 µMLE = 1 N ∑N n=1 yn PSdropout 抽样算法：在实验中，神经元的去 留服从泊松分布： D = {y1, y2,··· , yn}, y ∼ P(λ) 似然函数： L = N Π n=1 λ yn yn! e −λ = e −nλ N Π n=1 λ yn yn! 取对数，整理化简： l = lnL = −nλ+ ∑N n=1 (yn lnλ−lnyn) 最大化似然函数，取导数为 0 的极值： ∂l ∂λ = −N + ∑N n=1 yn λ = 0 λMLE = 1 N ∑N n=1 yn 两种分布最终的极大似然函数取值相同，因 此 PSdropout 抽样算法的神经元抽样方法的选取 是合理的。 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1133·
·1134· 智能系统学报 第15卷 3实验 及测试结果也差异较大，为探究PSdropout算法的 稳定性，选取数量不同的原始场景样本制作Ca 在主频为2.20GHz,CPU为GTX1080 Ti GPU 数据集进行训练并在Car测试集上进行测试，对 的服务器上，将典型卷积神经网络模型和改进后 1oss损失函数结果及测试结果进行分析：采集数 的网络模型进行实验并对比结果。 据量为5000、10000、15000、20000的样本进行实 3.1数据集 验，学习率设为固定值，Ioss测试结果如表1，测 实验中，选用不同的数据集对原始算法和 试准确率结果如表2。 PSdropout抽样算法的实验结果进行整理，以证明 表1Ioss统计结果 PSdropout抽样算法的有效性。采用智能小车采 Table 1 Statistical loss results 集彩色160×120大小的实验现场照片，将该数据 实验名称 Loss Dropout DropConnect PSdropout 命名为Car数据集，含有4个训练子集，样本数量 0.14 2200 3500 2000 为5000、10000、15000、20000；同时含有1个 5000原始 2000张照片的测试集。在实验中，使用了深度学 0.13 4500 4500 2800 样本实验 习网络架构对Car数据集进行训练。 0.12 未达到 7200 5400 部分Car原始场景训练数据集如图2所示， 0.14 4200 4200 3000 该数据集主要是危化品仓库中良好状态下采集的 10000原始 0.13 7100 7300 5800 样本，采集样本过程中无障碍物遮挡路线、光线 样本实验 0.12 未达到 未达到 7900 条件良好，拍摄清晰，以最优条件下采集的素材 作为实验中的训练集。 0.14 2500 3300 2000 15000原始 0.13 4200 4100 2700 样本实验 0.12 未达到 6300 5000 0.14 2500 4200 1800 20000原始 0.13 4000 7000 3800 (a)路面中间 (b)拐弯处 (⊙)一半被阴影 样本实验 不规则阴影 阴影 覆盖的路面 0.13 未达到 未达到 6800 图2原始场景样本图 表2测试结果 Fig.2 Sample pictures of original scene Table 2 Statistical test results 在实际的危化品仓库中，危化品智能巡检车 实验名称 Dropout Dropconnect PSdropout 的道路情况并非如实验样本中的理想化状态，实 5000原始样本实验 0.96 0.96 0.97 际采集的样本在道路线上存在着光线条件不好、 10000原始样本实验 0.95 0.95 0.96 障碍物遮挡道路线、不明物体遮挡道路线等一系 15000原始样本实验 0.96 0.95 0.96 列情况，将复杂场景情况下采集的道路样本作为 数据集，为以后在实际的危化品仓库中的应用以 20000原始样本实验 0.95 0.92 0.95 及重新训练奠定基础。图3为部分复杂样本图。 将学习率设置为固定值，进行训练，训练中 1oss的变化无其他变化因素干扰，可以更好地观 测PSdropout引起的变化。横向观测实验结果，就 表1的1oss统计结果来说，样本量分别定为5000 10000、15000、20000,DropConnect与Dropout相 (a)路面两侧 (b)左侧较远存在 (c)左侧压线 比，达到相同损失率时所用步骤相差不大，Drop 障碍物 压线障碍物 障碍物 Connect最终取得的loss值较小，而PSdropout抽 图3复杂场景样本图 样算法相比于Dropout和DropConnect能够以更 Fig.3 Sample photos of complex scene 少的训练轮数步骤取得更小的1oss值；就测试结 3.2单场景数据量测试实验 果而言，在4组实验中，PSdropout测试率皆高于 在深度学习训练中，训练数据是很重要的，在 前两者。 样本量方面，一是要有尽量多的训练样本，二是 纵向观测表2的测试结果，随着实验中训练 要保证样本的分布够均匀。但实际采集数据的过 样本的样本量不断增加，在3类实验中可以看到 程中，不同样本量的设置训练出来的网络架构以 测试准确率处于不断下降状态，因为随着样本量
3 实验 在主频为 2.20 GHz，CPU 为 GTX1080 Ti GPU 的服务器上，将典型卷积神经网络模型和改进后 的网络模型进行实验并对比结果。 3.1 数据集 实验中，选用不同的数据集对原始算法和 PSdropout 抽样算法的实验结果进行整理，以证明 PSdropout 抽样算法的有效性。采用智能小车采 集彩色 160×120 大小的实验现场照片，将该数据 命名为 Car 数据集，含有 4 个训练子集，样本数量 为 5 000、10 000、15 000、20 000；同时含有 1 个 2 000 张照片的测试集。在实验中，使用了深度学 习网络架构对 Car 数据集进行训练。 部分 Car 原始场景训练数据集如图 2 所示， 该数据集主要是危化品仓库中良好状态下采集的 样本，采集样本过程中无障碍物遮挡路线、光线 条件良好，拍摄清晰，以最优条件下采集的素材 作为实验中的训练集。 (a) 路面中间 不规则阴影 (c) 一半被阴影 覆盖的路面 (b) 拐弯处 阴影 图 2 原始场景样本图 Fig. 2 Sample pictures of original scene 在实际的危化品仓库中，危化品智能巡检车 的道路情况并非如实验样本中的理想化状态，实 际采集的样本在道路线上存在着光线条件不好、 障碍物遮挡道路线、不明物体遮挡道路线等一系 列情况，将复杂场景情况下采集的道路样本作为 数据集，为以后在实际的危化品仓库中的应用以 及重新训练奠定基础。图 3 为部分复杂样本图。 (a) 路面两侧 障碍物 (b) 左侧较远存在 压线障碍物 (c) 左侧压线 障碍物 图 3 复杂场景样本图 Fig. 3 Sample photos of complex scene 3.2 单场景数据量测试实验 在深度学习训练中，训练数据是很重要的，在 样本量方面，一是要有尽量多的训练样本，二是 要保证样本的分布够均匀。但实际采集数据的过 程中，不同样本量的设置训练出来的网络架构以 及测试结果也差异较大，为探究 PSdropout 算法的 稳定性，选取数量不同的原始场景样本制作 Car 数据集进行训练并在 Car 测试集上进行测试，对 loss 损失函数结果及测试结果进行分析：采集数 据量为 5 000、10 000、15 000、20 000 的样本进行实 验，学习率设为固定值，loss 测试结果如表 1，测 试准确率结果如表 2。 表 1 loss 统计结果 Table 1 Statistical loss results 实验名称 Loss Dropout DropConnect PSdropout 5000原始 样本实验 0.14 2 200 3 500 2 000 0.13 4 500 4 500 2800 0.12 未达到 7 200 5400 10000原始 样本实验 0.14 4 200 4 200 3000 0.13 7 100 7 300 5800 0.12 未达到 未达到 7900 15000原始 样本实验 0.14 2 500 3 300 2 000 0.13 4 200 4 100 2700 0.12 未达到 6 300 5000 20000原始 样本实验 0.14 2 500 4 200 1800 0.13 4 000 7 000 3800 0.13 未达到 未达到 6800 表 2 测试结果 Table 2 Statistical test results 实验名称 Dropout Dropconnect PSdropout 5000原始样本实验 0.96 0.96 0.97 10000原始样本实验 0.95 0.95 0.96 15000原始样本实验 0.96 0.95 0.96 20000原始样本实验 0.95 0.92 0.95 将学习率设置为固定值，进行训练，训练中 loss 的变化无其他变化因素干扰，可以更好地观 测 PSdropout 引起的变化。横向观测实验结果，就 表 1 的 loss 统计结果来说，样本量分别定为 5 000、 10 000、15 000、20 000，DropConnect 与 Dropout 相 比，达到相同损失率时所用步骤相差不大，DropConnect 最终取得的 loss 值较小，而 PSdropout 抽 样算法相比于 Dropout 和 DropConnect 能够以更 少的训练轮数步骤取得更小的 loss 值；就测试结 果而言，在 4 组实验中，PSdropout 测试率皆高于 前两者。 纵向观测表 2 的测试结果，随着实验中训练 样本的样本量不断增加，在 3 类实验中可以看到 测试准确率处于不断下降状态，因为随着样本量 ·1134· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1135· 的增加，网络的训练轮数不断增加，网络中的神 根据表3的1oss统计结果，原始样本数据集 经元会记忆训练样本，导致过学习现象。而较小 训练完成时，调用原始算法时1oss值未达到0.12 的实验样本量训练中，PSdropout抽样算法以较少 调用DropConnect时loss值达到0.12，调用PSdro-- 的训练步数取得了较好的1oss值，并且训练出的 pout抽样算法时loss最低值为0.12；复杂场景样 网络架构测试准确率更高。PSdropout抽样算法 本数据集训练完成时，调用原始算法时oss最低 为现今面临的样本缺失问题提供了一个新的解决 值未达到0.I3,调用DropConnect时loss值未达 问题思路。综合上述实验中Ioss的收敛以及测试 到0.13，调用抽样时1oss最低值为0.13。根据表4 结果，PSdropout抽样算法对不同数量样本的训练 测试结果，改进算法在原始样本数据集上训练的 集都有较好的适应能力，该算法是稳定健壮的。 模型测试结果皆高于原始算法，原始算法在复杂 3.3多场景测试 场景样本数据集上训练的模型测试结果高于 不同危化品仓库的地面与标志线差异较大， DropConnect和抽样。在保证正确率相差不大的 图4是一些危化品仓库的实景图，而实际仓库场 前提下，PSdropout抽样算法的训练步数明显减 景多，对于新场景的适应成为识别的一大难点。 少，训练速度提高。 3.4网络架构适应性测试 在实际的应用中，由于危化品仓库的跑道具 有多样性、多变性，不同的危化品仓库，地面与标 志线差异较大，场景多，对于新场景的适应成为 (a)礼花弹库 (b)液体危化品库 (c)油漆库 识别的一大难点，因此需要把训练的样本在多种 场景内进行应用，所以训练出的网络架构必须有 图4复杂危化品仓库实景图 Fig.4 Photos of complex chemical warehouses 较好的适应性，减少对样本的依赖。采取实验 因此，对多场景的适应能力好坏是评判改进 A和B对算法进行适应能力测试。实验A:在原 算法的一个重要依据。在不同场景的样本上进行 始样本数据集上进行训练，用复杂样本作为测试 集进行测试。实验B:在复杂样本数据集上进行 实验，分别用基于Dropout的原始算法、基于 训练，用简单样本作为测试集进行测试。表5中 DropConnect的对比算法、基于PSdropout抽样算 记录测试准确率： 法进行实验，因为DropConnect是对神经元之间 表5适应性测试 的连接的去留进行选择，来抑制过拟合现象，加 Table 5 Adaptive test results 速训练，与PSdropout算法中舍弃不活跃神经元的 方法是一致的，因此选择基于DropConnect的卷 实验名称 Dropout PSdropout 积神经网络作为对比算法进行实验，1oss结果如 实验A 0.79 0.79 表3，测试结果如表4。 实验B 0.95 0.96 表3L0ss统计结果 进行上述实验旨在检验两个算法训练的网络 Table 3 Statistical loss results 架构的适应性。由表5适应性测试的结果可以看 实验名称 损失值 Dropout DropConnect PSdropout 出PSdropout抽样算法对不同场景的适应能力更 0.14 2500 3300 2000 强，因为PSdropout算法能尽早抽取出活跃的神经 原始场景 0.13 4200 4100 2700 元，网络架构的学习能力更强，删除掉冗余的神 样本实验 经元，对于抑制过拟合现象有较好的贡献。这点 0.12 未达到 6300 5000 对于实际的危化品仓库现今存在的样本采集困 0.14 3500 6200 3700 复杂场景 难、网络架构适应差等问题，PSdropout抽样算法 0.14 6300 10000 3700 提供了新的解决思路。 样本实验 0.13 未达到 未达到 8600 3.5细节性实验 在原始场景数据集上训练，实验参数设置如 表4测试结果 下。原始算法：batchsize为50，优化函数算法为 Table 4 Statistical test results 随机梯度下降算法，实现参数更新，其中，学习率 实验名称 Dropout DropConnect PSdropout 为固定值0.01。PSdropout抽样算法：在原始算法 原始场景样本实验 0.96 0.95 0.96 基础上，对训练结果进行统计，每500步统计 复杂场景样本实验 1次，之后的500步训练根据前500步统计结果计 0.93 0.91 0.91 算出式（⑤）中的P更新，修改次数少的继续抑制
的增加，网络的训练轮数不断增加，网络中的神 经元会记忆训练样本，导致过学习现象。而较小 的实验样本量训练中，PSdropout 抽样算法以较少 的训练步数取得了较好的 loss 值，并且训练出的 网络架构测试准确率更高。PSdropout 抽样算法 为现今面临的样本缺失问题提供了一个新的解决 问题思路。综合上述实验中 loss 的收敛以及测试 结果，PSdropout 抽样算法对不同数量样本的训练 集都有较好的适应能力，该算法是稳定健壮的。 3.3 多场景测试 不同危化品仓库的地面与标志线差异较大， 图 4 是一些危化品仓库的实景图，而实际仓库场 景多，对于新场景的适应成为识别的一大难点。 (a) 礼花弹库 (b) 液体危化品库 (c) 油漆库 图 4 复杂危化品仓库实景图 Fig. 4 Photos of complex chemical warehouses 因此，对多场景的适应能力好坏是评判改进 算法的一个重要依据。在不同场景的样本上进行 实验，分别用基于 Dropout 的原始算法、基于 DropConnect 的对比算法、基于 PSdropout 抽样算 法进行实验，因为 DropConnect 是对神经元之间 的连接的去留进行选择，来抑制过拟合现象，加 速训练，与 PSdropout 算法中舍弃不活跃神经元的 方法是一致的，因此选择基于 DropConnect 的卷 积神经网络作为对比算法进行实验，loss 结果如 表 3，测试结果如表 4。 表 3 Loss 统计结果 Table 3 Statistical loss results 实验名称 损失值 Dropout DropConnect PSdropout 原始场景 样本实验 0.14 2500 3300 2000 0.13 4200 4100 2700 0.12 未达到 6300 5000 复杂场景 样本实验 0.14 3500 6200 3700 0.14 6300 10000 3700 0.13 未达到 未达到 8600 表 4 测试结果 Table 4 Statistical test results 实验名称 Dropout DropConnect PSdropout 原始场景样本实验 0.96 0.95 0.96 复杂场景样本实验 0.93 0.91 0.91 根据表 3 的 loss 统计结果，原始样本数据集 训练完成时，调用原始算法时 loss 值未达到 0.12， 调用 DropConnect 时 loss 值达到 0.12，调用 PSdropout 抽样算法时 loss 最低值为 0.12；复杂场景样 本数据集训练完成时，调用原始算法时 loss 最低 值未达到 0.13，调用 DropConnect 时 loss 值未达 到 0.13，调用抽样时 loss 最低值为 0.13。根据表 4 测试结果，改进算法在原始样本数据集上训练的 模型测试结果皆高于原始算法，原始算法在复杂 场景样本数据集上训练的模型测试结果高于 DropConnect 和抽样。在保证正确率相差不大的 前提下，PSdropout 抽样算法的训练步数明显减 少，训练速度提高。 3.4 网络架构适应性测试 在实际的应用中，由于危化品仓库的跑道具 有多样性、多变性，不同的危化品仓库，地面与标 志线差异较大，场景多，对于新场景的适应成为 识别的一大难点，因此需要把训练的样本在多种 场景内进行应用，所以训练出的网络架构必须有 较好的适应性，减少对样本的依赖。采取实验 A 和 B 对算法进行适应能力测试。实验 A：在原 始样本数据集上进行训练，用复杂样本作为测试 集进行测试。实验 B：在复杂样本数据集上进行 训练，用简单样本作为测试集进行测试。表 5 中 记录测试准确率： 表 5 适应性测试 Table 5 Adaptive test results 实验名称 Dropout PSdropout 实验A 0.79 0.79 实验B 0.95 0.96 进行上述实验旨在检验两个算法训练的网络 架构的适应性。由表 5 适应性测试的结果可以看 出 PSdropout 抽样算法对不同场景的适应能力更 强，因为 PSdropout 算法能尽早抽取出活跃的神经 元，网络架构的学习能力更强，删除掉冗余的神 经元，对于抑制过拟合现象有较好的贡献。这点 对于实际的危化品仓库现今存在的样本采集困 难、网络架构适应差等问题，PSdropout 抽样算法 提供了新的解决思路。 3.5 细节性实验 在原始场景数据集上训练，实验参数设置如 下。原始算法：batchsize 为 50，优化函数算法为 随机梯度下降算法，实现参数更新，其中，学习率 为固定值 0.01。PSdropout 抽样算法：在原始算法 基础上，对训练结果进行统计，每 500 步统计 1 次，之后的 500 步训练根据前 500 步统计结果计 算出式 (5) 中的 P 更新，修改次数少的继续抑制， 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1135·