第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201904020 基于小样本学习的LCD产品缺陷自动检测方法 马岭，鲁越，蒋慧琴，刘玉敏 (1.郑州大学信息工程学院，河南郑州450001：2.郑州大学商学院.河南郑州450001) 摘要：针对高分辨率液晶显示器产品(liquid crystal display,.LCD)质量在线检测需求，基于深度学习提出一种 LCD缺陷自动检测方法。通过设计自适应浅层特征提取层，并引入稀疏卷积结构，多维度、多尺度的提取深层 特征，采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练，构建基于小样本学习的LCD表面缺陷检 测模型。其特征在于，采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习 的图像子块，并根据模型对图像子块的判定类别和定位坐标，同时获取多类型缺陷检测结果。实验结果表明， 本文模型可以有效提高检出率，并诚少漏检率。 关键词：缺陷诊断：目标分类：深度学习：小样本学习；卷积神经网络；迁移学习：深度卷积生成对抗网络：继续 学习 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2020)03-0560-08 中文引用格式：马岭，鲁越，蒋慧琴，等.基于小样本学习的LCD产品缺陷自动检测方法J.智能系统学报，2020,15(3)： 560-567. 英文引用格式：MA Ling,LU Yue,,JIANGHuiqin,ctal.An automatic small sample learning-based detection method for LCD product defects[Jl.CAAI transactions on intelligent systems,2020,15(3):560-567. An automatic small sample learning-based detection method for LCD product defects MA Ling',LU Yue',JIANG Huiqin',LIU Yumin2 (1.School of Information Engineering,Zhengzhou University,Zhengzhou 450001,China;2.Business School,Zhengzhou University, Zhengzhou 450001,China) Abstract:Aiming at the demands of high-resolution liquid crystal display (LCD)product quality online inspection,we propose an automatic deep learning-based detection method for LCD defects.An LCD surface defect detection model is constructed based on small sample learning by designing an adaptive shallow feature extraction layer and introducing a sparse convolution structure to extract the multi-dimensional and multi-scale deep features.Furthermore,the model is trained and enhanced using transfer learning and a deep convolutional generative adversarial network(DCGAN)for data expansion,and the LCD surface defect detection model is built based on small sample learning.The original high-resol- ution image is segmented into sub-images suitable for convolutional neural network(CNN)learning by designing auto- matic segmentation and location pretreatment software.The detection results of multi-type defects according to the cat- egory and location coordinates of the classification model's output are obtained.The experimental results show that the model can effectively improve the detection rate and reduce the missed detection rate. Keywords:defect diagnostics;target classification;deep learning:small sample learning;convolution neural network; transfer learning;DCGAN;continue learning 随着LCD生产过程制造工艺的提升，LCD逐 渐向大尺寸和高分辨率方向发展，致使人工产品 收稿日期：2019-04-09 缺陷检测方法难以满足产品质量和生产效率要 基金项目：国家自然科学基金一河南联合基金重点项目 求。因此，本文研究LCD的机器视觉缺陷检测 (U1604262). 通信作者：马岭.E-mail:ielma@zzu.edu.cn 方法
DOI: 10.11992/tis.201904020 基于小样本学习的 LCD 产品缺陷自动检测方法 马岭1 ，鲁越1 ，蒋慧琴1 ，刘玉敏2 （1. 郑州大学 信息工程学院，河南 郑州 450001; 2. 郑州大学 商学院，河南 郑州 450001） 摘 要：针对高分辨率液晶显示器产品 (liquid crystal display, LCD) 质量在线检测需求，基于深度学习提出一种 LCD 缺陷自动检测方法。通过设计自适应浅层特征提取层，并引入稀疏卷积结构，多维度、多尺度的提取深层 特征，采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练，构建基于小样本学习的 LCD 表面缺陷检 测模型。其特征在于，采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习 的图像子块，并根据模型对图像子块的判定类别和定位坐标，同时获取多类型缺陷检测结果。实验结果表明， 本文模型可以有效提高检出率，并减少漏检率。 关键词：缺陷诊断；目标分类；深度学习；小样本学习；卷积神经网络；迁移学习；深度卷积生成对抗网络；继续 学习 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)03−0560−08 中文引用格式：马岭, 鲁越, 蒋慧琴, 等. 基于小样本学习的 LCD 产品缺陷自动检测方法 [J]. 智能系统学报, 2020, 15(3): 560–567. 英文引用格式：MA Ling, LU Yue, JIANG Huiqin, et al. An automatic small sample learning-based detection method for LCD product defects[J]. CAAI transactions on intelligent systems, 2020, 15(3): 560–567. An automatic small sample learning-based detection method for LCD product defects MA Ling1 ，LU Yue1 ，JIANG Huiqin1 ，LIU Yumin2 (1. School of Information Engineering, Zhengzhou University, Zhengzhou 450001, China; 2. Business School, Zhengzhou University, Zhengzhou 450001, China) Abstract: Aiming at the demands of high-resolution liquid crystal display (LCD) product quality online inspection, we propose an automatic deep learning-based detection method for LCD defects. An LCD surface defect detection model is constructed based on small sample learning by designing an adaptive shallow feature extraction layer and introducing a sparse convolution structure to extract the multi-dimensional and multi-scale deep features. Furthermore, the model is trained and enhanced using transfer learning and a deep convolutional generative adversarial network (DCGAN) for data expansion, and the LCD surface defect detection model is built based on small sample learning. The original high-resolution image is segmented into sub-images suitable for convolutional neural network (CNN) learning by designing automatic segmentation and location pretreatment software. The detection results of multi-type defects according to the category and location coordinates of the classification model’s output are obtained. The experimental results show that the model can effectively improve the detection rate and reduce the missed detection rate. Keywords: defect diagnostics; target classification; deep learning; small sample learning; convolution neural network; transfer learning; DCGAN; continue learning 随着 LCD 生产过程制造工艺的提升，LCD 逐 渐向大尺寸和高分辨率方向发展，致使人工产品 缺陷检测方法难以满足产品质量和生产效率要 求。因此，本文研究 LCD 的机器视觉缺陷检测 方法[1]。 收稿日期：2019−04−09. 基金项目：国家自然科学基金 — 河南联合基金重点项目 （U1604262）. 通信作者：马岭. E-mail：ielma@zzu.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·561· 现有LCD的机器视觉缺陷检测方法主要采 难度。因此，本文利用卷积神经网络的特征自学 用传统的图像处理与分析算法。例如，Lu等基 习能力，研究LCD产品表面缺陷的在线高精度检 于支持向量数据描述设计的高速在线薄膜晶体 测方法。 管LCD缺陷检测系统，检测正确率可达95%，对 单幅LCD图像的检测时间为7.8s,但缺少缺陷分 类功能。Cen等采用低秩矩阵重构消除LCD图 像纹理背景的影响，提出了适合于低分辨率LCD 图像的缺陷检测方法。张腾达等提出的利用二 维DFT的分解和重构提高LCD表面缺陷检测精 (a)单点缺陷图像 (b)多点缺陷图像 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 图1凹凸点缺陷 Fig.1 Dimple defects 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的LCD表面缺陷检测算法，通过 设计自适应阈值法提取候选缺陷，根据blob形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习9作为机器学习的代表型方 (a)单划痕缺陷图像 (b)多划痕缺陷图像 法，在目标检测与识别领域呈现出突出潜力。多 图2划痕缺陷 项国际重大评测表明，深度学习的目标检测与分 Fig.2 Scratch defects 类能力均已超过传统机器学习方法。其原因 自AlexNet!1于2012年问世，卷积神经网络 在于深度学习采用深层非线性网络结构、端到端 (CNN)模型向更深层的方向快速发展。从16层 的学习，可以提取输入数据的本质特征，从而获 的VGG16的广泛使用到22层GoogleNet!s1在大 取较好的目标检测与分类效果。 样本图像数据集ImageNet.上获得了更好的分类 鉴于此，为了满足高分辨率LCD产品质量在 效果，再到50层ResNet50I的进一步性能改善， 线高速检测需求，本文基于深度学习理论，设计 均证明了CNN在图像分类方面具有突出优势。 基于小样本学习的LCD表面缺陷检测模型。其 但是受大数据驱动的深度学习模型的表现能 特征在于：通过设计自适应浅层特征提取层，并 力随着样本数量的增加而增长。而在实际工业生 引入稀疏卷积结构，多维度、多尺度地提取深层 产线上，随着制造工艺的不断提高，LCD制造过 特征，使用DCGAN生成网络扩增数据集，再结合 程中产生的缺陷越来越少，从而难以获取大量缺 迁移学习进行强化训练提高模型泛化能力和检测 陷样本，因此开展基于小样本学习的LCD表面缺 精度。本文模型的有效性通过大量的仿真实验得 陷检测算法研究显得尤为重要。 到验证。 2LCD缺陷检测模型 1LCD表面缺陷图像分析 针对实际生产环境获取到的缺陷样本量较少 本文待检测LCD表面缺陷图像分别如图1 问题，本文构建一种适合小样本学习的轻量型卷 和图2所示，其分别表示凹凸(dimple)点缺陷样 积神经网络模型。算法的整体框架如图3所示， 本和划痕(scratch)缺陷样本图像示例。如图I所 包括分块预处理、模型设计、模型训练和模型测试。 示Dimple是一些随机分布在不同位置的小面积 2.1分块预处理 点坑，形状各异，极易与噪声混淆造成误检。图2 由于从实际工业生产线上获取的LCD图像尺 所示的Scratch缺陷是长短不一的细长型刮痕，因 寸为5000×7000的高分辩率图像，直接输入设计 刮痕时断时续，常会出现漏检或过检。特别是， 的CNN模型学习，对硬件设备要求过高。为此， 在实际生产线上不仅存在因光照不均而导致待检 本文首先对原图像进行分块预处理，将原图像按 目标与图像背景之间对比度过低问题，而且待检 定长分割为256×256大小的图像子块，并记录分 目标缺陷嵌入在背景纹理中，从而更增加了检测 割后图像子块的左上角位置，且按标签分类保存
现有 LCD 的机器视觉缺陷检测方法主要采 用传统的图像处理与分析算法。例如，Liu 等 [2] 基 于支持向量数据描述设计的高速在线薄膜晶体 管 LCD 缺陷检测系统，检测正确率可达 95%,对 单幅 LCD 图像的检测时间为 7.8 s，但缺少缺陷分 类功能。Cen 等 [3] 采用低秩矩阵重构消除 LCD 图 像纹理背景的影响，提出了适合于低分辨率 LCD 图像的缺陷检测方法。张腾达等[4] 提出的利用二 维 DFT 的分解和重构提高 LCD 表面缺陷检测精 度的算法，然而因消除背景纹理的分解重构过程 计算复杂度较高，无法满足高分辨率缺陷图像的 实时在线检测。本文在前期研究中提出一种基于 自适应阈值法的 LCD 表面缺陷检测算法[5] ，通过 设计自适应阈值法[6] 提取候选缺陷，根据 blob 形 状分析进行缺陷分类，使检测性能达到技术指标 要求，并已应用到实际工业自动化生产线上，但 阈值等参数设置直接影响算法性能，因此有必要 研究新一代基于机器视觉的缺陷检测方法。 近年，深度学习[7-9] 作为机器学习的代表型方 法，在目标检测与识别领域呈现出突出潜力。多 项国际重大评测表明，深度学习的目标检测与分 类能力均已超过传统机器学习方法[10-12]。其原因 在于深度学习采用深层非线性网络结构、端到端 的学习，可以提取输入数据的本质特征[13] ，从而获 取较好的目标检测与分类效果。 鉴于此，为了满足高分辨率 LCD 产品质量在 线高速检测需求，本文基于深度学习理论，设计 基于小样本学习的 LCD 表面缺陷检测模型。其 特征在于：通过设计自适应浅层特征提取层，并 引入稀疏卷积结构，多维度、多尺度地提取深层 特征，使用 DCGAN 生成网络扩增数据集，再结合 迁移学习进行强化训练提高模型泛化能力和检测 精度。本文模型的有效性通过大量的仿真实验得 到验证。 1 LCD 表面缺陷图像分析 本文待检测 LCD 表面缺陷图像分别如图 1 和图 2 所示，其分别表示凹凸 (dimple) 点缺陷样 本和划痕 (scratch) 缺陷样本图像示例。如图 1 所 示 Dimple 是一些随机分布在不同位置的小面积 点坑，形状各异，极易与噪声混淆造成误检。图 2 所示的 Scratch 缺陷是长短不一的细长型刮痕，因 刮痕时断时续，常会出现漏检或过检。特别是， 在实际生产线上不仅存在因光照不均而导致待检 目标与图像背景之间对比度过低问题，而且待检 目标缺陷嵌入在背景纹理中，从而更增加了检测 难度。因此，本文利用卷积神经网络的特征自学 习能力，研究 LCD 产品表面缺陷的在线高精度检 测方法。 (a) 单点缺陷图像 (b) 多点缺陷图像 图 1 凹凸点缺陷 Fig. 1 Dimple defects (a) 单划痕缺陷图像 (b) 多划痕缺陷图像 图 2 划痕缺陷 Fig. 2 Scratch defects 自 AlexNet[14] 于 2012 年问世，卷积神经网络 (CNN) 模型向更深层的方向快速发展。从 16 层 的 VGG16 的广泛使用到 22 层 GoogleNet[15] 在大 样本图像数据集 ImageNet 上获得了更好的分类 效果，再到 50 层 ResNet50[16] 的进一步性能改善， 均证明了 CNN 在图像分类方面具有突出优势。 但是受大数据驱动的深度学习模型的表现能 力随着样本数量的增加而增长。而在实际工业生 产线上，随着制造工艺的不断提高，LCD 制造过 程中产生的缺陷越来越少，从而难以获取大量缺 陷样本，因此开展基于小样本学习的 LCD 表面缺 陷检测算法研究显得尤为重要。 2 LCD 缺陷检测模型 针对实际生产环境获取到的缺陷样本量较少 问题，本文构建一种适合小样本学习的轻量型卷 积神经网络模型。算法的整体框架如图 3 所示， 包括分块预处理、模型设计、模型训练和模型测试。 2.1 分块预处理 5 000×7 000 由于从实际工业生产线上获取的 LCD 图像尺 寸为 的高分辩率图像，直接输入设计 的 CNN 模型学习，对硬件设备要求过高。为此， 本文首先对原图像进行分块预处理，将原图像按 定长分割为 256×256 大小的图像子块，并记录分 割后图像子块的左上角位置，且按标签分类保存。 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·561·
·562· 智能系统学报 第15卷 分块预处理 模型设计 模型训练 模型测试 原始数据 训练分类器 数据增强 微调 第3次训练CNN Window256×256 DCGAN DCGAN生成数据 第2次调练CNN (,) (2 。:预训练 预训练模型 迁移学习 第1次训练CNN :训练 今：测试 图3本文缺陷检测算法框图 Fig.3 Overview of the proposed algorithm for defect detection 2.2模型设计 C2、C3、4个池化层(PP)、分别用InceptionV1.1、 针对LCD缺陷图像特点，本文设计如图4所 InceptionV1.2表示两个稀疏卷积结构以及Soft- 示的卷积神经网络模型。其包括3个卷积层(C、 max层。 224×224×3 112×112×64 56×56×64 Dropout 56×56×12828×28×0828×256 1st☐ 14×14×25614×14×5127×7×5127×7×1024 2nd →0 Image →1 input P P 1023th →2 InceptionV1.1 InceptionV1.2 GAP 1024th 浅层特征提取物 深层特征提取物 分类层 图4设计的网络结构 Fig.4 Designed network architecture 卷积层被用于提取图像中的缺陷特征，紧跟 输入层 在卷积层之后的池化层被用于特征降维。通过池 化层，不仅可以减少卷积层输出节点个数，而且 可以去粗存精优化卷积层提取的缺陷特征。本文 1×1 1×1 3×3 第1卷积层的输入是分块预处理后获取的图像子 卷积 卷积 最大池化 块。其卷积与池化后的输出结果被送入后续卷积 1×1 卷积 层中，卷积核和池化方法的选取是提取缺陷特征 3×3 5×5 1×1 的关键性因素。为了同时获取较大的缺陷特征和 卷积 卷积 卷积 局部细微特征，本文第1~第3卷积层分别选取 7×7、5×5、3×3的卷积核被用于提取缺陷的多尺 度浅层特征。由于连续增加CNN网络的卷积层 输出层 数易于出现梯度消失现象，本文采取的对策是在 3组卷积和池化操作后，引入如图5所示的稀疏 图5稀疏卷积结构 卷积结构用于提取缺陷深层特征。稀疏卷积结构 Fig.5 Sparse convolution structure 基于稀疏矩阵分解原理门，可以将提取的浅层特 在设计模型的最后一层利用Softmax分类器 征进一步进行多维度分解，然后分别采用1×1卷 输出分类结果。 积、最大池化降维，3×3,5×5卷积的多组特征提取 本文模型使用交叉熵损失函数计算网络偏 与降维方法，以获得多尺度、多维度深层特征。 差，综合利用多次1×1卷积减少参数量和池化操
分块预处理 数据增强 DCGAN DCGAN 生成数据 预训练模型 模型设计 原始数据 微调 迁移学习 模型训练 训练分类器 第3次训练 CNN 第2次训练 CNN 第1次训练 CNN 模型测试 Window 256×256 (x1 , y 1 ) (x 2 , y 2 ) (x 3 , y 3 ) :预训练 :训练 :测试 图 3 本文缺陷检测算法框图 Fig. 3 Overview of the proposed algorithm for defect detection 2.2 模型设计 针对 LCD 缺陷图像特点，本文设计如图 4 所 示的卷积神经网络模型。其包括 3 个卷积层 (C1、 C2、C3 )、4 个池化层 (P1~P4 )、分别用 InceptionV1.1、 InceptionV1.2 表示两个稀疏卷积结构以及 Softmax 层。 224×224×3 112×112×64 56×56×64 56×56×12828×28×128 28×28×256 14×14×25614×14×5127×7×5127×7×1 024 Image input C1 C2 C3 P1 P2 P3 分类层 Softmax Dropout 1st 2nd 1 023th GAP 1 024th 0 1 2 InceptionV1.1 InceptionV1.2 浅层特征提取物 深层特征提取物 P4 图 4 设计的网络结构 Fig. 4 Designed network architecture 7×7 5×5 3×3 卷积层被用于提取图像中的缺陷特征，紧跟 在卷积层之后的池化层被用于特征降维。通过池 化层，不仅可以减少卷积层输出节点个数，而且 可以去粗存精优化卷积层提取的缺陷特征。本文 第 1 卷积层的输入是分块预处理后获取的图像子 块。其卷积与池化后的输出结果被送入后续卷积 层中，卷积核和池化方法的选取是提取缺陷特征 的关键性因素。为了同时获取较大的缺陷特征和 局部细微特征，本文第 1~第 3 卷积层分别选取 、 、 的卷积核被用于提取缺陷的多尺 度浅层特征。由于连续增加 CNN 网络的卷积层 数易于出现梯度消失现象，本文采取的对策是在 3 组卷积和池化操作后，引入如图 5 所示的稀疏 卷积结构用于提取缺陷深层特征。稀疏卷积结构 基于稀疏矩阵分解原理[17] ，可以将提取的浅层特 征进一步进行多维度分解，然后分别采用 1×1 卷 积、最大池化降维，3×3，5×5 卷积的多组特征提取 与降维方法，以获得多尺度、多维度深层特征。 输出层 输入层 1×1 卷积 3×3 最大池化 1×1 卷积 1×1 卷积 1×1 卷积 5×5 卷积 3×3 卷积 图 5 稀疏卷积结构 Fig. 5 Sparse convolution structure 在设计模型的最后一层利用 Softmax 分类器 输出分类结果。 1×1 本文模型使用交叉熵损失函数计算网络偏 差，综合利用多次 卷积减少参数量和池化操 ·562· 智 能 系 统 学 报 第 15 卷
第3期 马岭，等：基于小样本学习的LCD产品缺陷自动检测方法 ·563· 作，进一步进行特征融合，并引入冲量单元加速 式(3)~（⑤）表示反向传播的权重参数更新计 网络收敛，从而可以有效降低模型计算复杂度， 算方法。W沿负梯度方向下降，基于选定的学习 有利于达成在线实时高速检测的研究目标。 速率α和冲量单元8，利用式(4)计算更新速度 2.3模型训练 v,然后使用式（⑤）更新权重。 CNN模型训练过程包括由式(1)所示的网络 W←W,-aVwL(W;x,yo） (3) 前向传播和基于式(2)定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， v←Ev-aVw,L(W:xro,yo） (4) 而反向传播通过逐渐更新优化卷积神经网络中的 W←W+v (5) 权重参数取值使CNN模型的损失函数趋于最小值。 本文模型的训练参数学习速率α和冲量单元 c=-Ec%+) (1) ε的选择通过大量的仿真实验确定。首先设置冲 量学习速率α和冲量单元￡的范围分别为(0,0.5] exp(wxo） 和(0,1)，然后选取多组α和ε值进行实验。 图6展示多组m取s值的实验结果，图6(a)、 (2) (b)、(c)和(d)分别表示学习速率a取0.001、0.01、 0.1、0.5固定值时，冲量单元8分别取值为0.1、 0.5、0.9的网络收敛速度示意图。 30 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 0 01 01 6 - -20 2 6 -6 -4 -2 0 4 6 -6 -2 起始搜索点 起始搜索点 起始搜索点 (a)a=0.001随冲量单元逐渐增大时的网络收敛示意图 0 30 盗 20 -=0.1 20 =0.5 20 =0.9 10 0/ 0 一6 -4 -202 6 -6 -4 -202 46 6 -4 -20 4 6 起始搜索点 起始搜索点 起始搜索点 (b)=0.01随冲量单元逐渐增大时的网络收敛示意图 30 爵0 气 20 —8=0.1 20 —8=0.5 20 -=0.9 0 10 0 0 0 0 -6 -2 0 2 6 6 -4 -20 2 46 -6 -2 0 2 起始搜索点 起始搜索点 起始搜索点 (c)a=0.1随冲量单元逐渐增大时的网络收敛示意图 0 30 30 20 =0.1 20 =0.5 20 =0.9 10 10 10 0 -6 -2 0 2 6 6 -4 -2 0 2 6 -6 -2 0 2 4 6 起始搜索点 起始搜索点 起始搜索点 (da=0.5随冲量单元逐渐增大时的网络收敛示意图 图6学习速率和冲量单元的确定 Fig.6 Determination of learning rate and momentum unit 从图6所示图形可以观察到，当学习速率α加快了网络收敛速度；而当学习速率取较大值0.5 取0.001的较小值时，随着冲量单元ε值的递增， 时，随着冲量单元ε值的递增，可以减小震荡，使
作，进一步进行特征融合，并引入冲量单元加速 网络收敛，从而可以有效降低模型计算复杂度[18] ， 有利于达成在线实时高速检测的研究目标。 2.3 模型训练 CNN 模型训练过程包括由式 (1) 所示的网络 前向传播和基于式 (2) 定义的损失函数进行反向传 播两部分。前向传播使用激活函数获取特征向量， 而反向传播通过逐渐更新优化卷积神经网络中的 权重参数取值使 CNN 模型的损失函数趋于最小值。 C l j = f ( z l ) = f (∑ i∈Mj C l−1 j k l i j +b l j ) (1) Li = 1 m ∑m i=1 ∑n j=1 1 { y i = j } log exp( w T j x (i) ) ∑n l=1 exp( w T j x (j) ) + λ 2 ∑n j=1 W2 j (2) Wj α ε v 式 (3)～(5) 表示反向传播的权重参数更新计 算方法。 沿负梯度方向下降，基于选定的学习 速率 和冲量单元 ，利用式 (4) 计算更新速度 ，然后使用式 (5) 更新权重。 Wj ← Wj −α∇WjL ( W; x (i) , y (i) ) (3) v ← εv−α∇WjL ( W; x (i) , y (i) ) (4) Wj ← Wj +v (5) α ε α ε (0,0.5] (0,1) α ε 本文模型的训练参数学习速率 和冲量单元 的选择通过大量的仿真实验确定。首先设置冲 量学习速率 和冲量单元 的范围分别为 和 ，然后选取多组 和 值进行实验。 α ε α 0.001 0.01 0.1 0.5 ε 图 6 展示多组 取 值的实验结果，图 6(a)、 (b)、(c) 和 (d) 分别表示学习速率 取 、 、 、 固定值时，冲量单元 分别取值为 0.1、 0.5、0.9 的网络收敛速度示意图。 α 0.001 ε 从图 6 所示图形可以观察到，当学习速率 取 的较小值时，随着冲量单元 值的递增， 0.5 ε 加快了网络收敛速度；而当学习速率取较大值 时，随着冲量单元 值的递增，可以减小震荡，使 (d) α=0.5 随冲量单元逐渐增大时的网络收敛示意图 (a) α=0.001 随冲量单元逐渐增大时的网络收敛示意图 (b) α=0.01 随冲量单元逐渐增大时的网络收敛示意图 (c) α=0.1 随冲量单元逐渐增大时的网络收敛示意图 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ϵ=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.1 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.5 20 30 10 0 目标函数的一阶导数 −6 −2 −4 0 2 4 6 ε=0.9 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 起始搜索点 图 6 学习速率和冲量单元的确定 Fig. 6 Determination of learning rate and momentum unit 第 3 期 马岭，等：基于小样本学习的 LCD 产品缺陷自动检测方法 ·563·
·564· 智能系统学报 第15卷 网络收敛趋于稳定。因此，为了使设计网络模型 数据集。由图8可以看到，生成图像和原缺陷样 快速稳定地收敛，经过大量的仿真实验，本文 本相似度较高。将新生成数据输入经迁移学习训 的学习速率a和冲量单元8分别设定为0.001 练过的本文模型，进行二次学习，以获取更好的 和0.9。 训练效果。 本文模型的训练包括利用迁移学习进行初始 训练、DCGAN生成样本的二次训练和基于更新 样本集的继续学习3个关键环节。 2.3.1基于迁移学习的模型训练 鉴于缺陷样本量不足，会导致CNN模型出现 过拟合问题，以及前期我们研究的手机保护屏缺 (a)输入凹凸点缺陷样本 陷与本文研究的LCD表面缺陷极为相似，故采用 迁移学习方法解决该问题。 本文基于前期设计并用7632幅的手机保护 屏图像训练好的手机保护屏缺陷检测模型，利 用迁移学习对本文模型进行训练。如图7所示， 图中源数据为手机保护屏图像，目标数据为待 (b)输入划痕缺陷样本 检LCD图像。由图7可知，手机保护屏缺陷与 本文待检目标在特征空间上较为相似，因此将 手机保护屏缺陷检测模型作为预训练模型，通 过迁移网络权重参数而有效提升本文模型的泛 化能力。 (©)生成凹凸点缺陷样本 知识 源数据 系统学习 (d)生成划痕缺陷样本 目标数据 图8 DCGAN生成的样本图像 Fig.8 Generated images by DCGAN 图7迁移学习 2.3.3基于更新样本集的继续学习 Fig.7 Transfer learning 工业生产过程中随时会产生新的缺陷样本和 2.3.2基于DCGAN的生成样本训练 类型，因此，本文提出如图9所示的继续学习方 针对从实际生产环境中可采集的缺陷样本较 法，通过锁定浅层特征提取层，将不断更新的样 少问题，本文利用DCGANU19(deep convolutional 本数据直接输入深层特征提取层进一步强化训练 GAN)网络，根据已有的缺陷样本生成新的样本 模型，并更新分类器，以实现小样本下LCD缺陷 数据。 的高精度检测。 DCGAN是在生成式对抗网络(generative ad- versarial network,GANs)2o基础上，用CNN代替 分类 GAN中的多层感知机，并使用全局池化层代替全 连接层等改进后的生成模型，其生成器通过输入 源域 浅层特征提取网路 深特征提取网蜂 随机向量并利用反卷积生成图像，判别器利用 CNN的分类能力对真实图像和生成图像进行判 新数据训练深层特征提取网络 别和反馈，从而获得高质量样本数据。 目标域 将图8(a)、(b)所示的小批量LCD缺陷图像输 图9继续学习 入DCGAN网络模型，生成如图8(c)、(d)所示的 Fig.9 Continue learning
α ε 0.001 0.9 网络收敛趋于稳定。因此，为了使设计网络模型 快速稳定地收敛，经过大量的仿真实验，本文 的学习速率 和冲量单元 分别设定为 和 。 本文模型的训练包括利用迁移学习进行初始 训练、DCGAN 生成样本的二次训练和基于更新 样本集的继续学习 3 个关键环节。 2.3.1 基于迁移学习的模型训练 鉴于缺陷样本量不足，会导致 CNN 模型出现 过拟合问题，以及前期我们研究的手机保护屏缺 陷与本文研究的 LCD 表面缺陷极为相似，故采用 迁移学习方法解决该问题。 本文基于前期设计并用 7 632 幅的手机保护 屏图像训练好的手机保护屏缺陷检测模型，利 用迁移学习对本文模型进行训练。如图 7 所示， 图中源数据为手机保护屏图像，目标数据为待 检 LCD 图像。由图 7 可知，手机保护屏缺陷与 本文待检目标在特征空间上较为相似，因此将 手机保护屏缺陷检测模型作为预训练模型，通 过迁移网络权重参数而有效提升本文模型的泛 化能力。 知识 系统学习 源数据 目标数据 图 7 迁移学习 Fig. 7 Transfer learning 2.3.2 基于 DCGAN 的生成样本训练 针对从实际生产环境中可采集的缺陷样本较 少问题，本文利用 DCGAN[19] (deep convolutional GAN) 网络，根据已有的缺陷样本生成新的样本 数据。 DCGAN 是在生成式对抗网络 (generative adversarial network，GANs)[20] 基础上，用 CNN 代替 GAN 中的多层感知机，并使用全局池化层代替全 连接层等改进后的生成模型，其生成器通过输入 随机向量并利用反卷积生成图像，判别器利用 CNN 的分类能力对真实图像和生成图像进行判 别和反馈，从而获得高质量样本数据。 将图 8(a)、(b) 所示的小批量 LCD 缺陷图像输 入 DCGAN 网络模型，生成如图 8(c)、(d) 所示的 数据集。由图 8 可以看到，生成图像和原缺陷样 本相似度较高。将新生成数据输入经迁移学习训 练过的本文模型，进行二次学习，以获取更好的 训练效果。 (a) 输入凹凸点缺陷样本 (c) 生成凹凸点缺陷样本 (b) 输入划痕缺陷样本 (d) 生成划痕缺陷样本 图 8 DCGAN 生成的样本图像 Fig. 8 Generated images by DCGAN 2.3.3 基于更新样本集的继续学习 工业生产过程中随时会产生新的缺陷样本和 类型，因此，本文提出如图 9 所示的继续学习方 法，通过锁定浅层特征提取层，将不断更新的样 本数据直接输入深层特征提取层进一步强化训练 模型，并更新分类器，以实现小样本下 LCD 缺陷 的高精度检测。 Inception 目标域 新数据训练深层特征提取网络 源域 C1 C2 C3 浅层特征提取网络 深层特征提取网络Inception 分类 图 9 继续学习 Fig. 9 Continue learning ·564· 智 能 系 统 学 报 第 15 卷