第17卷第3期 智能系统学报 Vol.17 No.3 2022年5月 CAAI Transactions on Intelligent Systems May 2022 D0:10.11992/tis.202102003 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.tp.20220324.1536.004html 采用编码输入的生成对抗网络故障检测方法及应用 吴晓东，熊伟丽 (江南大学轻工过程先进控制教育部重，点实验室，江苏无锡214122) 摘要：针对传统基于生成对抗网络的故障检测方法中，生成器输入使用随机噪声，不包含训练集中有效信息 造成模型检测效果不够理想的问题，提出一种采用编码输入的生成对抗网络故障检测策略。通过引入自编码 器，基于最小化重构误差构建隐变量空间，将降维后的隐变量信息作为生成器输入以提升生成对抗网络的训练 效果：进一步考虑故障检测方法中基于生成器的统计量计算成本高和对离群点敏感的问题，计算待测样本经编 码后的隐变量到训练集隐变量空间中心点的曼哈顿距离，并作为新统计量进行故障检测。将所提故障检测方 法用于田纳西伊斯曼过程及实际的磨煤机过程，本文方法较传统生成对抗网络故障检测在田纳西伊斯曼过程 上报警率提升了13%，在磨煤机过程上各统计量报警率均得到了显著提升且本文所提统计量将传统方法中针 对生成器的统计量大大降低了检测用时，从而验证了方法的有效性和性能。 关键词：生成对抗网络；自编码器：隐变量；核密度估计；降维；故障检测：田纳西伊斯曼过程；磨煤机过程 中图分类号：TP277文献标志码：A文章编号：1673-4785(2022)03-0496-10 中文引用格式：吴晓东，熊伟丽.采用编码输入的生成对抗网络故障检测方法及应用.智能系统学报，2022,17(3)： 496-505. 英文引用格式：VU Xiaodong,XIONG Weili.Fault detection method and its application using GAN with an encoded inputJ CAAI transactions on intelligent systems,2022,17(3):496-505. Fault detection method and its application using GAN with an encoded input WU Xiaodong,XIONG Weili (Key Laboratory of Advanced Process Control for Light Industry (Ministry of Education),Jiangnan University,Wuxi 214122,China) Abstract:In a traditional fault detection method based on a generative adversarial network,random noise is used as the generator input,which does not contain the effective information of training sets and causes unsatisfactory fault detec- tion by the model.This paper proposes a generative adversarial network fault detection strategy using an encoded input. By introducing an autoencoder based on minimizing the reconstruction error,a latent variable space is constructed.The latent variable information after dimensionality reduction is used as the generator input to improve the training effect of the generated confrontation network.Furthermore,a generator-based statistic has drawbacks such as high computational cost and sensitivity to outliers.The Manhattan distance is calculated beginning from the encoded hidden variable of the sample to be tested to the center of the hidden variable space of the training set.This distance is then used as a new stat- istic for fault detection.The proposed fault detection method is used in the TE and actual coal pulverization processes. Compared with the traditional GAN fault detection,the alarming rate of the TE process increases by 13%.The alarming rate of all statistics in the coal pulverization process also improves considerably.The proposed statistics greatly reduce the detection time for generators in traditional methods,which validates their effectiveness and performance. Keywords:generative adversarial network;autoencoder;latent variable;kernel density estimation;dimensionality re- duction;fault detection;TE process;coal pulverization process 迅速准确地检出故障工况并进行故障隔离对 提升，在故障检测中建立过程机理模型变得更加 现代工业生产过程的安全性及产品质量具有重要 困难且不易求取，基于简化后模型的检测效果也 意义山。随着生产工艺复杂程度及自动化水平的 并不理想。近年来，基于数据驱动的故障检测方 法得到了广泛关注和应用，其中常用的有主元 收稿日期：2021-02-03.网络出版日期：2022-03-30. 基金项目：国家自然科学基金项目(61773182)：国家重点研发 分析法(principal component analysis,PCA)、偏最 计划子课题(2018YFC1603705-03):广东省科技专项 资金项目(2020ST010). 小二乘回归(partial least squares,PLS)、基于k近 通信作者：熊伟丽.E-mail:greenpre@l63.com 邻算法的故障检测(fault detection using k-nearest
DOI: 10.11992/tis.202102003 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20220324.1536.004.html 采用编码输入的生成对抗网络故障检测方法及应用 吴晓东，熊伟丽 （江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡 214122） 摘 要：针对传统基于生成对抗网络的故障检测方法中，生成器输入使用随机噪声，不包含训练集中有效信息 造成模型检测效果不够理想的问题，提出一种采用编码输入的生成对抗网络故障检测策略。通过引入自编码 器，基于最小化重构误差构建隐变量空间，将降维后的隐变量信息作为生成器输入以提升生成对抗网络的训练 效果；进一步考虑故障检测方法中基于生成器的统计量计算成本高和对离群点敏感的问题，计算待测样本经编 码后的隐变量到训练集隐变量空间中心点的曼哈顿距离，并作为新统计量进行故障检测。将所提故障检测方 法用于田纳西伊斯曼过程及实际的磨煤机过程，本文方法较传统生成对抗网络故障检测在田纳西伊斯曼过程 上报警率提升了 13%，在磨煤机过程上各统计量报警率均得到了显著提升且本文所提统计量将传统方法中针 对生成器的统计量大大降低了检测用时，从而验证了方法的有效性和性能。 关键词：生成对抗网络；自编码器；隐变量；核密度估计；降维；故障检测；田纳西伊斯曼过程；磨煤机过程 中图分类号：TP277 文献标志码：A 文章编号：1673−4785(2022)03−0496−10 中文引用格式：吴晓东, 熊伟丽. 采用编码输入的生成对抗网络故障检测方法及应用 [J]. 智能系统学报, 2022, 17(3): 496–505. 英文引用格式：WU Xiaodong, XIONG Weili. Fault detection method and its application using GAN with an encoded input[J]. CAAI transactions on intelligent systems, 2022, 17(3): 496–505. Fault detection method and its application using GAN with an encoded input WU Xiaodong，XIONG Weili (Key Laboratory of Advanced Process Control for Light Industry (Ministry of Education), Jiangnan University, Wuxi 214122, China) Abstract: In a traditional fault detection method based on a generative adversarial network, random noise is used as the generator input, which does not contain the effective information of training sets and causes unsatisfactory fault detection by the model. This paper proposes a generative adversarial network fault detection strategy using an encoded input. By introducing an autoencoder based on minimizing the reconstruction error, a latent variable space is constructed. The latent variable information after dimensionality reduction is used as the generator input to improve the training effect of the generated confrontation network. Furthermore, a generator-based statistic has drawbacks such as high computational cost and sensitivity to outliers. The Manhattan distance is calculated beginning from the encoded hidden variable of the sample to be tested to the center of the hidden variable space of the training set. This distance is then used as a new statistic for fault detection. The proposed fault detection method is used in the TE and actual coal pulverization processes. Compared with the traditional GAN fault detection, the alarming rate of the TE process increases by 13%. The alarming rate of all statistics in the coal pulverization process also improves considerably. The proposed statistics greatly reduce the detection time for generators in traditional methods, which validates their effectiveness and performance. Keywords: generative adversarial network; autoencoder; latent variable; kernel density estimation; dimensionality reduction; fault detection; TE process; coal pulverization process 迅速准确地检出故障工况并进行故障隔离对 现代工业生产过程的安全性及产品质量具有重要 意义[1]。随着生产工艺复杂程度及自动化水平的 提升，在故障检测中建立过程机理模型变得更加 困难且不易求取，基于简化后模型的检测效果也 并不理想。近年来，基于数据驱动的故障检测方 法得到了广泛关注和应用[2] ，其中常用的有主元 分析法 (principal component analysis, PCA)[3] 、偏最 小二乘回归 (partial least squares, PLS)[4] 、基于 k 近 邻算法的故障检测 (fault detection using k-nearest 收稿日期：2021−02−03. 网络出版日期：2022−03−30. 基金项目：国家自然科学基金项目（61773182）；国家重点研发 计划子课题（2018YFC1603705-03）；广东省科技专项 资金项目（2020ST010）. 通信作者：熊伟丽. E-mail：greenpre@163.com. 第 17 卷第 3 期 智 能 系 统 学 报 Vol.17 No.3 2022 年 5 月 CAAI Transactions on Intelligent Systems May 2022
·497· 吴晓东，等：采用编码输入的生成对抗网络故障检测方法及应用 第3期 neighborhood,.FD-KNN)等。 及发生原因未知的背景。文献[19]利用风电机组 基于数据的故障检测方法中，建模数据对于 数据训练GAN,通过判别器输出概率判断机组运 故障检测的效果起着决定性作用。传统机器学习 行状态是否健康。但基于GAN的故障检测方法 方法中的浅层模型往往无法满足过程大数据的解 采用经典的生成对抗网络模型，不可避免地存在 析需求，因此学者们提出了不同的深层模型以解 着训练困难及模式崩溃的问题。为此许多学者从 决实际复杂问题9。其中，生成对抗网络l(gen- 生成对抗网络结构及寻找最佳GAN模型的角度 erative adversarial network,.GAN)由于其特殊的训 进行了改进。文献20]引人BiGAN模型，在保证 练思想及生成能力受到了研究人员的广泛关注， 检测精度的同时大大减少了程序耗时。文献21] 已被应用于图像、视频、文本处理等领域。文献 构建了一个基于自编码器的性能指标来衡量生成 [11]提出一种新的对抗训练方法并证明了其在指 模型的生成能力，选取最优的生成模型作为最终 定数据集上的准确性，提升了卷积语义分割网络 的分类器。但上述方法中生成器均采用随机噪声 的训练效果。文献[12]提出一种感知生成对抗网 作为输入，生成器得到的有效信息少，生成样本 络，减少了小对象与大对象之间的表示差异，从 不逼真，以致判别器性能在对抗过程中提升有 而有效改善了低分辨率与高噪声带来的小对象检 限，故障检出率不高。 测困难问题。通过训练深度卷积生成对抗网络， 综上所述，为进一步提升基于GAN的故障检 文献[13]有效地提取出文本信息特征从而生成逼 测的性能与效果，结合自编码器提出一种基于改 真的图像。利用一种基于多尺度密集注意力的生 进GAN的故障检测方法(fault detection using 成对抗网络框架，文献[14]解决了现有方法无法 GAN with encoded input,.EIGAN)。首先，在训练数 处理复杂运动及远距离依赖的问题。近几年GAN 据集上通过最小化重构误差，得到自编码器模型， 研究和应用的不断扩展，逐渐应用到了复杂工业 并将训练集经自编码器降维后的隐变量作为生成 过程监控领域。 器输人，进行生成对抗网络的训练；然后，分别根 文献[15]利用GAN生成虚假故障样本，实现 据判别器及自编码器提取出的隐变量空间对正常 训练集中正常与异常样本的平衡，再由深度神经 工况样本计算统计量，并得出控制限；最后，计算 网络进行分类从而实现故障检测。文献[16采用 待测样本的统计量，结合控制图进行故障检测。 深层卷积GAN生成旋转轴承的二维图像信息以 将本文所提方法用于TE过程及火力发电厂磨煤 提升训练集样本平衡性，采用卷积神经网络区分 机的故障检测，获得了较好的检测结果，从而验 样本类别。上述方法可以看作GAN在工业过程 证了方法的有效性。 中的一种运用，但其实际是通过有监督分类算法 1基于生成模型的故障检测原理 实现样本的分类，对于故障类型多且未知的过程 如TE过程，效果并不理想，本文后续所提故障检 1.1生成对抗网络 测训练集均仅包含正常工况样本。 生成对抗网络是一种基于对抗思想进行训练 经典的故障检测方法，比如PCA通过选取方 的网络结构，通过寻找零和博弈中的纳什平衡确 差贡献率大的主元检测故障，易忽略方差贡献率 定模型中的参数2，其结构如图1所示。生成对 小的变量I”。基于KNN的故障检测方法假设异 抗网络包含1个生成器和1个判别器，两者均为 常样本较正常工况样本在变量上会存在较大偏 深层神经网络。生成器的目标是生成与真实样本 差，计算样本的KNN距离作为统计量进行故障 近似的以致判别器区分不出的“虚假样本”；相 检测。上述两种传统算法在故障检测前都存在着 反，判别器的目标则是区分真实样本和虚假样 先验假设，对故障检测的效果具有一定影响。对 本，将这2种样本实现正确的分类。 此，Wang等u割提出了基于生成对抗网络的异常 生成对抗网络的训练过程为：样本数为b、特 检测方法，并在手写数据集(national institute of 征数为n的小批量真实样本Xbxm与生成器生成的虚 standards and technology,NIST)及田纳西伊斯曼 假样本Gm一并送给判别器；判别器通过计算样 (Tennessee Eastman,TE)过程仿真中验证了方法的 本x的得分D(x)判别真伪，在每一次的训练中，通 有效性。基于GAN的故障检测方法采用正常工 过梯度下降方法对生成器和判别器的模型参数进 况数据训练生成对抗网络，根据网络中的生成器 行更新，以最小化两者各自的代价函数L和Lc,其 及判别器构建统计量进行故障检测，因此不存在 计算过程分别如式(1)和(2)所示： 对故障产生的先验假设，而是通过判别器从真实 LD=E-P[-log(D(x)]+E:-Pa[-log(1-D(G(2)))](1) 样本及虚假样本中提取出的潜隐特征并计算概率 Lc =E.-P.[-log(D(G(2)))] (2) 判断故障是否发生，更贴合检则过程中故障类型 式中：E表示求期望；x~P表示样本x服从真实
neighborhood, FD-KNN)[5] 等。 基于数据的故障检测方法中，建模数据对于 故障检测的效果起着决定性作用。传统机器学习 方法中的浅层模型往往无法满足过程大数据的解 析需求，因此学者们提出了不同的深层模型以解 决实际复杂问题[6-9]。其中，生成对抗网络[10] (generative adversarial network, GAN) 由于其特殊的训 练思想及生成能力受到了研究人员的广泛关注， 已被应用于图像、视频、文本处理等领域。文献 [11] 提出一种新的对抗训练方法并证明了其在指 定数据集上的准确性，提升了卷积语义分割网络 的训练效果。文献 [12] 提出一种感知生成对抗网 络，减少了小对象与大对象之间的表示差异，从 而有效改善了低分辨率与高噪声带来的小对象检 测困难问题。通过训练深度卷积生成对抗网络， 文献 [13] 有效地提取出文本信息特征从而生成逼 真的图像。利用一种基于多尺度密集注意力的生 成对抗网络框架，文献 [14] 解决了现有方法无法 处理复杂运动及远距离依赖的问题。近几年 GAN 研究和应用的不断扩展，逐渐应用到了复杂工业 过程监控领域。 文献 [15] 利用 GAN 生成虚假故障样本，实现 训练集中正常与异常样本的平衡，再由深度神经 网络进行分类从而实现故障检测。文献 [16] 采用 深层卷积 GAN 生成旋转轴承的二维图像信息以 提升训练集样本平衡性，采用卷积神经网络区分 样本类别。上述方法可以看作 GAN 在工业过程 中的一种运用，但其实际是通过有监督分类算法 实现样本的分类，对于故障类型多且未知的过程 如 TE 过程，效果并不理想，本文后续所提故障检 测训练集均仅包含正常工况样本。 经典的故障检测方法，比如 PCA 通过选取方 差贡献率大的主元检测故障，易忽略方差贡献率 小的变量[17]。基于 KNN 的故障检测方法假设异 常样本较正常工况样本在变量上会存在较大偏 差，计算样本的 KNN 距离作为统计量进行故障 检测。上述两种传统算法在故障检测前都存在着 先验假设，对故障检测的效果具有一定影响。对 此，Wang 等 [18] 提出了基于生成对抗网络的异常 检测方法，并在手写数据集 (national institute of standards and technology, NIST) 及田纳西伊斯曼 (Tennessee Eastman, TE) 过程仿真中验证了方法的 有效性。基于 GAN 的故障检测方法采用正常工 况数据训练生成对抗网络，根据网络中的生成器 及判别器构建统计量进行故障检测，因此不存在 对故障产生的先验假设，而是通过判别器从真实 样本及虚假样本中提取出的潜隐特征并计算概率 判断故障是否发生，更贴合检测过程中故障类型 及发生原因未知的背景。文献 [19] 利用风电机组 数据训练 GAN，通过判别器输出概率判断机组运 行状态是否健康。但基于 GAN 的故障检测方法 采用经典的生成对抗网络模型，不可避免地存在 着训练困难及模式崩溃的问题。为此许多学者从 生成对抗网络结构及寻找最佳 GAN 模型的角度 进行了改进。文献 [20] 引入 BiGAN 模型，在保证 检测精度的同时大大减少了程序耗时。文献 [21] 构建了一个基于自编码器的性能指标来衡量生成 模型的生成能力，选取最优的生成模型作为最终 的分类器。但上述方法中生成器均采用随机噪声 作为输入，生成器得到的有效信息少，生成样本 不逼真，以致判别器性能在对抗过程中提升有 限，故障检出率不高。 综上所述，为进一步提升基于 GAN 的故障检 测的性能与效果，结合自编码器提出一种基于改 进 GAN 的故障检测方法 (fault detection using GAN with encoded input, EIGAN)。首先，在训练数 据集上通过最小化重构误差，得到自编码器模型， 并将训练集经自编码器降维后的隐变量作为生成 器输入，进行生成对抗网络的训练；然后，分别根 据判别器及自编码器提取出的隐变量空间对正常 工况样本计算统计量，并得出控制限；最后，计算 待测样本的统计量，结合控制图进行故障检测。 将本文所提方法用于 TE 过程及火力发电厂磨煤 机的故障检测，获得了较好的检测结果，从而验 证了方法的有效性。 1 基于生成模型的故障检测原理 1.1 生成对抗网络 生成对抗网络是一种基于对抗思想进行训练 的网络结构，通过寻找零和博弈中的纳什平衡确 定模型中的参数[22] ，其结构如图 1 所示。生成对 抗网络包含 1 个生成器和 1 个判别器，两者均为 深层神经网络。生成器的目标是生成与真实样本 近似的以致判别器区分不出的“虚假样本”；相 反，判别器的目标则是区分真实样本和虚假样 本，将这 2 种样本实现正确的分类。 b n Xb×n Gb×n x D(x) LD LG 生成对抗网络的训练过程为：样本数为 、特 征数为 的小批量真实样本 与生成器生成的虚 假样本 一并送给判别器；判别器通过计算样 本 的得分 判别真伪，在每一次的训练中，通 过梯度下降方法对生成器和判别器的模型参数进 行更新，以最小化两者各自的代价函数 和 ，其 计算过程分别如式 (1) 和 (2) 所示： LD = Ex∼Pdata [−log(D(x)]+Ez∼P(z)[−log(1− D(G(z)))] (1) LG = Ez∼Platent[−log(D(G(z)))] (2) 式中： E 表示求期望；x ∼ Pdata表示样本x服从真实 ·497· 吴晓东，等：采用编码输入的生成对抗网络故障检测方法及应用 第 3 期
第17卷 智能系统学报 ·498· 样本的数据分布；z~Pam表示变量z服从隐变量 本，D(w)越趋向于1，则判别器认为样本u为真实样 空间的数据分布；G()表示将隐变量z映射到与真 本的概率越大，反之，为虚假样本的概率越大； 实样本维度一致的生成样本空间；D()表示判别 E-P[-log(D(x)川表示输入为真实数据时，判别器 器输出，其值位于0~1；假设样本为某一未知样 输出概率的熵。 最小化 判别器 虚假样本 随机噪声 计算 损失函数 真实样本 生成器 最小化L。 图1生成对抗网络的结构 Fig.1 Architecture of GAN 1.2故障检测原理 同Gcoe类似，故不做赘述。 Wang等u8首先提出了基于GAN的异常点 检测，将训练数据集进行最值归一化后进行网络 2基于改进GAN的故障检测策略 训练，得到模型后，按照式(3)、(4)分别计算出统 2.1改进生成器输入 计量和控制限（本文采用核密度估计方法计算控 生成器的本质为多层感知机，由于网络结构 制限，置信度取95%)；最后如式（⑤）所示，通过比 及每一层中神经元的作用，可以提取出有利于提 较待测样本x的统计量与控制限大小，判断待测 升拟合精度的潜隐特征。与此同时，每一层网络 样本是否为故障样本。 中适当的激活函数也使得模型可以更好地拟合出 Gscore fc(x)=min llx-G(z)l2 (3) 训练集数据分布中的非线性和多模态特征。如 Dscore fo(x)=1-D(x) 图2所示的生成器生成样本：图(a)、(b)、(c)分别 (TG=fKDE ((Gcorelx E Xurain1,0.95) Tp=fKDE((Dscorelx E Xurain1,0.95) (4) 表示某非线性真实样本数据分布情况及不同训练 次数后生成器生成样本的分布情况；图(d)、(e) (Ic(x')=sgn(fc(x')-TG) (5) ()分别表示某多模态真实样本数据分布情况及 Ip(x)=sgn(fp(x)-TD) 不同训练次数后生成器生成样本的分布情况。其 式中：x为待计算统计量的待测样本；minx-G(z 中绿色点表示真实样本数据分布，红色点表示生 表示待测样本x到其在生成样本集中最近邻样本 成样本数据分布，横轴、纵轴表示生成样本的两 的平方欧氏距离；D(x)表示输入为x时判别器的输 个维度。从图2中可以看出，经过一定次数的训 出；fkoE(《Gcoex∈Xrm,0.95)表示对训练集统计量 练后，生成器可以生成与真实样本数据分布近似 利用核密度估计(kernel density estimation,KDE) 的样本。但传统生成对抗网络中生成器采用均值 函数计算控制限，置信度选取0.95；lc(x)表示利用 为0标准差为1的正态分布作为输入，生成器要 Gc统计量对样本x的故障检测函数；sgnO为符号 从这样一个隐变量空间映射到与真实样本相似的 函数；sgn(f(x)-Tc)对样本xr的score统计量与Geoe 空间分布，需要较长的时间成本；同时生成样本 控制限的差求取符号函数，若为1则表示样本故 与真实样本的相似性也较差，对于最终的判别器 障，否则样本正常；Dc控制限及其故障检测函数 效果具有一定影响。 1.0 1.0 1.0 0.5 05 0.5 :理 。训练样本 ·训练样本 生成样本 生成样本 0 0.5 1.0 0.5 1.0 0.5 1.0 特征1 特征1 特征1 (a)训练50000次后（非线性） (b)训练100000次后（非线性） (c)训练200000次后（非线性）
z ∼ Platent z G(z) z D(·) u 样本的数据分布； 表示变量 服从隐变量 空间的数据分布； 表示将隐变量 映射到与真 实样本维度一致的生成样本空间； 表示判别 器输出，其值位于 0~1；假设样本 为某一未知样 D(u) u Ex∼Pdata [−log(D(x))] 本， 越趋向于 1，则判别器认为样本 为真实样 本的概率越大，反之，为虚假样本的概率越大； 表示输入为真实数据时，判别器 输出概率的熵。 … … … … … … … … 随机噪声 生成器 虚假样本 判别器 真实样本 … … … … … 计算 损失函数 最小化 LD 最小化 LG 图 1 生成对抗网络的结构 Fig. 1 Architecture of GAN 1.2 故障检测原理 x ′ Wang 等 [18] 首先提出了基于 GAN 的异常点 检测，将训练数据集进行最值归一化后进行网络 训练，得到模型后，按照式 (3)、(4) 分别计算出统 计量和控制限（本文采用核密度估计方法计算控 制限，置信度取 95%）；最后如式 (5) 所示，通过比 较待测样本 的统计量与控制限大小，判断待测 样本是否为故障样本。 Gscore = fG(x) = min z∼Platent ∥x−G(z)∥ 2 Dscore = fD(x) = 1− D(x) (3) { TG = fKDE ({Gscore|x ∈ Xtrain},0.95) TD = fKDE ({Dscore|x ∈ Xtrain},0.95) (4) { lG(x ′ ) = sgn(fG(x ′ )−TG) lD(x ′ ) = sgn(fD(x ′ )−TD) (5) x min z∼Platent ∥x−G(z)∥ 2 x D(x) x fKDE({Gscore|x ∈ Xtrain},0.95) lG(x ′ ) Gscore x ′ sgn() sgn(fG(x ′ )−TG) x ′ Gscore Gscore Dscore 式中： 为待计算统计量的待测样本； 表示待测样本 到其在生成样本集中最近邻样本 的平方欧氏距离； 表示输入为 时判别器的输 出 ； 表示对训练集统计量 利用核密度估计 (kernel density estimation, KDE) 函数计算控制限，置信度选取 0.95； 表示利用 统计量对样本 的故障检测函数； 为符号 函数； 对样本 的 统计量与 控制限的差求取符号函数，若为 1 则表示样本故 障，否则样本正常； 控制限及其故障检测函数 同 Gscore类似，故不做赘述。 2 基于改进 GAN 的故障检测策略 2.1 改进生成器输入 生成器的本质为多层感知机，由于网络结构 及每一层中神经元的作用，可以提取出有利于提 升拟合精度的潜隐特征。与此同时，每一层网络 中适当的激活函数也使得模型可以更好地拟合出 训练集数据分布中的非线性和多模态特征。如 图 2 所示的生成器生成样本：图 (a)、(b)、(c) 分别 表示某非线性真实样本数据分布情况及不同训练 次数后生成器生成样本的分布情况；图 (d)、(e)、 (f) 分别表示某多模态真实样本数据分布情况及 不同训练次数后生成器生成样本的分布情况。其 中绿色点表示真实样本数据分布，红色点表示生 成样本数据分布，横轴、纵轴表示生成样本的两 个维度。从图 2 中可以看出，经过一定次数的训 练后，生成器可以生成与真实样本数据分布近似 的样本。但传统生成对抗网络中生成器采用均值 为 0 标准差为 1 的正态分布作为输入，生成器要 从这样一个隐变量空间映射到与真实样本相似的 空间分布，需要较长的时间成本；同时生成样本 与真实样本的相似性也较差，对于最终的判别器 效果具有一定影响。 1.0 0.5 0 0.5 1.0 0 特征 2 1.0 0.5 0 特征 2 特征 1 0.5 1.0 特征 1 (a) 训练 50 000 次后 (非线性) (d) 训练 次后 1.0 0.5 0.5 1.0 特征 2 特征 特征 1 特征 特征 特征 (c) 训练 200 000 次后 (非线性) (f) 训练 次后 (b) 训练 100 000 次后 (非线性) 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 特征 特征 (e) 训练 次后 训练样本 生成样本 第 17 卷 智 能 系 统 学 报 ·498·
·499· 吴晓东，等：采用编码输入的生成对抗网络故障检测方法及应用 第3期 1.00 1.0 .0 ·训练样本 。训练样本 生成样本 0.75 *生成样本 05 0.5 0.50 0.25 0.5 1.0 0.5 1.0 0.5 1.0 特征1 特征1 特征1 (d训练50000次后 (e)训练100000次后 (①训练200000次后 图2生成器生成样本 Fig.2 Generated sample from generator 如何给生成器一个包含训练数据集更多信息 1.0 的低维特征是本文改进GAN用于故障检测的一 个动机，PCA作为一种降维方法，虽然能保证提 取出的主成分含有较多的信息，但受制于变量服 0.5 从线性相关及高斯分布的假设，具有一定的局限 ·训练样本 性。本文采用自编码器P1提取低维特征，其网络 x生成样本 8 结构如图3所示。不同于PCA方法：1)自编码器 特殊的网络结构及引入的激活函数使得自编码器 0.5 1.0 特征1 可以同时获取原始信息中线性与非线性特征；2) (a)改进前迭代2万次 由于自编码器解码后的重构输出要与输入尽可能 1.0 地接近，这也保证了编码器提取出的特征能够包 含更多输入数据的信息。 09 编码器 隐变量 解码器 空间 ·训练样本 8 ×生成样本 0.5 1.0 特征1 (b)改进前迭代4万次 1.0 . 0.5 安 第 图3自编码器结构 ·训练样本 Fig.3 Architecture of autoencoder x生成样本 最小化式(6)所示的代价函数得到自编码器 0.5 1.0 网络参数，从而提取出训练集中较大程度表示原 特征1 有数据信息的隐变量，将这组隐变量作为生成器 (c)改进后迭代2万次 的输入，生成样本过程如图4所示，其中绿色样本 点表示真实数据分布，红色样本点表示生成器生 。 成虚假数据分布。对比图4(a)、(c、(b)和(d)可以 0.5 看出，改进生成器输入后，有效提升了生成器的生 ·训练样本 成能力，在相同迭代次数下，改进后的生成器生 ×生成样本 成的样本分布更接近真实数据分布，从而有效地 避免了以随机正态分布作为生成器输入的不足。 0.5 1.0 特征1 L(⑥=IX'-XG (6) (d)改进后迭代4万次 式中：表示自编码器网络参数；X表示自编码器 图4改进前后生成样本分布对比 输入；X表示自编码器对输入X的重构输出；X'-X匠 Fig.4 Comparison of generated sample distribution be- 表示自编码器与其重构输出的平方欧氏距离。 fore and after improvement
特征 特征 特征 特征 (a) 训练 次后 (非线性) (d) 训练 50 000 次后 特征 0 1.0 0.5 特征 2 特征 1.00 0.50 0.75 0.25 0 0.5 1.0 特征 2 特征 1 0.5 1.0 特征 1 (c) 训练 次后 (非线性) (f) 训练 200 000 次后 (b) 训练 次后 (非线性) 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 1.0 0.5 0 0.5 1.0 特征 2 特征 1 (e) 训练 100 000 次后 训练样本 生成样本 图 2 生成器生成样本 Fig. 2 Generated sample from generator 如何给生成器一个包含训练数据集更多信息 的低维特征是本文改进 GAN 用于故障检测的一 个动机，PCA 作为一种降维方法，虽然能保证提 取出的主成分含有较多的信息，但受制于变量服 从线性相关及高斯分布的假设，具有一定的局限 性。本文采用自编码器[23] 提取低维特征，其网络 结构如图 3 所示。不同于 PCA 方法：1）自编码器 特殊的网络结构及引入的激活函数使得自编码器 可以同时获取原始信息中线性与非线性特征；2） 由于自编码器解码后的重构输出要与输入尽可能 地接近，这也保证了编码器提取出的特征能够包 含更多输入数据的信息。 编码器 解码器 隐变量 空间 … … … … … … … … … … … … … 输 入 数 据 重 构 输 出 图 3 自编码器结构 Fig. 3 Architecture of autoencoder 最小化式 (6) 所示的代价函数得到自编码器 网络参数，从而提取出训练集中较大程度表示原 有数据信息的隐变量，将这组隐变量作为生成器 的输入，生成样本过程如图 4 所示，其中绿色样本 点表示真实数据分布，红色样本点表示生成器生 成虚假数据分布。对比图 4(a)、(c)、(b) 和 (d) 可以 看出，改进生成器输入后，有效提升了生成器的生 成能力，在相同迭代次数下，改进后的生成器生 成的样本分布更接近真实数据分布，从而有效地 避免了以随机正态分布作为生成器输入的不足。 L(θ) = ∥X ′ − X∥ 2 2 (6) θ X X ′ X ∥X ′ − X∥ 2 2 式中： 表示自编码器网络参数； 表示自编码器 输入； 表示自编码器对输入 的重构输出； 表示自编码器与其重构输出的平方欧氏距离。 1.0 0.5 0 0 0 0 0.5 1.0 特征 2 特征 1 1.0 0.5 0.5 1.0 特征 2 特征 1 1.0 0.5 0.5 1.0 特征 2 特征 1 1.0 0.5 0.5 1.0 特征 2 特征 1 (a) 改进前迭代 2 万次 (b) 改进前迭代 4 万次 (c) 改进后迭代 2 万次 (d) 改进后迭代 4 万次 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 训练样本 生成样本 图 4 改进前后生成样本分布对比 Fig. 4 Comparison of generated sample distribution before and after improvement ·499· 吴晓东，等：采用编码输入的生成对抗网络故障检测方法及应用 第 3 期
第17卷 智能系统学报 ·500· 2.2基于自编码器的统计量改进 及核密度估计方法确定控制限；在线检测部分对 GAN故障检测中将待测样本与其在生成器 未知的待测样本计算其统计量并与控制限比较， 生成数据分布中最近邻样本间的欧氏距离作为统 判断是否发生故障。 计量，这种统计量计算方法只寻找待测样本与生 离线建模 在线检测 成数据中的最近邻样本，生成数据中的离群点对 正常工况数据 待测样本 于检测结果具有很大的干扰；此外由于涉及欧氏 距离的计算，无论是求统计量过程中计算生成数 归一化处理 归一化处理 据间两两样本的距离，还是待测样本到生成数据 训练自编码器 编码器降维 的欧氏距离，都存在着样本数量多，数据维度高 导致计算量大的问题。针对上述问题，本文提出 编码器降维 计算统计量 种新的统计量如式(7所示： Escore=E(x)-E(Xumain) 训练生成 (7) 对抗网络 是否超过 N 式中：E(x)表示待测样本经自编码器编码后的 控制限 降维输出；E(Xm)表示训练集经自编码器编码后 计算统计量 Y 控制限 样本故障 降维输出的均值；E(x)-E(Xm)儿，为二者的曼哈顿 距离。 图5改进GAN故障检测流程 通过比较待测样本映射到隐变量空间中的向 Fig.5 Fault detection process using improved GAN 量与训练集对应隐变量分布间的距离，即曼哈顿 3 算法的应用仿真 距离。在减少计算量的同时也降低了离群点对统 计量的影响。针对新统计量的控制限计算如式 3.1 TE过程 (8)所示，本文采用核密度估计方法确定控制限， 美国Eastman化学公司依据实际化工反应过 置信度选0.95。 程开发了TE仿真平台，其产生的过程数据作为 Tg =fKDE((Escomelx E Xurain1,0.95) (8) 基准数据被广泛应用于不同故障检测方法中4」 由于编码器输出小于1，故式(8)中采用曼哈 TE工艺过程如图6所示，共包含5个操作单元和8 顿街区距离避免误差被缩小；fkDe(《Escore∈Xran, 个组成部分，含22个过程测量变量、19个成分测 0.95)表示对训练集Eoe统计量以0.95作为置信度 量变量及12个操纵变量，本文选取22个过程变 采用KDE计算控制限。 量及除搅拌速度外的11个操作变量用于建模与 综上所述，本文提出的基于编码器输入的改 检测，详细的变量描述可参见文献[25]。数据分 进GAN故障检测方法，检测流程如图5所示，算 为训练集和测试集两部分，除正常工况数据外，还 法分为离线建模和在线检测两部分。其中，离线 包含21种异常工况。训练集对应正常工况下采 建模部分对正常工况下的训练数据集进行相关计 集到的数据，测试集则为21种异常工况下的数据， 算，得到训练集各样本的统计量，再根据置信度 同时测试集中故障均在第161个样本处被引入。 PIO 8 净化 冷却水 进科A 凝 15 ☒进料D LIC I (PIC 3 冷却水 塔 进料E 分 析 仪 FI TIC 进料 图6TE工艺过程示意图 Fig.6 TE process diagram
2.2 基于自编码器的统计量改进 GAN 故障检测中将待测样本与其在生成器 生成数据分布中最近邻样本间的欧氏距离作为统 计量，这种统计量计算方法只寻找待测样本与生 成数据中的最近邻样本，生成数据中的离群点对 于检测结果具有很大的干扰；此外由于涉及欧氏 距离的计算，无论是求统计量过程中计算生成数 据间两两样本的距离，还是待测样本到生成数据 的欧氏距离，都存在着样本数量多，数据维度高 导致计算量大的问题。针对上述问题，本文提出 一种新的统计量如式 (7) 所示： Escore = E(x)− E¯(Xtrain) 1 (7) E(x) E¯(Xtrain) E(x)− E¯(Xtrain) 1 式中： 表示待测样本经自编码器编码后的 降维输出； 表示训练集经自编码器编码后 降维输出的均值； 为二者的曼哈顿 距离。 通过比较待测样本映射到隐变量空间中的向 量与训练集对应隐变量分布间的距离，即曼哈顿 距离。在减少计算量的同时也降低了离群点对统 计量的影响。针对新统计量的控制限计算如式 (8) 所示，本文采用核密度估计方法确定控制限， 置信度选 0.95。 TE = fKDE({Escore|x ∈ Xtrain},0.95) (8) fKDE({Escore|x ∈ Xtrain}, 0.95) Escore 由于编码器输出小于 1，故式 (8) 中采用曼哈 顿街区距离避免误差被缩小； 表示对训练集 统计量以 0.95 作为置信度 采用 KDE 计算控制限。 综上所述，本文提出的基于编码器输入的改 进 GAN 故障检测方法，检测流程如图 5 所示，算 法分为离线建模和在线检测两部分。其中，离线 建模部分对正常工况下的训练数据集进行相关计 算，得到训练集各样本的统计量，再根据置信度 及核密度估计方法确定控制限；在线检测部分对 未知的待测样本计算其统计量并与控制限比较， 判断是否发生故障。 正常工况数据 离线建模 归一化处理 训练自编码器 编码器降维 待测样本 在线检测 归一化处理 编码器降维 计算统计量 样本故障 训练生成 对抗网络 计算统计量、 控制限 是否超过 控制限 Y N 图 5 改进 GAN 故障检测流程 Fig. 5 Fault detection process using improved GAN 3 算法的应用仿真 3.1 TE 过程 美国 Eastman 化学公司依据实际化工反应过 程开发了 TE 仿真平台，其产生的过程数据作为 基准数据被广泛应用于不同故障检测方法中[24]。 TE 工艺过程如图 6 所示，共包含 5 个操作单元和 8 个组成部分，含 22 个过程测量变量、19 个成分测 量变量及 12 个操纵变量，本文选取 22 个过程变 量及除搅拌速度外的 11 个操作变量用于建模与 检测，详细的变量描述可参见文献 [25]。数据分 为训练集和测试集两部分，除正常工况数据外，还 包含 21 种异常工况。训练集对应正常工况下采 集到的数据，测试集则为 21 种异常工况下的数据， 同时测试集中故障均在第 161 个样本处被引入。 XB PI FIC TI LIC JIC FIC TIC TIC XF FC FI FC TIC PIC LIC 进料 A 进料 D 进料 E 进料 C 反应器 1 2 3 4 6 12 7 9 8 13 5 10 11 净化 蒸汽 产品 冷却水 冷却水 分 析 仪 分 析 仪 LIC PI 汽 提 塔 FIC 气 液 分 离 器 分 析 仪 冷凝器 FIC FIC FIC FIC FI TIC PIC H G 循环 压缩机 图 6 TE 工艺过程示意图 Fig. 6 TE process diagram 第 17 卷 智 能 系 统 学 报 ·500·