基于集成神经网络的剩余寿命预测

工程科学学报 Chinese Journal of Engineering 基于集成神经网络的剩余寿命预测 张永峰陆志强 Remaining useful life prediction based on an integrated neural network ZHANG Yong-feng.LU Zhi-qiang 引用本文： 张永峰.陆志强.基于集成神经网络的剩余寿命预测.工程科学学报，2020,42(10)：1372-1380.doi:10.13374.issn2095- 9389.2019.10.10.005 ZHANG Yong-feng.LU Zhi-giang.Remaining useful life prediction based on an integrated neural network[J].Chinese Journal of Engineering,2020,42(10):1372-1380.doi10.13374j.issn2095-9389.2019.10.10.005 在线阅读View online::https://doi..org10.13374/.issn2095-9389.2019.10.10.005 您可能感兴趣的其他文章 Articles you may be interested in 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019.41(10：1229 https:/doi.org10.13374.issn2095-9389.2019.03.27.002 BP神经网络F钢铝耗的预测模型 Prediction model of aluminum consumption with BP neural networks in IF steel production 工程科学学报.2017,394)：511 https:1doi.org/10.13374j.issn2095-9389.2017.04.005 一种基于鲁棒随机向量函数链接网络的磨矿旷粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报.2019,41(1)：67 https:1doi.org/10.13374.issn2095-9389.2019.01.007 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6：817 https:oi.org10.13374j.issn2095-9389.2019.06.014 基于聚类欠采样的集成不均衡数据分类算法 Imbalanced data ensemble classification based on cluster-based under-sampling algorithm 工程科学学报.2017,398：1244 https:/1doi.org/10.13374.issn2095-9389.2017.08.015 基于机器学习的北京市PM2.5浓度预测模型及模拟分析 Machine-learning-based model and simulation analysis of PM2.5 concentration prediction in Beijing 工程科学学报.2019,41(3：401htps:/doi.org/10.13374issn2095-9389.2019.03.014

基于集成神经网络的剩余寿命预测 张永峰 陆志强 Remaining useful life prediction based on an integrated neural network ZHANG Yong-feng, LU Zhi-qiang 引用本文: 张永峰, 陆志强. 基于集成神经网络的剩余寿命预测[J]. 工程科学学报, 2020, 42(10): 1372-1380. doi: 10.13374/j.issn2095- 9389.2019.10.10.005 ZHANG Yong-feng, LU Zhi-qiang. Remaining useful life prediction based on an integrated neural network[J]. Chinese Journal of Engineering, 2020, 42(10): 1372-1380. doi: 10.13374/j.issn2095-9389.2019.10.10.005 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005 您可能感兴趣的其他文章 Articles you may be interested in 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 BP神经网络IF钢铝耗的预测模型 Prediction model of aluminum consumption with BP neural networks in IF steel production 工程科学学报. 2017, 39(4): 511 https://doi.org/10.13374/j.issn2095-9389.2017.04.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报. 2019, 41(1): 67 https://doi.org/10.13374/j.issn2095-9389.2019.01.007 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于聚类欠采样的集成不均衡数据分类算法 Imbalanced data ensemble classification based on cluster-based under-sampling algorithm 工程科学学报. 2017, 39(8): 1244 https://doi.org/10.13374/j.issn2095-9389.2017.08.015 基于机器学习的北京市PM2.5浓度预测模型及模拟分析 Machine-learning-based model and simulation analysis of PM2.5 concentration prediction in Beijing 工程科学学报. 2019, 41(3): 401 https://doi.org/10.13374/j.issn2095-9389.2019.03.014

工程科学学报.第42卷.第10期：1372-1380.2020年10月 Chinese Journal of Engineering,Vol.42,No.10:1372-1380,October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005;http://cje.ustb.edu.cn 基于集成神经网络的剩余寿命预测 张永峰，陆志强区 同济大学机械与能源工程学院.上海201804 ☒通信作者，E-mail:zhiqianglu@tongji.edu.cn 摘要针对机器或设备的剩余寿命(Remaining useful life,RUL)预测精度低的问题，提出基于一维卷积神经网络 (Convolutional neural network,CNN)和双向长短期记忆(Bidirectional long short-.term memory,BD-LSTM)的集成神经网络模型 为了更好地抽取时间序列上的特征，以及产生更多的训练样本，采用滑动窗口对数据进行处理，同时采用卡尔曼滤波对数据 进行降噪处理，将数据标准化以及设置RUL标签.与人工提取特征不同，利用一维CNN对数据进行特征提取，并舍弃了 CNN中的池化层.然后将提取到的高维特征输人到BD-LSTM进行回归预测，并采用Bagging的方式对此神经网络进行集成 来预测RUL.最后通过在NASA的数据集上验证该模型的有效性，以及相比于其他机器学习或者深度学习模型的优越性，实 验表明所提模型在RUL预测方面更加准确. 关键词卡尔曼滤波：剩余寿命预测：神经网络：深度学习：集成学习 分类号TP399 Remaining useful life prediction based on an integrated neural network ZHANG Yong-feng,LU Zhi-giang School of Mechanical Engineering,Tongji University,Shanghai 201804,China Corresponding author,E-mail:zhiqianglu@tongji.edu.cn ABSTRACT Unexpected failures and unscheduled maintenance activities of mechanical systems might incur considerable waste of resources and high investment costs.Thus,in recent years,prognostics and health management(PHM)has received a lot of attention because of its importance in maintenance cost reduction and machine fault prognostics.The remaining useful life (RUL)of machinery is defined as the length from the current time to the end of its useful life,which is the core technology of PHM.During the operation of machines and equipment,a large amount of data generated by different sensors in the system is collected using various methods.These data often characterize the health status of machinery to a certain extent.By applying the systematic approach to these data,valuable information for strategic decision-making can be obtained.However,traditional machine learning algorithms are usually not efficient enough to handle the complex and nonlinear characteristics of the system and deal with big data.With the rapid development of modern computational hardware and theory,deep learning algorithms show unique advantages in characterizing the system complexity and processing big data.Because of the low-accuracy prediction of the RUL of machines or equipment,a neural network integrating the one- dimensional convolutional neural network (1D CNN)and the bidirectional long short-term memory (BD-LSTM)was proposed.To extract the features of the time series and generate more training samples,the sliding window algorithm was used to process the data and the Kalman filter was applied to denoise the data.Then,the dataset was standardized and the RUL labels were set.Instead of artificial feature extraction,this study used ID CNN to extract features from the data and discarded the pooling layer of CNN.The extracted high- dimensional features were inputted into the BD-LSTM for regression prediction,and the neural network was integrated by bagging to predict the RUL.Finally,the effectiveness and superiority of the model compared with the machine or deep learning model were verified 收稿日期：2019-10-10 基金项目：国家自然科学基金资助项目(71171130.61273035)

基于集成神经网络的剩余寿命预测 张永峰，陆志强苣 同济大学机械与能源工程学院，上海 201804 苣通信作者，E-mail: zhiqianglu@tongji.edu.cn 摘     要     针对机器或设备的剩余寿命 （Remaining useful life, RUL）预测精度低的问题 ，提出基于一维卷积神经网络 （Convolutional neural network, CNN）和双向长短期记忆（Bidirectional long short-term memory, BD-LSTM）的集成神经网络模型. 为了更好地抽取时间序列上的特征，以及产生更多的训练样本，采用滑动窗口对数据进行处理，同时采用卡尔曼滤波对数据 进行降噪处理，将数据标准化以及设置 RUL 标签. 与人工提取特征不同，利用一维 CNN 对数据进行特征提取，并舍弃了 CNN 中的池化层. 然后将提取到的高维特征输入到 BD-LSTM 进行回归预测，并采用 Bagging 的方式对此神经网络进行集成 来预测 RUL. 最后通过在 NASA 的数据集上验证该模型的有效性，以及相比于其他机器学习或者深度学习模型的优越性，实 验表明所提模型在 RUL 预测方面更加准确. 关键词    卡尔曼滤波；剩余寿命预测；神经网络；深度学习；集成学习 分类号    TP399 Remaining useful life prediction based on an integrated neural network ZHANG Yong-feng，LU Zhi-qiang苣 School of Mechanical Engineering, Tongji University, Shanghai 201804, China 苣 Corresponding author, E-mail: zhiqianglu@tongji.edu.cn ABSTRACT    Unexpected failures and unscheduled maintenance activities of mechanical systems might incur considerable waste of resources and high investment costs. Thus, in recent years, prognostics and health management (PHM) has received a lot of attention because of its importance in maintenance cost reduction and machine fault prognostics. The remaining useful life (RUL) of machinery is defined as the length from the current time to the end of its useful life, which is the core technology of PHM. During the operation of machines and equipment, a large amount of data generated by different sensors in the system is collected using various methods. These data often characterize the health status of machinery to a certain extent. By applying the systematic approach to these data, valuable information for strategic decision-making can be obtained. However, traditional machine learning algorithms are usually not efficient enough to handle the complex and nonlinear characteristics of the system and deal with big data. With the rapid development of modern computational hardware and theory, deep learning algorithms show unique advantages in characterizing the system complexity and processing big data. Because of the low-accuracy prediction of the RUL of machines or equipment, a neural network integrating the one￾dimensional convolutional neural network (1D CNN) and the bidirectional long short-term memory (BD-LSTM) was proposed. To extract the features of the time series and generate more training samples, the sliding window algorithm was used to process the data and the Kalman filter was applied to denoise the data. Then, the dataset was standardized and the RUL labels were set. Instead of artificial feature extraction, this study used 1D CNN to extract features from the data and discarded the pooling layer of CNN. The extracted high￾dimensional features were inputted into the BD-LSTM for regression prediction, and the neural network was integrated by bagging to predict the RUL. Finally, the effectiveness and superiority of the model compared with the machine or deep learning model were verified 收稿日期: 2019−10−10 基金项目: 国家自然科学基金资助项目 (71171130，61273035) 工程科学学报，第 42 卷，第 10 期：1372−1380，2020 年 10 月 Chinese Journal of Engineering, Vol. 42, No. 10: 1372−1380, October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005; http://cje.ustb.edu.cn

张永峰等：基于集成神经网络的剩余寿命预测 1373· using the National Aeronautics and Space Administration dataset.Results showed that the proposed model can more accurately predict the RUL than the machine or deep learning model KEY WORDS Kalman filter:remaining useful life prediction;neural network;deep learning;ensemble learning 机器与设备的健康管理与故障诊断一直工 与退化相关的权重来使所有学习器对RUL的预测 业界与学术界关注与研究的热点，而剩余寿命 权重之和更大.Heimest采用循环神经网络 预测(RUL)恰恰是设备健康管理与故障诊断 (Recurrent neural network,RNN)对设备的RUL进 (Prognostics and health management,PHM)的一个核 行了预测，并在竞赛中取得了不错的成绩.Babu 心技术山.并且，准确的RUL预测还可以为设备或 等刀采用深度卷积神经网络先通过原始数据进行 部件制定相应的维护策略提供重要的信息2-)已 卷积，池化等操作提取特征，而后进行RUL预测 经有多名学者提出了关于RUL预测的各种模型与 Yuan等s]提出了针对飞机发动机在复杂操作和 方法，主要分为2大类：基于物理模型的预测方 多重故障以及噪声干扰情况下的基于LSTM网络 法)和基于数据驱动)的预测方法.但是由于设 的RUL预测模型.Zhang等也提出了LSTM网 备和部件的结构日益复杂，再加上各种环境的影 络对锂电池的RUL做出预测.Ordóiez等2o提出 响，很难用物理模型去准确地预测RUL向.而且，随 了一种ARIMA和支持向量机(Support vector 着大数据时代的到来，我们获取机器的大量数据 machine,.SVM)相结合的对于飞机发动机的RUL进 日益简单，再加上计算机技术的不断发展，使用数 行预测的模型，并与VARMA(Vector auto-regressive 据驱动的模型去预测RUL已成为主流的方法了. moving average)模型进行了比较， Long等I7建立一个以遗传算法来优化的ARMA 上述文献中所提的大多RUL预测中，一般包 (Autoregressive moving average model)模型用来预 含3个步骤，一是对原始数据提取特征，二是建立 测RUL.Wu等提出了一种ARIMA(Autoregressive 设备健康曲线，三是进行RUL的预测P叫由于现 Integrated Moving Average model)模型预测未来的 代机器设备复杂度高，一般有多个传感器同时监 机器状态，从而实现故障诊断和UL预测，并且 测一个设备的健康状态，其监测数据维度较大，样 通过改进的预测策略和自动预测算法提高了其 本量大；传统的数据驱动RUL预测方法往往需要 准确度.Zhou与Huang提出了一种经验模态分 人工提取某些特征，再进行筛选和融合，而人工提 解和ARIMA模型的锂电池的RUL预测模型， 取特征需要一定的经验与知识，并且相同特征在 Tiano建立了一个人工神经网络(Artificial neural 不同设备RUL预测上差异可能较大，模型泛化性 networks.ANN)用来预测设备的RUL.该网络以设 能较差：目前许多基于数据驱动的RUL预测模型 备的役龄以及当前和过去的检测点的多状态检测 未考虑到传感器信号的时序相关特征，而忽略时 数据的为输入，以设备的生命周期百分比作为输 间点的时间关系可能丢失重要的信息，导致模型 出.Mosallam等uI提出了分两阶段来预测RUL: 预测性能降低.这些因素均导致了传统预测模型 先利用无监督方式筛选出蕴含大量退化信息的变 预测精度不高.针对以上问题，本文运用卷积神经 量，然后利用这些变量进行离线训练来建立不同 网络(Convolutional neural network,CNN)强大的特 的健康指标曲线：然后在线利用K近邻算法寻找 征提取能力，避免了人工提取特征，减少了人工工 与离线库中最相似的Hl来进行RUL预测.Khelif 作量与操作难度，提高了模型的泛化能力.CNN 等四通过支持向量回归直接对感应器和健康状态 一般用于处理图像数据，而本文采用的一维CNN 建立直接关系来预测RUL,减少了设备健康状态 常用于处理时间序列数据.相比于长短期记忆 曲线拟合与失效阈值设立的步骤.Miao等1利用 (Long short--term memory,LSTM)只能访问每个特 改进的粒子滤波器一无迹离子滤波器来预测锂电 定的时间步骤，双向LSTM不仅能实现数据的长 池的RUL.Tobon-Mejia等l提出了一种基于小波 期记忆，还能够从正反两个方向同时处理数据，为 包分解技术和混合高斯隐马尔科夫来预测RUL的 序列中数据提供过去和未来的信息，发现更多时 模型.Li等为了使RUL预测更加准确，提出了 间序列的特征，有助于提升RUL预测的准确度 一种考虑机器退化对于预测RUL的影响的集成学 而集成学习则是利用多个学习器结合来提升整体 习模型，该模型分配给每个学习器一个优化过的 的学习性能，在机器学习领域被广泛应用.因此

using the National Aeronautics and Space Administration dataset. Results showed that the proposed model can more accurately predict the RUL than the machine or deep learning model. KEY WORDS    Kalman filter；remaining useful life prediction；neural network；deep learning；ensemble learning 机器与设备的健康管理与故障诊断一直工 业界与学术界关注与研究的热点，而剩余寿命 预测 （ RUL）恰恰是设备健康管理与故障诊断 （Prognostics and health management, PHM）的一个核 心技术[1] . 并且，准确的 RUL 预测还可以为设备或 部件制定相应的维护策略提供重要的信息[2−3] . 已 经有多名学者提出了关于 RUL 预测的各种模型与 方法，主要分为 2 大类：基于物理模型的预测方 法[4] 和基于数据驱动[5] 的预测方法. 但是由于设 备和部件的结构日益复杂，再加上各种环境的影 响，很难用物理模型去准确地预测 RUL[6] . 而且，随 着大数据时代的到来，我们获取机器的大量数据 日益简单，再加上计算机技术的不断发展，使用数 据驱动的模型去预测 RUL 已成为主流的方法了. Long 等[7] 建立一个以遗传算法来优化的 ARMA （Autoregressive moving average model）模型用来预 测RUL. Wu 等[8] 提出了一种ARIMA（Autoregressive Integrated Moving Average model）模型预测未来的 机器状态，从而实现故障诊断和 RUL 预测，并且 通过改进的预测策略和自动预测算法提高了其 准确度. Zhou 与 Huang[9] 提出了一种经验模态分 解 和 ARIMA 模 型 的 锂 电 池 的 RUL 预 测 模 型 . Tian[10] 建立了一个人工神经网络（Artificial neural networks, ANN）用来预测设备的 RUL. 该网络以设 备的役龄以及当前和过去的检测点的多状态检测 数据的为输入，以设备的生命周期百分比作为输 出. Mosallam 等[11] 提出了分两阶段来预测 RUL： 先利用无监督方式筛选出蕴含大量退化信息的变 量，然后利用这些变量进行离线训练来建立不同 的健康指标曲线：然后在线利用 K 近邻算法寻找 与离线库中最相似的 HI 来进行 RUL 预测. Khelif 等[12] 通过支持向量回归直接对感应器和健康状态 建立直接关系来预测 RUL，减少了设备健康状态 曲线拟合与失效阈值设立的步骤. Miao 等[13] 利用 改进的粒子滤波器—无迹离子滤波器来预测锂电 池的 RUL. Tobon-Mejia 等[14] 提出了一种基于小波 包分解技术和混合高斯隐马尔科夫来预测 RUL 的 模型. Li 等[15] 为了使 RUL 预测更加准确，提出了 一种考虑机器退化对于预测 RUL 的影响的集成学 习模型，该模型分配给每个学习器一个优化过的 与退化相关的权重来使所有学习器对 RUL 的预测 权 重 之 和 更 大 . Heimes[16] 采 用 循 环 神 经 网 络 （Recurrent neural network, RNN）对设备的 RUL 进 行了预测，并在竞赛中取得了不错的成绩. Babu 等[17] 采用深度卷积神经网络先通过原始数据进行 卷积，池化等操作提取特征，而后进行 RUL 预测. Yuan 等[18] 提出了针对飞机发动机在复杂操作和 多重故障以及噪声干扰情况下的基于 LSTM 网络 的 RUL 预测模型. Zhang 等[19] 也提出了 LSTM 网 络对锂电池的 RUL 做出预测. Ordóñez等[20] 提出 了 一 种 ARIMA 和 支 持 向 量 机 （ Support vector machine, SVM）相结合的对于飞机发动机的 RUL 进 行预测的模型，并与 VARMA（Vector auto-regressive moving average）模型进行了比较. 上述文献中所提的大多 RUL 预测中，一般包 含 3 个步骤，一是对原始数据提取特征，二是建立 设备健康曲线，三是进行 RUL 的预测[21] . 由于现 代机器设备复杂度高，一般有多个传感器同时监 测一个设备的健康状态，其监测数据维度较大，样 本量大；传统的数据驱动 RUL 预测方法往往需要 人工提取某些特征，再进行筛选和融合，而人工提 取特征需要一定的经验与知识，并且相同特征在 不同设备 RUL 预测上差异可能较大，模型泛化性 能较差；目前许多基于数据驱动的 RUL 预测模型 未考虑到传感器信号的时序相关特征，而忽略时 间点的时间关系可能丢失重要的信息，导致模型 预测性能降低. 这些因素均导致了传统预测模型 预测精度不高. 针对以上问题，本文运用卷积神经 网络（Convolutional neural network, CNN）强大的特 征提取能力，避免了人工提取特征，减少了人工工 作量与操作难度，提高了模型的泛化能力. CNN 一般用于处理图像数据，而本文采用的一维 CNN 常用于处理时间序列数据. 相比于长短期记忆 （Long short-term memory, LSTM）只能访问每个特 定的时间步骤，双向 LSTM 不仅能实现数据的长 期记忆，还能够从正反两个方向同时处理数据，为 序列中数据提供过去和未来的信息，发现更多时 间序列的特征，有助于提升 RUL 预测的准确度. 而集成学习则是利用多个学习器结合来提升整体 的学习性能，在机器学习领域被广泛应用. 因此， 张永峰等： 基于集成神经网络的剩余寿命预测 · 1373 ·

·1374 工程科学学报，第42卷，第10期 基于前人的研究基础上，本文提出一种集成一维CNN 以同时利用x到x和x到x的双向时间序列，可以 与双向LSTM的网络模型来对RUL进行预测. 更好地挖掘出时间序列的内部特征.双向LSTM 1模型算法描述 的结构如图3所示. 集成学习是一种重要的机器学习算法，主要 卷积神经网络作为深度学习的一种经典结构， 利用多个学习器的集成来解决分类或回归问题， 其已经在图像识别，物体检测，人脸识别，自然语 能够提升整体学习系统的准确性.但是集成学习 言处理等方面有巨大的发展与广泛的应用.本文 算法比较依赖数据集的特性以及产生差异性的方 所采用的是一维CNN结构，其常用于处理文本与 法.同样，CNN和双向LSTM也有一定的弊端，如 时间序列数据，一维CNN的卷积操作如图1所示. 需要调参数，需要大量样本来训练，其训练时间一 LSTM网络是RNN的一种特殊形式，是为了 般长于机器学习算法；CNN卷积层提取到的特征 解决RNN的长期依赖问题和训练过程会出现梯 物理含义不明确，且神经网络本身就是一种难以 度消失以及梯度爆炸等问题所提出的一种神经网 解释的“黑箱模型” 络结构22-2]其示意图如图2所示 双向LSTM以其独特结构：输入门，输出门， LSTM单元可用如下公式进行描述： 遗忘门以及双向输入结构，可将时间序列数据做 it=(Wi-Tht-1,x1+bi) (1) 自适应地回归预测，其在处理时序数据的性能优 f=(Wr.[h-1.x]+bf) (2) 于一般深度学习模型.考虑到用于剩余寿命预测 的传感器数据维度多，数量大，通过人工提取特征 o,=c(W。[h-l,xl+b) (3) 往往不准确，泛化能力差.而一维卷积神经网络通 C:=f *Ci-1+i;*tanh (We.[h-1,x;]+be) (4) 过多通道和多种非线性转换、方程的处理，具有自 ht =or tanh (C) (5) 适应提取时间序列上的特征，其多个卷积核也有 式中，x和h分别代表输入与输出；i,fi,o,C分别表 利于提取各种维度的时域特征.相比于直接应用 示输入门，遗忘门，输出门以及细胞状态的函数表 双向LSTM进行预测，通过将一维卷积神经自适 达式，W,和b分别对应的权重系数矩阵和偏置项； 应提取到的时域特征数据输入到双向LSTM网络 c是sigmoid激活函数，其输出值在0和1之间， 中，可剔除原始数据中的不必要信息，从而有利于 tanh代表双曲线正切激活函数.LSTM细胞的运作 提高双向LSTM的预测准确性.基于以上描述，本 过程是：首先输入上个细胞的h,-以及本细胞的x, 文构建的预测模型如图4所示，同时采用bagging 然后通过输入门，遗忘门，输出门三个门分别控制 的方式来获得不同数据组，并对不同结果求平均 输入，遗忘以及输出多少信息，最后更新本细胞的 值来得到最终的RUL. 状态以及输出h, 2实验数据处理与模型构建 对于输人X=(x,2,…,x),LSTM网络仅利用 前向输人数据，即x到x的时间序列，而对于x到 2.1数据介绍 x的反向时间序列并没有利用.而双向LSTM可 本篇文章所提的网络是在NASA公开数据集 Convolution kernel 1 Feature map I Convolution kernel 2 Feature map 2 000 Convolution kernel n Feature map n 图1一维CNN的操作示意图 Fig.1 Illustration of the one-dimensional convolutional neural network operation

基于前人的研究基础上，本文提出一种集成一维 CNN 与双向 LSTM 的网络模型来对 RUL 进行预测. 1    模型算法描述 卷积神经网络作为深度学习的一种经典结构， 其已经在图像识别，物体检测，人脸识别，自然语 言处理等方面有巨大的发展与广泛的应用. 本文 所采用的是一维 CNN 结构，其常用于处理文本与 时间序列数据，一维 CNN 的卷积操作如图 1 所示. LSTM 网络是 RNN 的一种特殊形式，是为了 解决 RNN 的长期依赖问题和训练过程会出现梯 度消失以及梯度爆炸等问题所提出的一种神经网 络结构[22−23] . 其示意图如图 2 所示. LSTM 单元可用如下公式进行描述： it = σ(Wi ·[ht−1, xt]+bi) （1） ft = σ ( Wf ·[ht−1, xt]+bf ) （2） ot = σ(Wo ·[ht−1, xt]+bo) （3） Ct = ft ∗Ct−1 +it ∗ tanh(Wc ·[ht−1, xt]+bc) （4） ht = ot ∗ tanh(Ct) （5） xt ht it , ft ,ot ,Ct W∗ b∗ σ ht−1 xt ht 式中， 和 分别代表输入与输出； 分别表 示输入门，遗忘门，输出门以及细胞状态的函数表 达式， 和 分别对应的权重系数矩阵和偏置项； 是 sigmoid 激活函数 ，其输出值在 0 和 1 之间 ， tanh 代表双曲线正切激活函数. LSTM 细胞的运作 过程是：首先输入上个细胞的 以及本细胞的 ， 然后通过输入门，遗忘门，输出门三个门分别控制 输入，遗忘以及输出多少信息，最后更新本细胞的 状态以及输出 . X = (x1, x2,··· , xt) x1 xt xt x1 对于输入 ，LSTM 网络仅利用 前向输入数据，即 到 的时间序列，而对于 到 的反向时间序列并没有利用. 而双向 LSTM 可 以同时利用x1 到xt和xt到x1 的双向时间序列，可以 更好地挖掘出时间序列的内部特征. 双向 LSTM 的结构如图 3 所示. 集成学习是一种重要的机器学习算法，主要 利用多个学习器的集成来解决分类或回归问题， 能够提升整体学习系统的准确性. 但是集成学习 算法比较依赖数据集的特性以及产生差异性的方 法. 同样，CNN 和双向 LSTM 也有一定的弊端，如 需要调参数，需要大量样本来训练，其训练时间一 般长于机器学习算法；CNN 卷积层提取到的特征 物理含义不明确，且神经网络本身就是一种难以 解释的“黑箱模型”. 双向 LSTM 以其独特结构：输入门，输出门， 遗忘门以及双向输入结构，可将时间序列数据做 自适应地回归预测，其在处理时序数据的性能优 于一般深度学习模型. 考虑到用于剩余寿命预测 的传感器数据维度多，数量大，通过人工提取特征 往往不准确，泛化能力差. 而一维卷积神经网络通 过多通道和多种非线性转换、方程的处理，具有自 适应提取时间序列上的特征，其多个卷积核也有 利于提取各种维度的时域特征. 相比于直接应用 双向 LSTM 进行预测，通过将一维卷积神经自适 应提取到的时域特征数据输入到双向 LSTM 网络 中，可剔除原始数据中的不必要信息，从而有利于 提高双向 LSTM 的预测准确性. 基于以上描述，本 文构建的预测模型如图 4 所示，同时采用 bagging 的方式来获得不同数据组，并对不同结果求平均 值来得到最终的 RUL. 2    实验数据处理与模型构建 2.1    数据介绍 本篇文章所提的网络是在 NASA 公开数据集 Convolution kernel 1 Feature map 1 Convolution kernel 2 Feature map 2 Convolution kernel n Feature map n 图 1 一维 CNN 的操作示意图 Fig.1 Illustration of the one-dimensional convolutional neural network operation · 1374 · 工程科学学报，第 42 卷，第 10 期

张永峰等：基于集成神经网络的剩余寿命预测 1375· Cr 中 个子数据集包含27维的数据，其中前3维表示发 tanh 动机的运行环境，后21维表示发动机上不同传感 器的数据记录（记为s1~s21).本文选取第一种型 tanh 号的发动机(FD0001)的数据进行验证.这个数据 集给出了训练集和测试集，其中，训练集的数据记 录了发动机从刚开始的健康状态一直到最后完全 失效时的一些数据，测试集则记录100台发动机 完全失效前的一部分数据.而我们的任务就是如 图2LSTM单元结构示意图 何更加准确地预测测试集中这100台发动机的剩 Fig.2 Diagram of the LSTM cell 余寿命 2.2数据的预处理 虽然训练集与测试集中共记录了21维发动机 STM 传感器的数据，但是其中有一部分传感器的方差 为0或者极小2也就是说，这部分数据对于发动 STM LSTM 机剩余寿命的预测不能起到作用.因此，本文只选 取其中的14维方差较大的传感器的数据作为原 h 始数据的输入. 由于传感器的数据中是带有噪声的，所以如 LSTM 果直接利用这些数据来进行预测的话，势必会使 SIM STM LSTM 得其特征不易被神经网络学习到.因此，有必要对 原始数据进行降噪处理，本文采用卡尔曼滤波对 原始数据进行降噪处理 接下来就是数据的标准化处理.数据标准化 图3双向LSTM操作示意图 Fig.3 Diagram of the bidirectional LSTM network 的处理方法常见的有2种：Max-min和Z-score.式 (6)和式(7)分别表示Max-min和Z-score标准化公 上验证的.该数据集被广泛用于测试寿命预测算 式.本文采取Z-score对每列的数据进行标准化 法或模型的有效性.本文所选的数据是一个航空 处理 发动机的退化过程的一些数据.该数据包含4种 Xi-Xmin (6) 不同型号的飞机发动机，构成了4个子数据集.每 Xnorm = Xmax-Xmin Output predicted RUL BD-LSTM layer Regression prediction Abstract feature extraction One-dimensional CNN Time series data 23456789.。 Pre-processing Acquiring data 图4模型框架 Fig.4 Model framework

上验证的. 该数据集被广泛用于测试寿命预测算 法或模型的有效性. 本文所选的数据是一个航空 发动机的退化过程的一些数据. 该数据包含 4 种 不同型号的飞机发动机，构成了 4 个子数据集. 每 个子数据集包含 27 维的数据，其中前 3 维表示发 动机的运行环境，后 21 维表示发动机上不同传感 器的数据记录（记为 s1～s21）. 本文选取第一种型 号的发动机（FD0001）的数据进行验证. 这个数据 集给出了训练集和测试集，其中，训练集的数据记 录了发动机从刚开始的健康状态一直到最后完全 失效时的一些数据，测试集则记录 100 台发动机 完全失效前的一部分数据. 而我们的任务就是如 何更加准确地预测测试集中这 100 台发动机的剩 余寿命. 2.2    数据的预处理 虽然训练集与测试集中共记录了 21 维发动机 传感器的数据，但是其中有一部分传感器的方差 为 0 或者极小[20] . 也就是说，这部分数据对于发动 机剩余寿命的预测不能起到作用. 因此，本文只选 取其中的 14 维方差较大的传感器的数据作为原 始数据的输入. 由于传感器的数据中是带有噪声的，所以如 果直接利用这些数据来进行预测的话，势必会使 得其特征不易被神经网络学习到. 因此，有必要对 原始数据进行降噪处理，本文采用卡尔曼滤波对 原始数据进行降噪处理. 接下来就是数据的标准化处理. 数据标准化 的处理方法常见的有 2 种：Max-min 和 Z-score. 式 （6）和式（7）分别表示 Max-min 和 Z-score 标准化公 式. 本文采取 Z-score 对每列的数据进行标准化 处理. xnorm = xi − xmin xmax − xmin （6） Ct−1 Ct xt ht−1 ℎt ℎt i t ot σ σ tanh σ tanh 图 2 LSTM 单元结构示意图 Fig.2 Diagram of the LSTM cell LSTM LSTM …… LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM y1 x1 h1 y2 x2 h2 yt xt ht 图 3 双向 LSTM 操作示意图 Fig.3 Diagram of the bidirectional LSTM network Output predicted RUL BD-LSTM layer Time series data 1 2 3 4 5 6 7 8 9 . . . Acquiring data Regression prediction Abstract feature extraction One-dimensional CNN layer Pre-processing 图 4 模型框架 Fig.4 Model framework 张永峰等： 基于集成神经网络的剩余寿命预测 · 1375 ·