一种改进的lp-RWMKE-ELM故障诊断模型

工程科学学报 Chinese Journal of Engineering 一种改进的L-RWMK①-ELM故障诊断模型 刘星赵建印朱敏张伟 Research on an improvedRWMKE-ELM fault diagnosis model LIU Xing.ZHAO Jian-yin,ZHU Min,ZHANG Wei 引用本文： 刘星，赵建印，朱敏，张伟.一种改进的1。-RWMKE-ELM故障诊断模型[J.工程科学学报，2022,44(1)：82-94.doi: 10.13374/i.issn2095-9389.2020.07.09.001 LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei.Research on an improved L-RWMKE-ELM fault diagnosis model[J].Chinese Journal of Engineering,.2022,44(1)82-94.doi:10.13374j.issn2095-9389.2020.07.09.001 在线阅读View online::https::/doi.org/10.13374j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报.2021,43(11)：1482 https:/oi.org/10.13374.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报.2017,391)：39htps:1doi.org10.13374.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报.2019,41(1)：67 https:/1doi.org/10.13374.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报.2017,396：909 https::/1doi.org10.13374j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报.2018,40(7)：815 https:ldoi.org10.13374.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing Id convolutional and handcrafted features 工程科学学报.2021,43(9：外1224 https:/1doi.org/10.13374.issn2095-9389.2021.01.12.005

一种改进的l p -RWMKE-ELM故障诊断模型 刘星 赵建印 朱敏 张伟 Research on an improved l p -RWMKE-ELM fault diagnosis model LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei 引用本文: 刘星, 赵建印, 朱敏, 张伟. 一种改进的l p -RWMKE-ELM故障诊断模型[J]. 工程科学学报, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 LIU Xing, ZHAO Jian-yin, ZHU Min, ZHANG Wei. Research on an improved l p -RWMKE-ELM fault diagnosis model[J]. Chinese Journal of Engineering, 2022, 44(1): 82-94. doi: 10.13374/j.issn2095-9389.2020.07.09.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001 您可能感兴趣的其他文章 Articles you may be interested in 一种基于轻量级神经网络的高铁轮对轴承故障诊断方法 Fault diagnosis of high-speed train wheelset bearing based on a lightweight neural network 工程科学学报. 2021, 43(11): 1482 https://doi.org/10.13374/j.issn2095-9389.2020.12.09.001 基于全局优化支持向量机的多类别高炉故障诊断 Multi-class fault diagnosis of BF based on global optimization LS-SVM 工程科学学报. 2017, 39(1): 39 https://doi.org/10.13374/j.issn2095-9389.2017.01.005 一种基于鲁棒随机向量函数链接网络的磨矿粒度集成建模方法 Grinding process particle size modeling method using robust RVFLN-based ensemble learning 工程科学学报. 2019, 41(1): 67 https://doi.org/10.13374/j.issn2095-9389.2019.01.007 形态分量分析在滚动轴承故障诊断中的应用 Application of morphological component analysis for rolling element bearing fault diagnosis 工程科学学报. 2017, 39(6): 909 https://doi.org/10.13374/j.issn2095-9389.2017.06.014 基于极限学习机(ELM)的连铸坯质量预测 Quality prediction of the continuous casting bloom based on the extreme learning machine 工程科学学报. 2018, 40(7): 815 https://doi.org/10.13374/j.issn2095-9389.2018.07.007 基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法 Ensemble extreme learning machine approach for heartbeat classification by fusing 1d convolutional and handcrafted features 工程科学学报. 2021, 43(9): 1224 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.005

工程科学学报.第44卷.第1期：82-94.2022年1月 Chinese Journal of Engineering,Vol.44,No.1:82-94,January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001;http://cje.ustb.edu.cn 一种改进的I。RWMKE-ELM故障诊断模型 刘星)区，赵建印山，朱敏2)，张伟) 1)海军航空大学，烟台2640012)中国人民解放军91576部队，宁波3150203)海装西安局驻咸阳地区军代室，咸阳713100 ☒通信作者，E-mail:xinghandeqipan(@sina.com 摘要针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入P范数约束多核极限学习机和基 于AdaBoost的集成学习策略，定义了一种p范数约束下正则化加权多核集成极限学习机的故障诊断模型.首先，在p范数约 束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多 源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重W更新融入到多核极限学习机的优化进程：最后， 通过Adaboost集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度.以6个UCI公共数据 集以及1个实装案例为例，进行了故障诊断实验.结果表明，与核极限学习机、加权核极限学习机（使用W)和W2)加权方式） 以及多核极限学习机（在1范数和P范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词加权核极限学习机：多核学习：集成学习；P范数约束；故障诊断 分类号V243.2 Research on an improved l-RWMKE-ELM fault diagnosis model LIU Xing,ZHAO Jian-yin,ZHU Min,ZHANG Wei 1)Naval Aviation University,Yantai 264001,China 2)Unit 91576 of the PLA,Ningbo 315020,China 3)Military Representative Office of Naval Equipment Department in Xianyang,Xianyang 713100.China Corresponding author,E-mail:xinghandeqipan @sina.com ABSTRACT As the service time of military equipment increases,equipment failure data is continuously accumulated during events such as routine maintenance,training,and combat readiness exercises,and the data presented is often imbalanced to varying degrees and consists of small samples.In addition,due to fault tolerances of various electrical component parameters in the equipment and widespread nonlinearity and feedback loops of the circuit,it is often difficult to accurately express the fault mechanism using mathematical models.This poses new challenges for the fault diagnosis of equipment.To address the aforementioned problems,machine learning methods are widely used for fault diagnosis.The essence of such methods is that they transform a fault diagnosis problem into a pattern recognition problem.By learning the characteristic data of normal modes and various failure modes,a diagnosis model is constructed and,ultimately,a diagnosis strategy is formed.Aiming at the problems of the unbalanced distribution of various fault samples from equipment and low fault diagnosis accuracy of existing algorithms,in this paper,we define a regularized weighted multiple kernel ensemble under a p-norm constraint by introducing a p-norm constraint weighted multicore extreme learning machine and an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine.Under the p-norm constraint,the model performed two types of adaptive sample weight distribution based on the size of various fault samples;simultaneously,the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency.The weight of a sample,W,is integrated into the optimization objective function of the multiple kernel extreme learning machine.Through 收稿日期：2020-07-09 基金项目：国家自然科学基金资助项目(11802338)

一种改进的 lp -RWMKE-ELM 故障诊断模型 刘    星1) 苣，赵建印1)，朱    敏2)，张    伟3) 1) 海军航空大学，烟台 264001    2) 中国人民解放军 91576 部队，宁波 315020    3) 海装西安局驻咸阳地区军代室，咸阳 713100 苣通信作者， E-mail: xinghandeqipan@sina.com W W(1) W(2) 摘    要    针对装备各类故障样本分布不平衡、现有算法故障诊断精度较低的问题，通过引入 p 范数约束多核极限学习机和基 于 AdaBoost 的集成学习策略，定义了一种 p 范数约束下正则化加权多核集成极限学习机的故障诊断模型. 首先，在 p 范数约 束下，基于各类故障样本自身规模，分别进行了两种自适应的样本权重分配；其次，在每层分类器的优化中，将多核学习的多 源数据融合能力和极限学习机运算高效的特点相结合，同时，将样本的权重 更新融入到多核极限学习机的优化进程；最后， 通过 Adaboost 集成策略，自适应提升富含信息的样本在模型中的权重，从而显著提升故障诊断的精度. 以 6 个 UCI 公共数据 集以及 1 个实装案例为例，进行了故障诊断实验. 结果表明，与核极限学习机、加权核极限学习机（使用 和 加权方式） 以及多核极限学习机（在 1 范数和 p 范数约束下）相比，诊断精度有显著提升；范数约束形式对模型的诊断性能影响有限. 关键词    加权核极限学习机；多核学习；集成学习；p 范数约束；故障诊断 分类号    V243.2 Research on an improved lp -RWMKE-ELM fault diagnosis model LIU Xing1) 苣 ，ZHAO Jian-yin1) ，ZHU Min2) ，ZHANG Wei3) 1) Naval Aviation University, Yantai 264001, China 2) Unit 91576 of the PLA, Ningbo 315020, China 3) Military Representative Office of Naval Equipment Department in Xianyang, Xianyang 713100, China 苣 Corresponding author, E-mail: xinghandeqipan@sina.com ABSTRACT    As the service time of military equipment increases, equipment failure data is continuously accumulated during events such as routine maintenance, training, and combat readiness exercises, and the data presented is often imbalanced to varying degrees and consists  of  small  samples.  In  addition,  due  to  fault  tolerances  of  various  electrical  component  parameters  in  the  equipment  and widespread  nonlinearity  and  feedback  loops  of  the  circuit,  it  is  often  difficult  to  accurately  express  the  fault  mechanism  using mathematical models. This poses new challenges for the fault diagnosis of equipment. To address the aforementioned problems, machine learning methods are widely used for fault diagnosis. The essence of such methods is that they transform a fault diagnosis problem into a pattern  recognition  problem.  By  learning  the  characteristic  data  of  normal  modes  and  various  failure  modes,  a  diagnosis  model  is constructed  and,  ultimately,  a  diagnosis  strategy  is  formed.  Aiming  at  the  problems  of  the  unbalanced  distribution  of  various  fault samples from equipment and low fault diagnosis accuracy of existing algorithms, in this paper, we define a regularized weighted multiple kernel  ensemble  under  a  p-norm  constraint  by  introducing  a  p-norm  constraint  weighted  multicore  extreme  learning  machine  and  an ensemble learning strategy based on the AdaBoost fault diagnosis model of extreme learning machine. Under the p-norm constraint, the model performed two types of adaptive sample weight distribution based on the size of various fault samples; simultaneously, the model combines the multisource data fusion and extreme learning abilities of the multiple kernel learning machine with high efficiency. The weight of a sample, W, is integrated into the optimization objective function of the multiple kernel extreme learning machine. Through 收稿日期: 2020−07−09 基金项目: 国家自然科学基金资助项目（11802338） 工程科学学报，第 44 卷，第 1 期：82−94，2022 年 1 月 Chinese Journal of Engineering, Vol. 44, No. 1: 82−94, January 2022 https://doi.org/10.13374/j.issn2095-9389.2020.07.09.001; http://cje.ustb.edu.cn

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 83· the Adaboost integration strategy,the information-rich sample in the model is adaptively improved.Thus,the weight of a sample significantly improves the accuracy of fault diagnosis.Taking 6 UCI public data sets and 1 actual installation case as examples,a fault diagnosis experiment was conducted.The results of the experiment show that the model constructed in this study has significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine,weighted kernel extreme learning machine(W(1)and W2)weighting method),and weighted multiple kernel extreme learning machine under 1-norm constraint,and the model's diagnostic performance impact is limited. KEY WORDS weighted kernel extreme learning machine;multiple kernel learning;ensemble learning:p-norm constraint;fault diagnosis 随着服役时间的增加和故障案例的缓慢积 研究的重点方向).MKL因能找到一个相对合理 累，军事装备的故障数据往往呈现不同程度的类 的组合核函数而备受关注，并且在故障诊断4、 不平衡、小样本的特点.此外，由于装备中各类电 图像分析6-等领域得到了充分的应用.集成学 气元件参数存在容差四、普遍存在非线性和反馈 习8-的本质是基于多个弱分类器得出一个性能 回路冈，故障机理往往难以用准确的数学模型来表 更加优异的强分类器，达到提升模型整体分辨力 达.这对装备的故障诊断构成了巨大的挑战 的目的.文献[20]提出了在线ELM的集成版本， 在当前的故障诊断领域中，机器学习是解决上述 解决了概念漂移和数据类不平衡问题.文献[21] 问题的常用方法，其本质是将故障诊断转化为模式识 将加权ELM融入到Adboost模型中，用于解决数 别问题，以数据驱动的方式构建诊断模型并最终形成 据类不平衡的分类问题.然而，上述方法的改进方 诊断策略.其中，基于极限学习机(Extreme learning 向相对单一，并不能同时有效应对装备故障数据 machine,ELM)的研究近年来取得了许多优秀的研 小样本、不平衡且整体诊断精度偏低的问题. 究成果)ELM属于单隐层前馈神经网络，其输入 注意到NKELM与集成学习在关注个体样本 层到隐藏层的输入权重和偏置均为随机生成，其输出 重要性方面的共通性，本文以Adaboost集成学习 权重则通过矩阵求逆直接获取，具备学习速度极快、 框架为基础，同时将每层的WKELM的单核扩展 训练参数不多、泛化能力较强的优势 为多核，提出，范数约束下正则化加权多核集成 对于类不平衡问题啊，通常的做法是利用过采样 极限学习机(Regularized weighted multiple kernel 或欠采样方法建立数据的平衡分布，或者为每个 ensemble ELM under /-norm constraint,/-RWMKE- 训练样本分配不同的错误分类代价).在ELM领 ELM).其创新点和先进性体现在： 域，也衍生出一系列改进版本用于处理类不平衡条 (1)将各类样本的自适应加权、Adaboost集成 件下的多分类问题Deng等提出了加权正则化 学习策略及MKL纳入到一个统一的学习框架内， ELM.Zong等uo提出了加权极限学习机(Weighted 推导出了融合后的诊断决策的数学表达式； extreme learning machine,WELM),并对其实现了核 (2)选用6个UCI公共数据集和实装数据进行了 化，即加权核极限学习机(Weighted kernel extreme 仿真实验，与核极限学习机(Kernel based extreme learning machine,WKELM),其依据两种策略为每个 learning machine,.KELM)22、加权核极限学习机 训练样本赋予不同的权重，使WELM及WKELM (Weighted kernel based extreme learning machine,WK- 适用于不平衡分类问题.Mirza等山提出了加权在 ELM)、在1范数和p范数约束下的多核极限学习机 线序贯极限学习机(Weighted online sequential ELM, (分别简记为I1-MKELM、Ip-MKELM)、融入散度秩的 WOS-ELM),实现了加权增量学习.Mao等2针对 多核极限学习机(Incorporating Trace of Data Scattering 时间序列不平衡数据集，提出了基于加权极限学习 Matrix MKELM,ITDSMM-KELM)I相比，实验结 机的稀疏化改进模型，其核心思想是根据敏感性及 果表明，所提模型具有更高的诊断准确性和稳定性 特异性的变化为每个连续样本动态分配权重.上述 1理论基础 方法虽然在ELM框架内融入了不平衡分类的处理 方法，但并未给出合理的核函数的确定及核参数的 1.1多核ELM 选取方法，并且模型的整体分辨力仍然较低 假设训练数据集为D={(x,)冷=，测试数据 针对上述问题，与多核学习(Multiple kernel 集为De=yr其中，，xeR分别表示训 learning,.MKL)或集成学习相结合是近年来ELM 练样本实例和测试样本实例：deR表示样本实例

W(1) W(2) the  Adaboost  integration  strategy,  the  information-rich  sample  in  the  model  is  adaptively  improved.  Thus,  the  weight  of  a  sample significantly improves the accuracy of fault diagnosis. Taking 6 UCI public data sets and 1 actual installation case as examples, a fault diagnosis  experiment  was  conducted.  The  results  of  the  experiment  show  that  the  model  constructed  in  this  study  has  significantly improved diagnostic accuracy compared with other models such as kernel extreme learning machine, weighted kernel extreme learning machine ( and weighting method), and weighted multiple kernel extreme learning machine under 1-norm constraint, and the model’s diagnostic performance impact is limited. KEY  WORDS    weighted  kernel  extreme  learning  machine； multiple  kernel  learning； ensemble  learning； p-norm  constraint； fault diagnosis 随着服役时间的增加和故障案例的缓慢积 累，军事装备的故障数据往往呈现不同程度的类 不平衡、小样本的特点. 此外，由于装备中各类电 气元件参数存在容差[1]、普遍存在非线性和反馈 回路[2] ，故障机理往往难以用准确的数学模型来表 达. 这对装备的故障诊断构成了巨大的挑战. 在当前的故障诊断领域中，机器学习是解决上述 问题的常用方法，其本质是将故障诊断转化为模式识 别问题，以数据驱动的方式构建诊断模型并最终形成 诊断策略. 其中，基于极限学习机（Extreme learning machine , ELM）的研究近年来取得了许多优秀的研 究成果[3] . ELM 属于单隐层前馈神经网络[4] ，其输入 层到隐藏层的输入权重和偏置均为随机生成，其输出 权重则通过矩阵求逆直接获取，具备学习速度极快、 训练参数不多、泛化能力较强的优势. 对于类不平衡问题[5] ，通常的做法是利用过采样 或欠采样方法建立数据的平衡分布[6] ，或者为每个 训练样本分配不同的错误分类代价[7] . 在 ELM 领 域，也衍生出一系列改进版本用于处理类不平衡条 件下的多分类问题[8] . Deng 等[9] 提出了加权正则化 ELM. Zong 等[10] 提出了加权极限学习机（Weighted extreme learning machine，WELM），并对其实现了核 化，即加权核极限学习机（Weighted kernel extreme learning machine，WKELM），其依据两种策略为每个 训练样本赋予不同的权重，使 WELM 及 WKELM 适用于不平衡分类问题. Mirza 等[11] 提出了加权在 线序贯极限学习机（Weighted online sequential ELM, WOS-ELM），实现了加权增量学习. Mao 等[12] 针对 时间序列不平衡数据集，提出了基于加权极限学习 机的稀疏化改进模型，其核心思想是根据敏感性及 特异性的变化为每个连续样本动态分配权重. 上述 方法虽然在 ELM 框架内融入了不平衡分类的处理 方法，但并未给出合理的核函数的确定及核参数的 选取方法，并且模型的整体分辨力仍然较低. 针对上述问题 ，与多核学习（ Multiple kernel learning, MKL）或集成学习相结合是近年来 ELM 研究的重点方向[13] . MKL 因能找到一个相对合理 的组合核函数而备受关注，并且在故障诊断[14−15]、 图像分析[16−17] 等领域得到了充分的应用. 集成学 习[18−19] 的本质是基于多个弱分类器得出一个性能 更加优异的强分类器，达到提升模型整体分辨力 的目的. 文献 [20] 提出了在线 ELM 的集成版本， 解决了概念漂移和数据类不平衡问题. 文献 [21] 将加权 ELM 融入到 Adboost 模型中，用于解决数 据类不平衡的分类问题. 然而，上述方法的改进方 向相对单一，并不能同时有效应对装备故障数据 小样本、不平衡且整体诊断精度偏低的问题. 注意到 WKELM 与集成学习在关注个体样本 重要性方面的共通性，本文以 Adaboost 集成学习 框架为基础，同时将每层的 WKELM 的单核扩展 为多核，提出 lp 范数约束下正则化加权多核集成 极 限 学 习 机 （ Regularized  weighted  multiple  kernel ensemble ELM under lp -norm constraint， lp -RWMKE￾ELM）. 其创新点和先进性体现在： （1）将各类样本的自适应加权、Adaboost 集成 学习策略及 MKL 纳入到一个统一的学习框架内， 推导出了融合后的诊断决策的数学表达式； （2）选用 6 个 UCI 公共数据集和实装数据进行了 仿真实验 ，与核极限学习机（Kernel  based  extreme learning  machine， KELM） [22]、加权核极限学习机 （Weighted kernel based extreme learning machine，WK￾ELM）、在 1 范数和 p 范数约束下的多核极限学习机 （分别简记为 l1 -MKELM、lp -MKELM）、融入散度秩的 多核极限学习机（Incorporating Trace of Data Scattering Matrix MKELM, ITDSMM-KELM） [23] 相比，实验结 果表明，所提模型具有更高的诊断准确性和稳定性. 1    理论基础 1.1    多核 ELM DTr = {(xi , yi)} n i=1 DTe = {(x ′ j , y ′ j )} n ′ j=1 xi , x ′ j ∈ R d d ∈ R 假设训练数据集为 ，测试数据 集为 . 其中， 分别表示训 练样本实例和测试样本实例； 表示样本实例 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 83 ·

84 工程科学学报，第44卷，第1期 的维数；∈{1,2，，m表示x对应的故障模式，n 其中，AVG表示所有类的平均训练样本数，这样可 为样本个数.诊断模型设计的本质是基于D寻 以减少少数群体和多数群体之间的平衡步长，使 找一个映射函数fx):Rd→R,使其可以将De中 其达到0.618：1的比率.在多类分类中，少数类是 的任一个样本实例x映射为相应的故障模式 指样本数量低于所有类平均样本数的那些类别，而 ∈(l,2,…,m.当使用Ip-MKELM作为诊断模型 多数类是指样本数高于所有类平均样本数的类别 寻找映射函数fx)时，其初始优化问题表示为 2 改进的1，范数约束加权多核多故障集 成学习诊断框架 q=1 st∑g=-i=12n 21正则化加权多核极限学习机 对于输入空间中的n组故障样本，假设其权重 ∑e=l,≥0，p>1 (1) 分布为w={w”并且有∑”W=1.为便于运算， 其中，小表示F范数，kg,川=为预定义的r个基核 将其扩展为主对角线元素为w的n×n对角矩阵，表 y=yg表示基核的组合权重，B=B阴，B阴，…，BT 示为W=diag[w1,…,wnl 表示模型总的输出权重，B,∈Rgm表示对应于 对于优化问题(1)，令B,=V了B,可以得到 基核kg(,北的输出权重，仲gO北=为对应于基核 (5) kg(,)的特征映射；m表示ELM的输出节点个 数；东=[传，，m「表示对应于第个故障样本的 将式(3)代入优化问题(1)，同时，将样本分布 训练误差向量，y:=y,…ymJT表示第个故障样 权重矩阵W融合到优化问题中，得到I,范数约束 本的理想输出向量；C为正则化因子，p为范数约 下正则化加权多核极限学习机： 束形式.对式(1)对应的Lagrange函数中各变量分 别求偏导，并采用两步交替优化策略求解Lagrange min5∑Bg+22%l. P.5Y2 乘子矩阵α以及基核组合权重y,得出模型最优化 参数a和y,则决策函数为 st∑a,=听-，i=12n ∑g=l%>0,p>1 (6) (2) =1 q=1 对比新的优化问题(4)与原优化问题(1)，分 其中，a为Lagrange乘子，并且有ax=[a1,…,anJT, 布权重W的融入使得模型可以根据样本的类不平 i=[al,…,amJ 衡程度合理分配样本权重，确保诊断模型能够聚 1.2权重分配方式 焦到一些富含优化信息的训练样本上，从而有效 本文采用Vong等在文献[24中提出的权重 提高模型的解释能力 分配方法，为每个样本分配权重，寻求各类样本在 为了求解优化问题(4)，给出其对应的Lagrange 规模上的再平衡，将分隔超边界推向多数类来减 函数 轻样本类不平衡的影响，实际上属于代价敏感学 习范畴.两种权重分配方式如下： LI(Bq.5i.Yq.i)= 2a+空f- w=diag[w1,…,wn],wi= 1 #0)mi=1,2,,m (3) 其中，#O)表示故障模式y的训练样本数.通过权 (7) 重分布，使得少数样本被赋予更大的权重.显然， 式中，由上文序=V了g,可知耶g1=VYgBǔ和A均为 数据的类不平衡程度越高，各类样本之间的分布 Lagrange乘子，且a=[a1,…,anJT,ai=[al,…,mJT 权重相差就越大 对式(5)中的优化变量分别求偏导，可得 w2=diag[w1,…,wnl, OLI(Ba.5i.Yi) 0.618 A,-2xa= Wi= ,if#(vi)>AVG aBq g=l isl #(y)m (4) 1 Wi= if#(y)≤AVG 0→Bg=yg ∑gx)a (8) #(y)m

yi ∈ {1,2,··· ,m} xi n DTr f(x) : R d → R DTe x ′ j y ′ j ∈ {1,2,··· ,m} f(x) 的维数； 表示 对应的故障模式， 为样本个数. 诊断模型设计的本质是基于 寻 找一个映射函数 ，使其可以将 中 的任一个样本实例 映射为相应的故障模式 . 当使用 lp -MKELM 作为诊断模型 寻找映射函数 时，其初始优化问题表示为 min β,ξ,γ 1 2 ∑r q=1 ||βq||2 F + C 2 ∑n i=1 ||ξi ||2 2 , s.t. ∑r q=1 √ γqϕq(xi)βq = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1, γq ⩾ 0, p > 1 （1） || · ||F {kq(·,·)} r q=1 γ={γq} r q=1 β=[β T 1 ,β T 2 ,··· ,β T r ] T βq ∈ R |ϕq(·)|×m {kq(·,·)} r q=1 {ϕq(·)} r q=1 {kq(·,·)} r q=1 ξi = [ξi1,··· , ξim] T i yi = [yi1,··· , yim] T i α γ α ∗ γ ∗ 其中， 表示F 范数， 为预定义的r 个基核， 表示基核的组合权重， 表示模型总的输出权重， 表示对应于 基核 的输出权重， 为对应于基核 的特征映射；m 表示 ELM 的输出节点个 数 ； 表示对应于第 个故障样本的 训练误差向量， 表示第 个故障样 本的理想输出向量；C 为正则化因子，p 为范数约 束形式. 对式（1）对应的 Lagrange 函数中各变量分 别求偏导，并采用两步交替优化策略求解 Lagrange 乘子矩阵 以及基核组合权重 ，得出模型最优化 参数 和 ，则决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （2） α α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 其中 ， 为 Lagrange 乘子 ，并且有 ， . 1.2    权重分配方式 本文采用 Vong 等在文献 [24] 中提出的权重 分配方法，为每个样本分配权重，寻求各类样本在 规模上的再平衡，将分隔超边界推向多数类来减 轻样本类不平衡的影响，实际上属于代价敏感学 习范畴. 两种权重分配方式如下： W(1) = diag[w1,··· ,wn],wi = 1 #(yi)m ,i = 1,2,··· ,m （3） 其中， #(yi) 表示故障模式 yi 的训练样本数. 通过权 重分布，使得少数样本被赋予更大的权重. 显然， 数据的类不平衡程度越高，各类样本之间的分布 权重相差就越大. W(2) = diag[w1,··· ,wn],    wi = 0.618 #(yi)m ,if#(yi) > AVG wi = 1 #(yi)m ,if#(yi) ⩽ AVG （4） 其中，AVG 表示所有类的平均训练样本数，这样可 以减少少数群体和多数群体之间的平衡步长，使 其达到 0.618∶1 的比率. 在多类分类中，少数类是 指样本数量低于所有类平均样本数的那些类别，而 多数类是指样本数高于所有类平均样本数的类别. 2    改进的 lp 范数约束加权多核多故障集 成学习诊断框架 2.1    正则化加权多核极限学习机 w = {wi} n i=1 ∑n i=1wi = 1 wi n×n W = diag[w1,··· ,wn] 对于输入空间中的 n 组故障样本，假设其权重 分布为 ，并且有 . 为便于运算， 将其扩展为主对角线元素为 的 对角矩阵，表 示为 . β˜ q = √ 对于优化问题（1），令 γqβq ，可以得到 ∑r q=1 ||βq||2 F = ∑r q=1 ||β˜ q||2 F / γq （5） W 将式（3）代入优化问题（1），同时，将样本分布 权重矩阵 融合到优化问题中，得到 lp 范数约束 下正则化加权多核极限学习机： min β˜,ξ,γ 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 2 , s.t.∑r q=1 ϕq(xi)β˜ q = y T i −ξ T i ,i = 1,2,··· ,n, ∑r q=1 γ p q = 1,γq ⩾ 0, p > 1 （6） W 对比新的优化问题（4）与原优化问题（1），分 布权重 的融入使得模型可以根据样本的类不平 衡程度合理分配样本权重，确保诊断模型能够聚 焦到一些富含优化信息的训练样本上，从而有效 提高模型的解释能力. 为了求解优化问题（4），给出其对应的 Lagrange 函数. L1(β˜ q,ξi , γq,αi) = 1 2 ∑r q=1 1 γq ||β˜ q||2 F + C 2 ∑n i=1 wi ||ξi ||2 − ∑n i=1 ∑m l=1 αil   ∑r q=1 ϕq(xi)β˜ ql −yil +ξil   +λ   ∑r q=1 γ p q −1   （7） β˜ q = √ γqβq β˜ ql = √ γqlβql α λ α = [α1,··· ,αn] T αi = [αi1,··· ,αim] T 式中，由上文 ，可知 ， 和 均为 Lagrange 乘子，且 ， . 对式（5）中的优化变量分别求偏导，可得 ∂L1(β˜ q,ξi , γq,αi) ∂β˜ q = ∑r q=1 1 γq β˜ q − ∑r q=1 ∑n i=1 ϕ T q (xi)α T i = 0 → β˜ q = γq ∑n i=1 ϕ T q (xi)α T i （8） · 84 · 工程科学学报，第 44 卷，第 1 期

刘星等：一种改进的l。RWMKE-ELM故障诊断模型 85 0了w5iZ4s ∑1Bg.且B∈，ox1,所以可以得到 OE (9) B,=∑l∑15x6= aL,5coa-2a,-y+=010》 ∑∑Ax∑g ∑1∑∑nc) (18) ,-2,+2p 将式(16)代人式(15)可得yw.显然，当yg的 aY4 初始值非负时，在每次迭代中其为非负，因此，式 0→9g眼=2pyg1 (5)中不再对yg进行非负约束.通过两步交替优 (11) 化，得到最优模型参数和y,此时决策函数为 以下采用两步交替优化策略求解Lagrange乘 f0=∑∑yk (19) 子矩阵α以及基核组合权重y =1 (1)在固定y的条件下求解a 2.2基于Adaboost的多核集成学习诊断框架 将公式(6)、(7)依次代入式(8)中，得到 为进一步提升1，范数约束下正则化加权多核 an2--c (12) 极限学习机的诊断模型性能，本文采用集成学习 中广泛应用的Adaboost集成策略2（权重分别取 由公式(10)可得到， WD、W2两种形式)，构造三层集成诊断框架，每 三an,am- 层为一个分类器，将基核的集合定义为KZ= il {41;2;43,其中，1=km表示线性核；42= {pol.l,poly2,…,kPoly,pr表示pr个不同参数的多项 式核集合；43={KGauss.l,kGauss..2,…,KGaus.gr表示gr个 =1 (13) 不同参数的高斯核集合，并且有1+pr+gr=r. 以Y=[y1,…,yJ表示理想的输出矩阵，由式(12) 第一层分类器采用41去训练一个单核诊断模 得Ky)a=Y-a/WC,K)为核矩阵，由此求得 型，将公式(1)中多核数量设置为1（分类器退化为 =(K(y)+1/WC)-Y 一个KELM),得到决策函数f():第二层分类器采 (14) 用42训练多项式多核2-MKELM模型，由公式(19) (2)在固定α的条件下求解y (核函数选择组合多项式核)得到决策函数f(:同 由式(9)得到 理，当核函数选择组合高斯核时，得到第三层的决 (l 、/(p+I) IBll (p+D) (15) 策函数f().在获取f()(u=1,2,3)后，为方便表示， Ya= (2p)p* 用G():X→{1,2，…，m表示对应于f(的分类器， 根据∑冶=1的约束条件，由式(9)还可以 为得到最终的决策模型，还有三个问题要解决： 得到 (I)计算各层基本分类器分类误差率e4 令w表示第个样本在第u层分类器中的权重 (2p)/p*) (∑，a,2p+Vp (16) 值，则 因为Bg=ygBg,将其与式(14)一起代入 eu=P(Gu(i)≠y）)= wuil(Gn(x）≠y》） (20) 式(13)中，得到更新方程 台 (YallBl )(P+D) (为指示函数，其定义为 (17) YalB ll (D (0,if Gu(xi)=yi IGc)=1,ifGx)≠片 (21) 其中，yg表示第q个基核在上一次迭代中的权值； (2)计算决策函数f(⊙的重要度系数km yw表示第q个基核在本次迭代中的权值更新.由 重要度系数K表示G(x)在最终分类器中的重 式(6)得到，Bg=yg[(x1),x2),…,xna.根据 要程度，定义为 B,=ygBg,进一步有Bg=VTg∑%1aφgx, Ku =(1/2)In[(1-)/eu] (22) 12g(x…,%1cmg(x因为有邮g眼= 由上式可知，当eu≤1/2时，ku≥0，且kw随着eu

∂L1(β˜ q,ξi , γq,αi) ∂ξi = C ∑n i=1 wiξi − ∑n i=1 αi = 0 → ξi = 1 wiC αi （9） ∂L1(β˜ q,ξi , γq,αi) ∂αi = ∑r q=1 ϕq(xi)β˜ q − y T i +ξ T i = 0 （10） ∂L1(β˜ q,ξi , γq,αi) ∂γq = − 1 2 ∑r q=1 1 γ 2 q ||β˜ q||2 F +λ ∑r q=1 pγ p−1 q = 0 → ||β˜ q||2 F = 2pλγp+1 q （11） α γ 以下采用两步交替优化策略求解 Lagrange 乘 子矩阵 以及基核组合权重 . （1）在固定 γ 的条件下求解 α. 将公式（6）、（7）依次代入式（8）中，得到 ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i = y T i −α T i / wiC （12） 由公式（10）可得到， ∑r q=1 ϕq(xi)γq ∑n i=1 ϕ T q (xi)α T i =   ∑r q=1 γqkq(xi , x1), ∑r q=1 γqkq(xi , x2),··· , ∑r q=1 γqkq(xi , xn)   α （13） Y = [ y1,··· , yn ]T K(γ)α = Y −α/WC 以 表示理想的输出矩阵，由式（12） 得 ，K( ) 为核矩阵，由此求得 α = (K(γ)+1/WC) −1Y （14） （2）在固定 α 的条件下求解 γ. 由式（9）得到 γq =   ||β˜ q||2 F 2pλ   1/ (p+1) = ||β˜ q||2/ (p+1) F (2pλ) 1/ (p+1) （15） ∑r q=1 γ p 根据 q = 1 的约束条件，由式（9）还可以 得到 (2pλ) 1/ (p+1) = (∑r q=1 ||β˜ q||2p/ (p+1) F )1/ p （16） ||β˜ q||2 F = γq||βq||2 因为 F ，将其与式（14）一起代入 式（13）中，得到更新方程. γ new q = (γq||βq||2 F ) 1/ (p+1) [∑r q=1 (γq||βq||2 F ) p/ (p+1)]1/ p （17） γq γ new q β˜ q = γq[ϕ T q (x1),ϕ T q (x2),··· ,ϕ T q (xn)]α ||β˜ q||2 F = γq||βq||2 F βq = √ γq [∑n i=1 αi1ϕ T q (xi), ∑n i=1 αi2ϕ T q (xi),··· , ∑n i=1 αimϕ T q (xi) ] βq 2 F = 其中， 表示第 q 个基核在上一次迭代中的权值； 表示第 q 个基核在本次迭代中的权值更新. 由 式（6）得到， . 根据 ， 进 一 步 有 . 因 为 有 ∑m l−1 βq 2 2 βql ∈ R |ϕq(·)|×1 ，且 ，所以可以得到 ||βq||2 F = ∑m l=1 || √ γq ∑n i=1 αilϕ T q (xi)||2 2 = ∑m l=1 √ γq ∑n i=1 αilϕq(xi) √ γq ∑n j=1 αjlϕ T q (xj) = γq ∑n i=1 ∑n j=1 ∑m l=1 αilαjlkq(xi , xj) （18） γ new q γq γq α ∗ γ ∗ 将式（16）代入式（15）可得 . 显然，当 的 初始值非负时，在每次迭代中其为非负，因此，式 （5）中不再对 进行非负约束. 通过两步交替优 化，得到最优模型参数 和 ，此时决策函数为 f(·) = ∑n i=1 (α ∗ i ) T∑r q=1 γ ∗ q kq(xi ,·) （19） 2.2    基于 Adaboost 的多核集成学习诊断框架 W(1) W(2) KZ = {∆1; ∆2; ∆3} ∆1 = {kLin} ∆2 = {kPoly,1, kPoly,2,··· , kPoly,pr} pr ∆3 = {kGauss,1, kGauss,2,··· , kGauss,gr} gr 1+pr+gr = r 为进一步提升 lp 范数约束下正则化加权多核 极限学习机的诊断模型性能，本文采用集成学习 中广泛应用的 Adaboost 集成策略[25] （权重分别取 、 两种形式），构造三层集成诊断框架，每 层 为 一 个 分 类 器 ， 将 基 核 的 集 合 定 义 为 ， 其 中 ， 表 示 线 性 核 ； 表示 个不同参数的多项 式核集合； 表示 个 不同参数的高斯核集合，并且有 . ∆1 f1(·) ∆2 f2(·) f3(·) fu(·)(u = 1,2,3) Gu(·) : X → {1,2,··· ,m} fu(·) 第一层分类器采用 去训练一个单核诊断模 型，将公式（1）中多核数量设置为 1（分类器退化为 一个 KELM），得到决策函数 ；第二层分类器采 用 训练多项式多核 lp -MKELM 模型，由公式（19） （核函数选择组合多项式核）得到决策函数 ；同 理，当核函数选择组合高斯核时，得到第三层的决 策函数 . 在获取 后，为方便表示， 用 表示对应于 的分类器， 为得到最终的决策模型，还有三个问题要解决： （1）计算各层基本分类器分类误差率e˜u. wu,i 令 表示第 i 个样本在第u层分类器中的权重 值，则 e˜u = P(Gu(xi) , yi) = ∑n i=1 wu,iI(Gu(xi) , yi) （20） I(·) 为指示函数，其定义为 I(Gu(xi), yi) = { 0, if Gu(xi) = yi 1, if Gu(xi) , yi （21） （2）计算决策函数 fu(·) 的重要度系数κu. 重要度系数κu表示 Gu(x) 在最终分类器中的重 要程度，定义为 κu = (1/2)ln[(1−e˜u)/e˜u] （22） 由上式可知，当e˜u ⩽ 1/2 时 ， κu ⩾ 0 ，且κu随着e˜u 刘    星等： 一种改进的 lp -RWMKE-ELM 故障诊断模型 · 85 ·