《工程科学学报》：基于IPSO-GRU深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型（东北石油大学）

工程科学学报 Chinese Journal of Engineering 基于PS0-GRU深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型 邢海燕王松弘泽弋鸣杨健平朱孔阳刘超 Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect XING Hai-yan,WANG Song-hong-ze,YI Ming.YANG Jian-ping.ZHU Kong-yang.LIU Chao 引用本文： 邢海燕，王松弘泽，弋鸣，杨健平，朱孔阳，刘超.基于PSO-GRU深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型 工程科学学报，优先发表.doi:10.13374issn2095-9389.2020.11.06.001 XING Hai-yan,WANG Song-hong-ze,YI Ming,YANG Jian-ping,ZHU Kong-yang,LIU Chao.Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect[J].Chinese Journal of Engineering,In press.doi:10.13374/j.issn2095-9389.2020.11.06.001 在线阅读View online::htps/doi.org/10.13374/.issn2095-9389.2020.11.06.001 您可能感兴趣的其他文章 Articles you may be interested in 基于改进的支持向量回归机算法的磁记忆定量化缺陷反演 Metal magnetic memory quantitative inversion of defects based onoptimized support vector machine regression 工程科学学报.2018.40(9y:1123 https:1doi.org10.13374.issn2095-9389.2018.09.014 基于粒子群最大似然估计的焊缝早期隐性损伤磁记忆精确定位模型 MMM accurate location model of early hidden damage in welded joints based on PSO and MLE 工程科学学报.2017,3910：1559htps:/doi.org/10.13374.issn2095-9389.2017.10.015 基于PSO-RELM转炉冶炼终点锰含量预测模型 Improved prediction model for BOF end-point manganese content based on IPSO-RELM method 工程科学学报.2019,41(8：1052 https::/1doi.org10.13374.issn2095-9389.2019.08.011 金属磁记忆检测技术研究新进展与关键问题 Progress and key problems in the research on metal magnetic memory testing technology 工程科学学报.2020,42(12：1557htps:doi.org/10.13374.issn2095-9389.2020.05.10.002 基于深度循环神经网络的协作机器人动力学误差补偿 Error compensation of collaborative robot dynamics based on deep recurrent neural network 工程科学学报.2021,43(7)：995 https:doi.org10.13374.issn2095-9389.2020.04.30.003 基于自适应搜索的免疫粒子群算法 Immune particle swarm optimization algorithm based on the adaptive search strategy 工程科学学报.2017,39(1：125htps:/1doi.org10.13374.issn2095-9389.2017.01.016

基于IPSO-GRU深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型 邢海燕 王松弘泽 弋鸣 杨健平 朱孔阳 刘超 Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect XING Hai-yan, WANG Song-hong-ze, YI Ming, YANG Jian-ping, ZHU Kong-yang, LIU Chao 引用本文: 邢海燕, 王松弘泽, 弋鸣, 杨健平, 朱孔阳, 刘超. 基于IPSO-GRU深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型[J]. 工程科学学报, 优先发表. doi: 10.13374/j.issn2095-9389.2020.11.06.001 XING Hai-yan, WANG Song-hong-ze, YI Ming, YANG Jian-ping, ZHU Kong-yang, LIU Chao. Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect[J]. Chinese Journal of Engineering, In press. doi: 10.13374/j.issn2095-9389.2020.11.06.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2020.11.06.001 您可能感兴趣的其他文章 Articles you may be interested in 基于改进的支持向量回归机算法的磁记忆定量化缺陷反演 Metal magnetic memory quantitative inversion of defects based onoptimized support vector machine regression 工程科学学报. 2018, 40(9): 1123 https://doi.org/10.13374/j.issn2095-9389.2018.09.014 基于粒子群最大似然估计的焊缝早期隐性损伤磁记忆精确定位模型 MMM accurate location model of early hidden damage in welded joints based on PSO and MLE 工程科学学报. 2017, 39(10): 1559 https://doi.org/10.13374/j.issn2095-9389.2017.10.015 基于IPSO-RELM转炉冶炼终点锰含量预测模型 Improved prediction model for BOF end-point manganese content based on IPSO-RELM method 工程科学学报. 2019, 41(8): 1052 https://doi.org/10.13374/j.issn2095-9389.2019.08.011 金属磁记忆检测技术研究新进展与关键问题 Progress and key problems in the research on metal magnetic memory testing technology 工程科学学报. 2020, 42(12): 1557 https://doi.org/10.13374/j.issn2095-9389.2020.05.10.002 基于深度循环神经网络的协作机器人动力学误差补偿 Error compensation of collaborative robot dynamics based on deep recurrent neural network 工程科学学报. 2021, 43(7): 995 https://doi.org/10.13374/j.issn2095-9389.2020.04.30.003 基于自适应搜索的免疫粒子群算法 Immune particle swarm optimization algorithm based on the adaptive search strategy 工程科学学报. 2017, 39(1): 125 https://doi.org/10.13374/j.issn2095-9389.2017.01.016

工程科学学报.第44卷，第X期：1-9.2021年X月 Chinese Journal of Engineering,Vol.44,No.X:1-9,X 2021 https://doi.org/10.13374/j.issn2095-9389.2020.11.06.001;http://cje.ustb.edu.cn 基于PSO-GRU深度学习算法的海底管道缺陷尺寸磁记 忆定量反演模型 邢海燕四，王松弘泽，弋鸣，杨健平，朱孔阳，刘超 东北石油大学机械科学与工程学院，大庆163318 ☒通信作者，E-mail:xxhhyyhit@l63.com 摘要针对海底管道缺陷磁记忆定量反演的难题，提出一种基于改进粒子群优化的门控循环神经网络模型，即PSO- GU模型.以两端焊有盲板的X52管道作为实验材料，其上预制有不同直径、深度的缺陷.采用TSC5M-32磁记忆检测仪， 外接11-6W非接触探头，进行水下磁记忆检测试验，提取不同缺陷尺寸的磁记忆信号特征值.考虑到磁记忆信号特征值随缺 陷尺寸呈复杂的非线性变化，引入门控循环神经网络，利用其双门结构能够记忆缺陷处的信号特征，非线性回归拟合能力强 的特点，构建海底管道缺陷定量反演模型，进一步考虑到模型超参数选择的随机性，采用改进粒子群算法进行超参数寻优 验证结果表明：该模型对缺陷深度反演平均精度达96%：对缺陷直径反演平均精度达93%，为海底管道缺陷的磁记忆定量化 识别与反演提供了新的思路和方法 关键词金属磁记忆：海底管道缺陷：改进粒子群算法：门控循环神经网络：定量反演 分类号TG441.7 Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect XING Hai-yan,WANG Song-hong-ze,YI Ming,YANG Jian-ping,ZHU Kong-yang,LIU Chao School of Mechanical Science and Engineering,Northeast Petroleum University,Daqing 163318,China Corresponding author,E-mail:xxhhyyhit@163.com ABSTRACT As submarine oil and gas are exploited further,the safety of submarine pipelines is receiving increasing attention.Due to the complex operating environment and harsh working environment,submarine pipelines are vulnerable to damage;this leads to accidents.Once an accident occurs in the submarine pipeline,it not only causes massive economic losses but also adversely affects marine ecology.The metal magnetic memory (MMM)technology was proposed in the 20th century to detect macro defects and hidden defects early.To overcome the difficulties of the MMM quantitative inversion of submarine pipeline defects,this study proposed a gated recurrent unit (GRU)neural network model based on improved particle swarm optimization (IPSO).The X52 pipe specimens with blind plates that were welded at both ends were used,pipes had prefabricated defects of different diameters and depths.An 11-6W noncontact probe was used for underwater testing,the host was the TSC-5M-32 MMM Instrument.After conducting simulated submarine tests to obtain the MMM signals of pipe defects,the characteristic parameters of MMM signals with different defect sizes were extracted.It is found that the MMM characteristic parameters exhibit a complex nonlinear variation for different defect dimensions.Exploiting the GRU's dual-gate structure that can remember the signal characteristics of defects and its superior nonlinear regression fitting ability,a quantitative MMM GRU inversion model was established for detecting submarine pipeline defects.Furthermore,considering the 收稿日期：2020-11-06 基金项目：黑龙江省自然科学基金联合引导资助项目(LH2019A004):国家自然科学基金资助项目(11272084)：黑龙江省大学生创新创业 训练计划项目(202110220064)

基于 IPSO-GRU 深度学习算法的海底管道缺陷尺寸磁记 忆定量反演模型 邢海燕苣，王松弘泽，弋    鸣，杨健平，朱孔阳，刘    超 东北石油大学机械科学与工程学院, 大庆 163318 苣通信作者， E-mail:xxhhyyhit@163.com 摘    要    针对海底管道缺陷磁记忆定量反演的难题，提出一种基于改进粒子群优化的门控循环神经网络模型，即 IPSO￾GRU 模型. 以两端焊有盲板的 X52 管道作为实验材料，其上预制有不同直径、深度的缺陷，采用 TSC-5M-32 磁记忆检测仪， 外接 11-6W 非接触探头，进行水下磁记忆检测试验，提取不同缺陷尺寸的磁记忆信号特征值. 考虑到磁记忆信号特征值随缺 陷尺寸呈复杂的非线性变化,引入门控循环神经网络，利用其双门结构能够记忆缺陷处的信号特征，非线性回归拟合能力强 的特点，构建海底管道缺陷定量反演模型，进一步考虑到模型超参数选择的随机性，采用改进粒子群算法进行超参数寻优. 验证结果表明：该模型对缺陷深度反演平均精度达 96%；对缺陷直径反演平均精度达 93%，为海底管道缺陷的磁记忆定量化 识别与反演提供了新的思路和方法. 关键词    金属磁记忆；海底管道缺陷；改进粒子群算法；门控循环神经网络；定量反演 分类号    TG441.7 Metal magnetic memory quantitative inversion model based on IPSO-GRU algorithm for detecting submarine pipeline defect XING Hai-yan苣 ，WANG Song-hong-ze，YI Ming，YANG Jian-ping，ZHU Kong-yang，LIU Chao School of Mechanical Science and Engineering, Northeast Petroleum University, Daqing 163318, China 苣 Corresponding author, E-mail:xxhhyyhit@163.com ABSTRACT    As submarine oil and gas are exploited further, the safety of submarine pipelines is receiving increasing attention. Due to the  complex  operating  environment  and  harsh  working  environment,  submarine  pipelines  are  vulnerable  to  damage;  this  leads  to accidents.  Once  an  accident  occurs  in  the  submarine  pipeline,  it  not  only  causes  massive  economic  losses  but  also  adversely  affects marine ecology. The metal magnetic memory (MMM) technology was proposed in the 20th century to detect macro defects and hidden defects early. To overcome the difficulties of the MMM quantitative inversion of submarine pipeline defects, this study proposed a gated recurrent unit (GRU) neural network model based on improved particle swarm optimization (IPSO). The X52 pipe specimens with blind plates that were welded at both ends were used, pipes had prefabricated defects of different diameters and depths. An 11-6W noncontact probe was used for underwater testing; the host was the TSC-5M-32 MMM Instrument. After conducting simulated submarine tests to obtain the MMM signals of pipe defects, the characteristic parameters of MMM signals with different defect sizes were extracted. It is found  that  the  MMM  characteristic  parameters  exhibit  a  complex  nonlinear  variation  for  different  defect  dimensions.  Exploiting  the GRU’s dual-gate structure that can remember the signal characteristics of defects and its superior nonlinear regression fitting ability, a quantitative  MMM  GRU  inversion  model  was  established  for  detecting  submarine  pipeline  defects.  Furthermore,  considering  the 收稿日期: 2020−11−06 基金项目: 黑龙江省自然科学基金联合引导资助项目（LH2019A004）；国家自然科学基金资助项目（11272084）；黑龙江省大学生创新创业 训练计划项目（202110220064） 工程科学学报，第 44 卷，第 X 期：1−9，2021 年 X 月 Chinese Journal of Engineering, Vol. 44, No. X: 1−9, X 2021 https://doi.org/10.13374/j.issn2095-9389.2020.11.06.001; http://cje.ustb.edu.cn

工程科学学报，第44卷，第X期 randomness of the hyper-parameter selection in the model,the IPSO algorithm was used to optimize the hyper-parameters.Validation results show that the model has an average accuracy of up to96%and 93%for defect depth inversion and defect diameter inversion, respectively.Using the MMM method,this study provides a new idea and method for the quantitative identification and defect inversion of submarine pipeline defects. KEY WORDS metal magnetic memory;submarine pipeline defects;improved particle swarm optimization;gated recurrent unit neural network;quantitative inversion 海底管道被称为“海洋生命线”，随着海洋油 帅等叨将主成分分析法与遗传算法优化BP神经 气事业的发展，海底管道的损伤问题越来越严重 网络相结合，实现了基于磁记忆检测信号对钢板 在海底管道各类事故中，由于管道缺陷所引起的 表面缺陷的定量化评价.骆正山等8-构建了基 事故占比达到事故总数的一半以上山海底管道 于动态贝叶斯网络的系统失效模型，对海底管道 一旦出现事故，不但会造成严重的经济损失，而 系统不同疲劳寿命下的失效概率进行预测，并进 且严重影响海洋生态，因此，及早对海底管道缺 一步建立了基于套索回归和鲸鱼优化算法的最小 陷进行检测与定量评价，不仅可以保证海底管道 二乘支持向量机腐蚀速率预测模型.笔者等20-) 安全运行，避免事故的发生，还可以针对性地对 建立了基于粒子群最大似然估计的焊缝早期隐性 不同程度的缺陷采用不同修复措施，有效节省人 损伤磁记忆精确定位模型与基于免疫优化的动态 力物力 模糊聚类金属焊缝缺陷等级识别模型.Zhou等四 金属磁记忆检测技术于20世纪末被俄罗斯学 通过磁记忆信号，确定了被测管道的疲劳损伤状 者Dubov!提出后，得到了广泛关注与探索-，其 态.Zhao等2I通过试验，定义了两个表征参数Sn、 不仅能够检测宏观缺陷，而且能够检测早期隐性 S评价试样的腐蚀程度，进而建立了腐蚀深度与 缺陷与异常应力集中.目前国内外的众多学者基 参数的关系 于金属磁记忆技术对焊缝及管道缺陷进行了大量 由于磁记忆检测过程中，受外界干扰因素较 的研究，但是海底管道方面的研究仍处于起步阶 多，磁记忆数据存在着分散性、波动性、模糊性等 段.焦江娜研究了不同因素对磁记忆信号的影 特点，故原始数据只能大致判断缺陷位置，这对海 响规律，建立了缺陷特征和磁记忆信号特征的关 底管道缺陷定量识别造成了瓶颈.传统的聚类方 系模型.时朋朋和郝帅图建立了适用于力磁耦合 法在对缺陷进行定量识别过程中，存在对“噪声” 性磁偶极子理论模型，完成了对磁记忆检测中的 数据敏感、样本平衡性要求高等缺点，而传统的机 一些基本实验现象和规律的解释.包胜等9通过 器学习方法，如BP神经网络，在样本的训练过程 提取铁磁性材料在缺陷处的磁记忆信号特征，利 中采用浅层结构算法，模型的收敛速度不受控，学 用表面磁场分布状况，对试件的应力集中状况进 习和泛化能力较差.针对上述问题，本文对含有预 行评价.Xu等1c-四采用磁场梯度平均值Kve及磁 制缺陷的管道进行水下模拟实验，提取管道在不 场梯度最大值Kmax,对不同的焊接缺陷及应力集 同条件下的磁记忆信号特征值，引入非线性函数 中的损伤进行了描述；确定了磁记忆信号与缺陷 拟合能力强、能够保留缺陷特征、丢弃冗杂信息 埋深的关系，并研究了不同加载阶段下埋藏缺陷 的门控循环神经网络(Gated recurrent unit,.GRU), 磁记忆信号的变化；通过对预制不同宽度和深度 利用改进粒子群算法优化门控循环单元神经网 缺陷的Q345R钢试件进行实验，研究了热处理前 络，建立了基于IPSO-GRU深度学习算法的海底管 后缺陷磁记忆参数的变化.李立刚等1在小样本 道缺陷磁记忆定量识别模型，该算法既可以避免 条件下通过支持向量机对管道深度缺陷进行了 超参数选择的随机性，又可以最大化体现出数据 定量化反演.万勇等利用多特征量阈值统计识 之间的内在相关性，增强了模型性能，进一步提高 别方法对管道腐蚀缺陷和早期应力集中缺陷进行 了预测精度，为海底管道缺陷的磁记忆定量化识 识别，并通过3种不同试件对方法进行验证.易方 别与反演提供了新的思路 等)提出了一种基于模糊核支持向量机的缺陷识 1 改进粒子群门控循环神经网络 别方法，识别了管道3种不同的缺陷状态.E- Abbasy等利用网络分析法和蒙特卡罗模拟，建 1.1门控循环神经网络 立了基于腐蚀因素的油气管道状态评估模型.王 门控循环神经网络作为长短期记忆网络

randomness of the hyper-parameter selection in the model, the IPSO algorithm was used to optimize the hyper-parameters. Validation results show that the model has an average accuracy of up to 96% and 93% for defect depth inversion and defect diameter inversion, respectively. Using the MMM method, this study provides a new idea and method for the quantitative identification and defect inversion of submarine pipeline defects. KEY WORDS    metal magnetic memory；submarine pipeline defects；improved particle swarm optimization；gated recurrent unit neural network；quantitative inversion 海底管道被称为“海洋生命线”，随着海洋油 气事业的发展，海底管道的损伤问题越来越严重. 在海底管道各类事故中，由于管道缺陷所引起的 事故占比达到事故总数的一半以上[1] . 海底管道 一旦出现事故，不但会造成严重的经济损失，而 且严重影响海洋生态. 因此，及早对海底管道缺 陷进行检测与定量评价，不仅可以保证海底管道 安全运行，避免事故的发生，还可以针对性地对 不同程度的缺陷采用不同修复措施，有效节省人 力物力. 金属磁记忆检测技术于 20 世纪末被俄罗斯学 者 Dubov[2] 提出后，得到了广泛关注与探索[3−6] ，其 不仅能够检测宏观缺陷，而且能够检测早期隐性 缺陷与异常应力集中. 目前国内外的众多学者基 于金属磁记忆技术对焊缝及管道缺陷进行了大量 的研究，但是海底管道方面的研究仍处于起步阶 段. 焦江娜[7] 研究了不同因素对磁记忆信号的影 响规律，建立了缺陷特征和磁记忆信号特征的关 系模型. 时朋朋和郝帅[8] 建立了适用于力磁耦合 性磁偶极子理论模型，完成了对磁记忆检测中的 一些基本实验现象和规律的解释. 包胜等[9] 通过 提取铁磁性材料在缺陷处的磁记忆信号特征，利 用表面磁场分布状况，对试件的应力集中状况进 行评价. Xu 等[10−12] 采用磁场梯度平均值 Kave 及磁 场梯度最大值 Kmax，对不同的焊接缺陷及应力集 中的损伤进行了描述；确定了磁记忆信号与缺陷 埋深的关系，并研究了不同加载阶段下埋藏缺陷 磁记忆信号的变化；通过对预制不同宽度和深度 缺陷的 Q345R 钢试件进行实验，研究了热处理前 后缺陷磁记忆参数的变化. 李立刚等[13] 在小样本 条件下通过支持向量机对管道深度缺陷进行了 定量化反演. 万勇等[14] 利用多特征量阈值统计识 别方法对管道腐蚀缺陷和早期应力集中缺陷进行 识别，并通过 3 种不同试件对方法进行验证. 易方 等[15] 提出了一种基于模糊核支持向量机的缺陷识 别方法 ，识别了管道 3 种不同的缺陷状态. El￾Abbasy 等[16] 利用网络分析法和蒙特卡罗模拟，建 立了基于腐蚀因素的油气管道状态评估模型. 王 帅等[17] 将主成分分析法与遗传算法优化 BP 神经 网络相结合，实现了基于磁记忆检测信号对钢板 表面缺陷的定量化评价. 骆正山等[18−19] 构建了基 于动态贝叶斯网络的系统失效模型，对海底管道 系统不同疲劳寿命下的失效概率进行预测，并进 一步建立了基于套索回归和鲸鱼优化算法的最小 二乘支持向量机腐蚀速率预测模型. 笔者等[20−21] 建立了基于粒子群最大似然估计的焊缝早期隐性 损伤磁记忆精确定位模型与基于免疫优化的动态 模糊聚类金属焊缝缺陷等级识别模型. Zhou 等[22] 通过磁记忆信号，确定了被测管道的疲劳损伤状 态. Zhao 等[23] 通过试验，定义了两个表征参数 Sn、 St 评价试样的腐蚀程度，进而建立了腐蚀深度与 参数的关系. 由于磁记忆检测过程中，受外界干扰因素较 多，磁记忆数据存在着分散性、波动性、模糊性等 特点，故原始数据只能大致判断缺陷位置，这对海 底管道缺陷定量识别造成了瓶颈. 传统的聚类方 法在对缺陷进行定量识别过程中，存在对“噪声” 数据敏感、样本平衡性要求高等缺点，而传统的机 器学习方法，如 BP 神经网络，在样本的训练过程 中采用浅层结构算法，模型的收敛速度不受控，学 习和泛化能力较差. 针对上述问题，本文对含有预 制缺陷的管道进行水下模拟实验，提取管道在不 同条件下的磁记忆信号特征值，引入非线性函数 拟合能力强、能够保留缺陷特征、丢弃冗杂信息 的门控循环神经网络 (Gated recurrent unit，GRU)， 利用改进粒子群算法优化门控循环单元神经网 络，建立了基于 IPSO-GRU 深度学习算法的海底管 道缺陷磁记忆定量识别模型. 该算法既可以避免 超参数选择的随机性，又可以最大化体现出数据 之间的内在相关性，增强了模型性能，进一步提高 了预测精度，为海底管道缺陷的磁记忆定量化识 别与反演提供了新的思路. 1    改进粒子群门控循环神经网络 1.1    门控循环神经网络 门控循环神经网络作为长短期记忆网络 · 2 · 工程科学学报，第 44 卷，第 X 期

邢海燕等：基于PSO-GU深度学习算法的海底管道缺陷尺寸飚记忆定量反演模型 3· (Long short--term memory,LSTM)的一种变体，于 的链式模型，其当前时刻的输出依赖于当前时刻 2014年被首次提出2，是一种由多个神经元组成 的输入和之前时刻的记忆，如图l(a)所示. (a) (b) Update gate +1 CRU CRU CRU nh Reset gate 图1GRU结构图.(a)GRU神经网路结构：(b)GRU单元结构 Fig.1 GRU structure:(a)illustration of GRU neural network structure;(b)illustration of GRU cell 单个神经元结构如图1(b)所示，GRU在 Vi=wVh+ciei(Pl-Xi)+cze2(Pea-Xh) LSTM3门结构的基础上，将遗忘门与输人门组 结=路+特 合成为更新门(Update gate),更新门规定了丢弃及 (4) 添加的信息量，更新门值越大说明前一神经元信 式中，o为惯性权重，仁1,2，，D为粒子维度；k为 息保留越少.x,为当前神经元输入，-1为前一神 当前迭代次数；=1,2，，n为粒子个数：Va为第1个 经元输出作为当前神经元的输入，则更新门输 粒子在第d维的速度；Xa为第I个粒子在第d维 出Z: 的位置；c1和c2为学习因子；e1和e2为分布于[0,1] Z:=(Wz.[h-1,x1]) (1) 上的随机数；P为第I个粒子在第d维的最优位 式中，W2为更新门权重矩阵，σ为激活函数 置，Pa为种群在第d维的最优位置. 重置门(Reset gate)规定了遗忘的信息量，重 传统PSO惯性权重o为定值，在靠近最优解 置门的值越小说明遗忘的信息越多，当重置门值 时不能改变步长精细搜索，导致收敛精度低， 为0时，表示抛弃前一时刻信息.则重置门输出 针对此问题，本文采用自适应的惯性权重①，对 r为： PSO进行改进，在迭代初期采用较大的惯性权 rt=Wr-[hi-1,x1) (2) 重，扩大算法搜索范围避免陷入局部最优解，在 式中，W,为重置门权重矩阵 迭代后期采用较小的惯性权重，精细搜索，提高 于是当前神经元输出h,为： 收敛精度，自适应的惯性权重。更新公式如式 =(I-Z)*+Z:*tanh(W.[r*x)(3) (5)所示： 式中，1为单位向量 个 w=@max-(@max-@min)X tar 4 (5) 双门结构使GRU在训练过程中能够存储长序 列信息，保留缺陷特征，并且能够捕捉数据之间的 式中，N为最大迭代次数；omax、omn分别为惯性 相互依赖关系.与LSTM的三门结构相比，GRU 权重最大值、最小值. 的双门结构参数更少，因此训练速度更快，非线性 同时，进一步考虑在迭代过程中，因趋同效应 函数拟合能力更强，泛化所需要的数据也更少，提 导致粒子多样性下降，种群空间逐渐缩小，陷入局 高管道缺陷反演精度 部最优解，为此引入变异思想，在第k代时保留最 1.2改进粒子群算法 优粒子位置，重新产生b个位置随机的粒子，防止 粒子群算法(Particle swarm optimization,.PSO)2 陷入局部最优解，对粒子搜索范围进行修正，b值 是一种基于种群的全局随机搜索算法，每个优化 如式(6)所示： 问题的潜在解都可以视为搜索空间中的1个粒子 Pea=Pu 在进行迭代的过程中，粒子通过个体的最优位置 0.5-k (6) b=n 和全局的最优位置来更新自身的速度和位置，更 N+0.5 新公式如式(4)所示： 式中，n为粒子总数

（ Long short-term memory， LSTM）的一种变体 ，于 2014 年被首次提出[24] ，是一种由多个神经元组成 的链式模型，其当前时刻的输出依赖于当前时刻 的输入和之前时刻的记忆，如图 1（a）所示. CRU CRU CRU X X tanh X σ σ 1− + ht−1 ht−1 ht ht−1 ht+1 ht+1 ht−2 ht ht xt−1 xt+1 xt rt Zt xt (a) (b) Update gate Reset gate 图 1    GRU 结构图. （a）GRU 神经网络结构；（b）GRU 单元结构 Fig.1    GRU structure: (a) illustration of GRU neural network structure; (b) illustration of GRU cell 单 个 神 经 元 结 构 如 图 1（ b） 所 示 ， GRU 在 LSTM 3 门结构的基础上，将遗忘门与输入门组 合成为更新门 (Update gate)，更新门规定了丢弃及 添加的信息量，更新门值越大说明前一神经元信 息保留越少. xt 为当前神经元输入，ht−1 为前一神 经元输出作为当前神经元的输入，则更新门输 出 Zt： Zt = σ(WZ ·[ht−1, xt]) （1） 式中，WZ 为更新门权重矩阵，σ 为激活函数. 重置门 (Reset gate) 规定了遗忘的信息量，重 置门的值越小说明遗忘的信息越多，当重置门值 为 0 时，表示抛弃前一时刻信息. 则重置门输出 rt 为： rt = σ(Wr ·[ht−1, xt]) （2） 式中，Wr 为重置门权重矩阵. 于是当前神经元输出 ht 为： ht = (I−Zt) ∗ ht−1 + Zt ∗ tanh(W ·[rt ∗ ht−1, xt]) （3） 式中，I 为单位向量. 双门结构使 GRU 在训练过程中能够存储长序 列信息，保留缺陷特征，并且能够捕捉数据之间的 相互依赖关系. 与 LSTM 的三门结构相比，GRU 的双门结构参数更少，因此训练速度更快，非线性 函数拟合能力更强，泛化所需要的数据也更少，提 高管道缺陷反演精度. 1.2    改进粒子群算法 粒子群算法（Particle swarm optimization，PSO） [25] 是一种基于种群的全局随机搜索算法，每个优化 问题的潜在解都可以视为搜索空间中的 1 个粒子. 在进行迭代的过程中，粒子通过个体的最优位置 和全局的最优位置来更新自身的速度和位置，更 新公式如式（4）所示:    V k+1 ld = ωV k ld +c1e1(P k ld − X k ld)+c2e2(P k gd − X k ld) X k+1 ld = X k ld +V k+1 ld （4） P k ld P k gd 式中，ω 为惯性权重，d=1,2，...，D 为粒子维度；k 为 当前迭代次数；l=1,2,...,n 为粒子个数；Vld 为第 l 个 粒子在第 d 维的速度；Xld 为第 l 个粒子在第 d 维 的位置；c1 和 c2 为学习因子；e1 和 e2 为分布于 [0,1] 上的随机数； 为第 l 个粒子在第 d 维的最优位 置， 为种群在第 d 维的最优位置. 传统 PSO 惯性权重 ω 为定值，在靠近最优解 时不能改变步长精细搜索 ，导致收敛精度低 ， 针对此问题，本文采用自适应的惯性权重 ω，对 PSO 进行改进，在迭代初期采用较大的惯性权 重，扩大算法搜索范围避免陷入局部最优解，在 迭代后期采用较小的惯性权重，精细搜索，提高 收敛精度，自适应的惯性权重 ω 更新公式如式 （5）所示： ω = ωmax−(ωmax−ωmin)×tan( k N ) × π 4 （5） 式中，N 为最大迭代次数；ωmax、ωmin 分别为惯性 权重最大值、最小值. 同时，进一步考虑在迭代过程中，因趋同效应 导致粒子多样性下降，种群空间逐渐缩小，陷入局 部最优解，为此引入变异思想，在第 k 代时保留最 优粒子位置，重新产生 b 个位置随机的粒子，防止 陷入局部最优解，对粒子搜索范围进行修正，b 值 如式（6）所示：    P k−1 gd = P k gd b = n · 0.5 · k N +0.5 （6） 式中，n 为粒子总数. 邢海燕等： 基于 IPSO-GRU 深度学习算法的海底管道缺陷尺寸磁记忆定量反演模型 · 3 ·

工程科学学报，第44卷，第X期 1.3改进粒子群优化门控循环神经网络 考虑缺陷直径与缺陷深度共同作用对磁记忆信号 目前在GRU训练过程中的超参数：学习率、 反演精度产生影响，因此通过构建二维适应度函 第一隐含层节点数、第二隐含层节点数，往往依靠 数，控制缺陷直径与缺陷深度二维输出的精度，确 人工经验确定，或采用暴力枚举法寻找超参数组 定网络拟合程度最高的超参数组合，适应度函数 合，不同的训练集对应的超参数设置往往会影响 如式(7)所示： 预测精度.超参数中，学习率决定权值更新的速 N2 度，学习率设置过大会导致结果偏离最优值，太小 MSE= 1- N22 (7) 会导致下降速度过慢，隐含层节点数决定着深度 学习神经网络的拟合度 式中，N为训练样本数，为第i个样本的第j维缺 利用上文的改进粒子群算法IPSO,对GRU的 陷尺寸的实际值，为第i个样本的第维缺陷尺 超参数进行寻优，以均方差作为适应度函数，利用 寸的预测值 其梯度值动态变化，能够快速的收敛的特性，同时 其算法流程如图2所示，具体步骤如下 Algorithm begin Training set Set the parameters Set MSE as fitness function Calculate the fitness value Satisfy the end condition Outputs the optimal combination of hyper-parameters N Update the particle position Produce some randomly positioned particles 图2PSO优化超参数流程图 Fig.2 IPSO optimized hyper-parameter flowchart (1)种群初始化.设定算法相关参数，确定粒 足，停止运算，输出并保存当前超参数组合.若否， 子数量、最大迭代次数、学习因子值，确定式(5) 则继续迭代直至满足中止条件 中惯性权重最大值、最小值，生成一个维度分别为 2试验研究 学习率、第一隐含层节点数、第二隐含层节点数 的三维种群粒子 2.1试验方法 (2)适应度计算.在迭代过程中，以式(7)作为 实验材料为两端焊有盲板的X52管道，长度 适应度函数，计算不同粒子适应度值，将不同粒子 650mm,直径为168mm,厚度为8mm,其中一端 适应度值与种群最优适应度值进行比较，根据比 盲板安装有打压接口，管道上预制有不同直径、深 较结果，判断是否需要更新粒子种群最优位置. 度的圆孔状缺陷，分为两组，其中一组缺陷直径为 (3)粒子变异.为避免陷入局部最优解，进行 10mm,深度分别为2、3和4mm,对应图3(a)中缺 粒子变异，根据式(6)得到b值，依照b值生成随机 陷序号1、2和3：另一组缺陷深度为4mm,直径分 粒子，计算随机粒子的适应度值，再次根据适应度 别为5、10和15mm,对应图3(a)中缺陷序号4、 值判断是否更新粒子种群最优位置 5和6. (4)迭代终止.当达到设定迭代次数时停止， 实验装置如图3(b)所示，主要包括：水槽、电 判断群体最优位置的粒子适应度值是否满足设定 动打压泵、造浪泵、流量调节阀、电磁流量计等， 精度，适应度越小表明当前预测精度越高.若满 用于模拟不同的管道内压及水流速度

1.3    改进粒子群优化门控循环神经网络 目前在 GRU 训练过程中的超参数：学习率、 第一隐含层节点数、第二隐含层节点数，往往依靠 人工经验确定，或采用暴力枚举法寻找超参数组 合，不同的训练集对应的超参数设置往往会影响 预测精度. 超参数中，学习率决定权值更新的速 度，学习率设置过大会导致结果偏离最优值，太小 会导致下降速度过慢. 隐含层节点数决定着深度 学习神经网络的拟合度. 利用上文的改进粒子群算法 IPSO，对 GRU 的 超参数进行寻优，以均方差作为适应度函数，利用 其梯度值动态变化，能够快速的收敛的特性，同时 考虑缺陷直径与缺陷深度共同作用对磁记忆信号 反演精度产生影响，因此通过构建二维适应度函 数，控制缺陷直径与缺陷深度二维输出的精度，确 定网络拟合程度最高的超参数组合，适应度函数 如式（7）所示： MSE = 1 N ∑ N i=1 ∑ 2 j=1 (y t i j −y p i j) 2 （7） y t i j y p i j 式中，N 为训练样本数， 为第 i 个样本的第 j 维缺 陷尺寸的实际值， 为第 i 个样本的第 j 维缺陷尺 寸的预测值. 其算法流程如图 2 所示，具体步骤如下. Calculate the fitness value Satisfy the end condition Algorithm begin Set the parameters Training set Set MSE as fitness function Produce some randomly positioned particles Update the particle position Y N Outputs the optimal combination of hyper-parameters 图 2    IPSO 优化超参数流程图 Fig.2    IPSO optimized hyper-parameter flowchart （1）种群初始化. 设定算法相关参数，确定粒 子数量、最大迭代次数、学习因子值，确定式（5） 中惯性权重最大值、最小值，生成一个维度分别为 学习率、第一隐含层节点数、第二隐含层节点数 的三维种群粒子. （2）适应度计算. 在迭代过程中，以式（7）作为 适应度函数，计算不同粒子适应度值，将不同粒子 适应度值与种群最优适应度值进行比较，根据比 较结果，判断是否需要更新粒子种群最优位置. （3）粒子变异. 为避免陷入局部最优解，进行 粒子变异，根据式（6）得到 b 值，依照 b 值生成随机 粒子，计算随机粒子的适应度值，再次根据适应度 值判断是否更新粒子种群最优位置. （4）迭代终止. 当达到设定迭代次数时停止， 判断群体最优位置的粒子适应度值是否满足设定 精度，适应度越小表明当前预测精度越高. 若满 足，停止运算，输出并保存当前超参数组合. 若否， 则继续迭代直至满足中止条件. 2    试验研究 2.1    试验方法 实验材料为两端焊有盲板的 X52 管道，长度 650 mm，直径为 168 mm，厚度为 8 mm，其中一端 盲板安装有打压接口，管道上预制有不同直径、深 度的圆孔状缺陷，分为两组，其中一组缺陷直径为 10 mm，深度分别为 2、3 和 4 mm，对应图 3（a）中缺 陷序号 1、2 和 3；另一组缺陷深度为 4 mm，直径分 别为 5、10 和 15 mm，对应图 3（ a）中缺陷序号 4、 5 和 6. 实验装置如图 3（b）所示，主要包括：水槽、电 动打压泵、造浪泵、流量调节阀、电磁流量计等， 用于模拟不同的管道内压及水流速度. · 4 · 工程科学学报，第 44 卷，第 X 期