工程科学学报，第38卷，第9期：1233-1241,2016年9月 Chinese Journal of Engineering,Vol.38,No.9:1233-1241,September 2016 D0l:10.13374/j.issn2095-9389.2016.09.006:http://journals.ustb.edu.cn 基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量 软测量建模 郭东伟2》，周平12)四 1)东北大学流程工业综合自动化国家重点实验室，沈阳1108192)矿治过程自动控制技术国家重点实验室，北京102628 ☒通信作者，E-mail:zhouping(@mail.ncu.cdu.cn 摘要针对高炉炼铁过程的关键工艺指标一铁水硅含量]难以直接在线检测且化验过程滞后的问题，提出一种基于 稀疏化鲁棒最小二乘支持向量机(R-S-LS-SV)与多目标遗传参数优化的铁水[S]动态软测量建模方法.首先，针对标准 最小二乘支持向量机(LS一SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题，提取样本数据在特征空间映 射集的极大无关组来实现训练样本集的稀疏化，降低建模的计算复杂度：其次，标准最小二乘支持向量机的目标函数鲁棒性 不足的问题将GGⅢ加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进，得到鲁棒性较强的稀疏化鲁棒最 小二乘支持向量机模型：最后，针对常规均方根误差评价模型性能的不足，提出从建模误差与估计趋势评价建模性能的多目 标评价指标.在此基础上，利用非支配排序的带有精英策略的多目标遗传算法优化模型参数，从而获得具有最优参数的铁水 S]在线软测量模型.工业实验及比较分析验证了所提方法的有效性和先进性. 关键词炼铁：硅含量；建模：最小二乘法：支持向量机：多目标优化 分类号TP18 Soft-sensor modeling of silicon content in hot metal based on sparse robust LS-SVR and multi-objective optimization GUO Dong-eei,ZHOU Ping) 1)State Key Laboratory of Synthetical Automation for Process Industries,Northeastem University,Shenyang 110819,China 2)State Key Laboratory of Process Automation in Mining Metallurgy,Beijing 102628,China Corresponding author,E-mail:zhouping@mail.neu.edu.cn ABSTRACT To solve the problem that the parameter of silicon content [Si])in hot mental is difficult to be directly detected and obtained by manual analysis with large time delay,a method of sparse and robust least squares support vector regression (R-S-IS- SVR)was proposed to establish a dynamic model of [Si]with the help of the multi-objective genetic optimization of model parame- ters.First,owing to the issue that the Lagrange multiplier of the standard least squares support vector machine (LS-SVR)is directly proportional to the error term and solves the lack of sparsity,the maximal independent set of sample data in the feature space mapping set was extracted to realize the sparse of the training sample set and reduce the computational complexity of modeling.Next,in view of the problem that the standard least squares support vector machine has no regularization term,a method to improve the modeling ro- bustness was proposed by introducing the IGGIlI weighting function into the obtained sparse least squares support vector regression (S-IS-SVR)model.Last,the multi-objective evaluation index that synthesizes the modeling residue and the estimated trend was 收稿日期：2015-11-20 基金项目：国家自然科学基金资助项目(61473064：61290323：61333007)：中央高校基本科研业务费资助项目(N130108001):辽宁省教有厅 科技基金资助项目(120150186)
工程科学学报，第 38 卷，第 9 期: 1233--1241，2016 年 9 月 Chinese Journal of Engineering，Vol． 38，No． 9: 1233--1241，September 2016 DOI: 10． 13374 /j． issn2095--9389． 2016． 09． 006; http: / /journals． ustb． edu． cn 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量 软测量建模 郭东伟1，2) ，周 平1，2) 1) 东北大学流程工业综合自动化国家重点实验室，沈阳 110819 2) 矿冶过程自动控制技术国家重点实验室，北京 102628 通信作者，E-mail: zhouping@ mail． neu． edu． cn 摘 要 针对高炉炼铁过程的关键工艺指标———铁水硅含量［Si］难以直接在线检测且化验过程滞后的问题，提出一种基于 稀疏化鲁棒最小二乘支持向量机( Ｒ--S--LS--SVＲ) 与多目标遗传参数优化的铁水［Si］动态软测量建模方法． 首先，针对标准 最小二乘支持向量机( LS--SVＲ) 的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题，提取样本数据在特征空间映 射集的极大无关组来实现训练样本集的稀疏化，降低建模的计算复杂度; 其次，标准最小二乘支持向量机的目标函数鲁棒性 不足的问题将 IGGIII 加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进，得到鲁棒性较强的稀疏化鲁棒最 小二乘支持向量机模型; 最后，针对常规均方根误差评价模型性能的不足，提出从建模误差与估计趋势评价建模性能的多目 标评价指标． 在此基础上，利用非支配排序的带有精英策略的多目标遗传算法优化模型参数，从而获得具有最优参数的铁水 ［Si］在线软测量模型． 工业实验及比较分析验证了所提方法的有效性和先进性． 关键词 炼铁; 硅含量; 建模; 最小二乘法; 支持向量机; 多目标优化 分类号 TP18 Soft-sensor modeling of silicon content in hot metal based on sparse robust LS--SVＲ and multi-objective optimization GUO Dong-wei 1，2) ，ZHOU Ping1，2) 1) State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University，Shenyang 110819，China 2) State Key Laboratory of Process Automation in Mining ＆ Metallurgy，Beijing 102628，China Corresponding author，E-mail: zhouping@ mail． neu． edu． cn 收稿日期: 2015--11--20 基金项目: 国家自然科学基金资助项目( 61473064; 61290323; 61333007) ; 中央高校基本科研业务费资助项目( N130108001) ; 辽宁省教育厅 科技基金资助项目( L20150186) ABSTＲACT To solve the problem that the parameter of silicon content ( ［Si］) in hot mental is difficult to be directly detected and obtained by manual analysis with large time delay，a method of sparse and robust least squares support vector regression ( Ｒ--S--LS-- SVＲ) was proposed to establish a dynamic model of ［Si］with the help of the multi-objective genetic optimization of model parameters． First，owing to the issue that the Lagrange multiplier of the standard least squares support vector machine ( LS--SVＲ) is directly proportional to the error term and solves the lack of sparsity，the maximal independent set of sample data in the feature space mapping set was extracted to realize the sparse of the training sample set and reduce the computational complexity of modeling． Next，in view of the problem that the standard least squares support vector machine has no regularization term，a method to improve the modeling robustness was proposed by introducing the IGGIII weighting function into the obtained sparse least squares support vector regression ( S--LS--SVＲ) model． Last，the multi-objective evaluation index that synthesizes the modeling residue and the estimated trend was
·1234. 工程科学学报，第38卷，第9期 presented to compensate for the deficiency of the single root mean square error (RMSE)index.Based on those,an on-line soft sensor model of hot metal [Si]with the optimal parameters was obtained by using the multi-objective genetic algorithm (NSGA-II)with the non-dominated sort and elitist strategy.Industrial verification and analysis show the effectiveness and superiority of the proposed method. KEY WORDS ironmaking:silicon content:modeling:least squares methods;support vector machines:multi-objective optimization 高炉炼铁是钢铁生产中的重要单元，其作用就是 (LS-SVR)建模技术，用于对铁水Si]进行动态软测 将固态的铁矿石通过复杂的高温、高压等物理化学变 量建模.首先，以LS-SVR为基础，通过提取样本数据 化和多相多场耦合效应，在焦炭、煤气等作用下还原成 在特征空间映射集的极大无关组来实现训练样本集的 液态的铁水.一个典型的高炉炼铁系统主要由高炉本 稀疏化，降低建模的计算复杂度s;然后，将IGCⅢ 体、上料系统、送风系统、高炉烟气净化系统、渣铁处理 权函数引入稀疏化后的S-LS-SVR模型，得到鲁棒性 系统和喷吹燃料系统等组成0.由于炼铁高炉内部在 较好的RS-LS-SVR模型：最后，针对常规均方根误 高温、高压的条件下进行着复杂的气一固、气一液、固一 差评价建模性能的不足，提出从建模误差与估计趋势 固、固一液等多相转换，众多变量和参数之间错综复杂 综合评价建模性能的多目标评价指标.在此基础上， 和相互耦合，被公认为是最复杂的逆流反应器.一直 利用非支配排序的带有精英策略的多目标遗传算法 以来，高炉炼铁过程的建模、控制与优化是维持高炉稳 (NSGA-I)优化RS-LS-SVR模型结构参数，从而获 定顺行、高产、优质和低耗的重要手段0.目前，由于 得最优参数的铁水[S]在线估计模型. 测量手段的限制，反映铁水质量和高炉热状态的关键 1 指标一硅含量(S])的测量一般仍采用人工定期 建模问题描述 抽样化验的方式进行，由于人工检测的滞后性和不精 从提高产品质量和节约能源的角度而言，高炉系 确性，使得基于S]质量参数的高炉炉况判断和高炉 统的控制与优化的主要对象是铁水硅含量([S]),它 操作异常困难.因此，实现优质、低耗的高炉运行优化 也是衡量高炉内热状态的重要标志，S]过高或过低 与控制就必须实现铁水S]质量参数的在线估计与软 对于铁水质量、燃料消耗和生产成本有较大的影响刀 测量 为此，对铁水S]进行在线估计或软测量意义重大. 高炉炼铁过程的上述复杂动态特性，使得用于铁 进行S)软测量的第1步应该分析影响铁水S) 水S]在线估计的机理模型不易建立.对于难以机理 的主要因素.综合考虑分析高炉送风系统、燃料喷吹 建模的复杂工业过程，数据驱动的智能建模和统计建 系统的现有传感器和炉缸、炉腹的内部可测量参数，进 模受到越来越广泛的关注网.Wang等田提出了基于 而确定与铁水S]密切相关的影响因子有鼓风湿度(g· 混沌时间序列的铁水[S]支持向量回归模型(SVR), m3)、热风压力(kPa)、炉腹煤气量(m3·minl)、设定 在±0.1误差内的命中率大于88%，有较好的模型预 喷煤量(td)、富氧率（质量分数）、热风温度（℃）、 测能力：Saxn等O建立了可实现周期性铁水[Si]预测 富氧流量(m3h)、炉顶压力(kPa)、气体渗透率(m3. 的离散时间序列模型，将模型的线性部分与非线性部 minl·kPa)、实际风速(m·s)、冷风流量(m3·h)、 分分别处理，提高了模型的预测能力：唐贤伦等可建立 理论燃烧温度（℃）、炉腹煤气指数(m·minˉ)、注煤量 了基于混沌粒子群优化的铁水硅含量SVR预报模型， (kgh)、鼓风动能(kJ小·s)、阻力系数、进料比（质量 实现预测绝对误差小于0.03的样本数占总测试样本 分数)等.由于影响高炉铁水Si]的因素众多，并且各 数90%以上的效果.在众多数据驱动建模方法中， 变量对于S]的影响相差较大，若将其全部引入模型， SVR凭借其在解决小样本、非线性及高维模式识别问 一方面由于变量维数过高导致训练时间延长和实时性 题中的优势，得到广泛的应用6W.SVR有严格的数 差：另一方面过多的变量将引入较多的干扰，影响建模 学基础和稳定的学习机制，能在很大程度上克服“维 精度.因此，降维处理是保证建模效率与精度，提高模 数灾难”和“过学习”问题-.现有的针对铁水S] 型泛化能力的必要过程.本文采用数据分析中常用的 的SVR建模大多只是静态模型，忽略了高炉炼铁过程 主成分分析法(PCA)对变量进行降维，在降低数据样 的动态特性和输入输出时序和时滞关系®.另外，由 本维度的同时也保持方差贡献最大的特征变量. 于采集于实际高炉工业过程的样本数据往往包含较大 通过主成分分析，最终得到影响铁水硅含量[S] 噪音，这样建立的SVR模型鲁棒性较差，对噪音很敏 (Cs)相关性最大的六个变量为热风压力u1(kPa)、热 感.为此，本文基于多目标参数优化技术，提出一种具 风温度山2（℃）、富氧率山、设定喷煤量u:(t·d)、鼓 有稀疏性和鲁棒性的改进最小二乘支持向量回归 风湿度u,(gm3）和炉腹煤气量u。(m'min).同时
工程科学学报，第 38 卷，第 9 期 presented to compensate for the deficiency of the single root mean square error ( ＲMSE) index． Based on those，an on-line soft sensor model of hot metal ［Si］with the optimal parameters was obtained by using the multi-objective genetic algorithm ( NSGA--II) with the non-dominated sort and elitist strategy． Industrial verification and analysis show the effectiveness and superiority of the proposed method． KEY WOＲDS ironmaking; silicon content; modeling; least squares methods; support vector machines; multi-objective optimization 高炉炼铁是钢铁生产中的重要单元，其作用就是 将固态的铁矿石通过复杂的高温、高压等物理化学变 化和多相多场耦合效应，在焦炭、煤气等作用下还原成 液态的铁水． 一个典型的高炉炼铁系统主要由高炉本 体、上料系统、送风系统、高炉烟气净化系统、渣铁处理 系统和喷吹燃料系统等组成［1］． 由于炼铁高炉内部在 高温、高压的条件下进行着复杂的气--固、气--液、固-- 固、固--液等多相转换，众多变量和参数之间错综复杂 和相互耦合，被公认为是最复杂的逆流反应器． 一直 以来，高炉炼铁过程的建模、控制与优化是维持高炉稳 定顺行、高产、优质和低耗的重要手段［1］． 目前，由于 测量手段的限制，反映铁水质量和高炉热状态的关键 指标———硅含量( ［Si］) 的测量一般仍采用人工定期 抽样化验的方式进行，由于人工检测的滞后性和不精 确性，使得基于［Si］质量参数的高炉炉况判断和高炉 操作异常困难． 因此，实现优质、低耗的高炉运行优化 与控制就必须实现铁水［Si］质量参数的在线估计与软 测量． 高炉炼铁过程的上述复杂动态特性，使得用于铁 水［Si］在线估计的机理模型不易建立． 对于难以机理 建模的复杂工业过程，数据驱动的智能建模和统计建 模受到越来越广泛的关注［2］． Wang 等［3］提出了基于 混沌时间序列的铁水［Si］支持向量回归模型( SVＲ) ， 在 ± 0. 1 误差内的命中率大于 88% ，有较好的模型预 测能力; Saxén 等［4］建立了可实现周期性铁水［Si］预测 的离散时间序列模型，将模型的线性部分与非线性部 分分别处理，提高了模型的预测能力; 唐贤伦等［5］建立 了基于混沌粒子群优化的铁水硅含量 SVＲ 预报模型， 实现预测绝对误差小于 0. 03 的样本数占总测试样本 数 90% 以上的效果． 在众多数据 驱 动 建 模 方 法 中， SVＲ 凭借其在解决小样本、非线性及高维模式识别问 题中的优势，得到广泛的应用［6--11］． SVＲ 有严格的数 学基础和稳定的学习机制，能在很大程度上克服“维 数灾难”和“过学习”问题［8--11］． 现有的针对铁水［Si］ 的 SVＲ 建模大多只是静态模型，忽略了高炉炼铁过程 的动态特性和输入输出时序和时滞关系［8--9］． 另外，由 于采集于实际高炉工业过程的样本数据往往包含较大 噪音，这样建立的 SVＲ 模型鲁棒性较差，对噪音很敏 感． 为此，本文基于多目标参数优化技术，提出一种具 有稀疏性和鲁棒性的改进最小二乘支持向量回归 ( LS--SVＲ) 建模技术，用于对铁水［Si］进行动态软测 量建模． 首先，以 LS--SVＲ 为基础，通过提取样本数据 在特征空间映射集的极大无关组来实现训练样本集的 稀疏化，降低建模的计算复杂度［6，8］; 然后，将 IGGIII 权函数引入稀疏化后的 S--LS--SVＲ 模型，得到鲁棒性 较好的 Ｒ--S--LS--SVＲ 模型; 最后，针对常规均方根误 差评价建模性能的不足，提出从建模误差与估计趋势 综合评价建模性能的多目标评价指标． 在此基础上， 利用非支配排序的带有精英策略的多目标遗传算法 ( NSGA--II) 优化 Ｒ--S--LS--SVＲ 模型结构参数，从而获 得最优参数的铁水［Si］在线估计模型． 1 建模问题描述 从提高产品质量和节约能源的角度而言，高炉系 统的控制与优化的主要对象是铁水硅含量( ［Si］) ，它 也是衡量高炉内热状态的重要标志，［Si］过高或过低 对于铁水质量、燃料消耗和生产成本有较大的影响［7］． 为此，对铁水［Si］进行在线估计或软测量意义重大． 进行［Si］软测量的第 1 步应该分析影响铁水［Si］ 的主要因素． 综合考虑分析高炉送风系统、燃料喷吹 系统的现有传感器和炉缸、炉腹的内部可测量参数，进 而确定与铁水［Si］密切相关的影响因子有鼓风湿度( g· m － 3 ) 、热风压力( kPa) 、炉腹煤气量( m3 ·min － 1 ) 、设定 喷煤量( t·d － 1 ) 、富氧率( 质量分数) 、热风温度( ℃ ) 、 富氧流量( m3 ·h － 1 ) 、炉顶压力( kPa) 、气体渗透率( m3 · min － 1 ·kPa) 、实际风速( m·s － 1 ) 、冷风流量( m3 ·h － 1 ) 、 理论燃烧温度( ℃ ) 、炉腹煤气指数( m·min － 1 ) 、注煤量 ( kg·h － 1 ) 、鼓风动能( kJ·s － 1 ) 、阻力系数、进料比( 质量 分数) 等． 由于影响高炉铁水［Si］的因素众多，并且各 变量对于［Si］的影响相差较大，若将其全部引入模型， 一方面由于变量维数过高导致训练时间延长和实时性 差; 另一方面过多的变量将引入较多的干扰，影响建模 精度． 因此，降维处理是保证建模效率与精度，提高模 型泛化能力的必要过程． 本文采用数据分析中常用的 主成分分析法( PCA) 对变量进行降维，在降低数据样 本维度的同时也保持方差贡献最大的特征变量． 通过主成分分析，最终得到影响铁水硅含量［Si］ ( CSi ) 相关性最大的六个变量为热风压力 u1 ( kPa) 、热 风温度 u2 ( ℃ ) 、富氧率 u3、设定喷煤量 u4 ( t·d － 1 ) 、鼓 风湿度 u5 ( g·m － 3 ) 和炉腹煤气量 u6 ( m·min － 1 ) ． 同时， ·1234·
郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1235· 为了更好地反映高炉的非线性动态特性，将相关输入 为零 输出变量的时序关系在建模过程进行考虑.为此，将 「aL =0→w= ∑apc）, 之前采样时刻的测量值0(t-1)=u1(1-1),42(1- dw 1),(1-1),u4(t-1),u(t-1),。(t-1)],U(t- aL 2),…,0(t-T),ru∈以及之前采样时刻铁水[Si] ab =08a=0, i=1,2,…,N 值C(1-1),Cs(t-2),…,Cs(1-Tc),rc∈，连同 aL de ,=0=→a:=ye' 当前采样时刻的检测值U()作为动态模型的综合输 aL 入，即建立的动态软测量模型用于实现如下的非线性 =0→wp(x:）+b+e:-方=0， 动态映射关系： (5) Cs()=fRs4sR{U(）,U(1-1),…,U(t-T), 消去变量ω和e,得到如下线性方程组： Cs(t-1),…,Cs(t-Tc)}. (1) 式(1)表示需要建立的自回归滑动平均(ARMA)动态 n,a-1 o (6) 软测量模型结构。本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒LS一SVR建模算法实现式 式中，y=（yy2…y),1=(1,1,…,1),a= (1)的自回归滑动平均动态模型，相关算法将在下节 (a1,2,…,ax)T,2是N维方阵，2=p(x)p(x)= 中给出. K(xm,xn)为满足Mercers条件的核函数.本文选用如 下高斯核函数： 2 R-S-LS-SVR建模算法 (x)=e (7) 标准LS-SVR通过引入等式约束替代经典SVR 2.2稀疏化改进 的不等式约束，虽然使计算的复杂度大大降低，但同时 由式(5)可知，w为输入向量在特征空间的线性 也引入了两个潜在的问题：其一是目标函数中没有正 组合，通过寻找输入向量在特征空间的近似基可以一 则化项，对于数据中含有噪声、离群点以及误差不服从 定程度的提高解的稀疏性圆.现将训练数据集 正态分布的情况导致缺乏鲁棒性：其二是由于支持向 {x,y:}:通过径向基函数p(·)映射到高维希尔伯特 量所对应的拉格朗日乘子与误差项成正比导致最终的 空间，映射集为A={p(x)}·由矩阵分析论可知， 解缺少稀疏性.针对LS-SVR的上述问题，提出同时 若{p(x)},线性相关，则至少存在一个p(x,）= 兼顾鲁棒性和稀疏性的改进LS-SVR算法，即R-S- ∑入，p(x,),其中X,eR虽然(~)不能被确切的 LS-SVR. i-T.in 2.1标准LS-SVR算法 表达，但Kx,x,)=∑∑ 入AK(x,x).映射集 假设给定的训练数据集为{xy},输入x,∈ A的极大无关组的求解步骤如下. R”,输出y:∈R,其在特征空间中的回归函数为 步骤1初始化极大无关组集B=⑦，在集合S= y(x)=aTo(x）+b. (2) (1,2,…,W)选取数据i=1放到B中. 式中：φ(·)为特征空间的非线性映射，w是与特征空 步骤2在S中依次选取i=i+l,计算minG(入)= 间相同维度的权值向量，b为偏移量 LS-SVR在特征空间的回归建模问题可以描述为 (ex)-AAe）'(p)-aer)） 求解如下二次规划(QP)问题： 步骤3若minG(入)<e,则说明p(x,)可以由 ip/(o..e) ‖e:I2+wa, {p(x)IieB}线性表示，摒弃数据i:若minG(A)≥e, 则说明p(x,)不可由{p(x)Ii∈B}线性表示，则 s.L. y:=wp(x)+b+e,i=1,2,…,N {p(x),p(xB)}线性无关，将i放到集合B中 (3) 步骤4若迭代次数i≤N,则转到步骤2：否则终 式中，y为权衡结构风险与经验风险的正则化系数，e: 止迭代 为误差.为简化计算，引入拉格朗日乘子 将集合B中所对应的训练数据集的元素取出组 L(w,b,e,a=J(w,b,e）- 成稀疏后的训练数据集业={xy}1r为经稀疏化 立a,(opx)+b+e-: 处理后训练数据集的样本数.平通过径向基函数映射 (4) 后为重=（p(x),(x2),…p(x,)).因为Ψ是A的 式中，a:∈R为拉格朗日乘子.令式(4)中的各偏导数 极大无关组，则
郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 为了更好地反映高炉的非线性动态特性，将相关输入 输出变量的时序关系在建模过程进行考虑． 为此，将 之前采样时刻的测量值 U( t － 1) =［u1 ( t － 1) ，u2 ( t － 1) ，u3 ( t － 1) ，u4 ( t － 1) ，u5 ( t － 1) ，u6 ( t － 1) ］，U( t － 2) ，…，U( t － τU ) ，τU∈ + 以及之前采样时刻铁水［Si］ 值 CSi ( t － 1) ，CSi ( t － 2) ，…，CSi ( t － τC ) ，τC∈ + ，连同 当前采样时刻的检测值 U( t) 作为动态模型的综合输 入，即建立的动态软测量模型用于实现如下的非线性 动态映射关系: CSi ( t) = fＲ--S--LS--SVＲ { U( t) ，U( t － 1) ，…，U( t － τU ) ， CSi ( t － 1) ，…，CSi ( t － τC ) } ． ( 1) 式( 1) 表示需要建立的自回归滑动平均( AＲMA) 动态 软测量模型结构． 本文基于多目标遗传参数优化技 术，采用提出的稀疏化鲁棒 LS--SVＲ 建模算法实现式 ( 1) 的自回归滑动平均动态模型，相关算法将在下节 中给出． 2 Ｒ--S--LS--SVＲ 建模算法 标准 LS--SVＲ 通过引入等式约束替代经典 SVＲ 的不等式约束，虽然使计算的复杂度大大降低，但同时 也引入了两个潜在的问题: 其一是目标函数中没有正 则化项，对于数据中含有噪声、离群点以及误差不服从 正态分布的情况导致缺乏鲁棒性; 其二是由于支持向 量所对应的拉格朗日乘子与误差项成正比导致最终的 解缺少稀疏性． 针对 LS--SVＲ 的上述问题，提出同时 兼顾鲁棒性和稀疏性的改进 LS--SVＲ 算法，即 Ｒ--S-- LS--SVＲ． 2. 1 标准 LS--SVＲ 算法 假设给定的训练数据集为{ xi，yi} N i = 1，输入 xi ∈ Ｒn ，输出 yi∈Ｒ，其在特征空间中的回归函数为 y( x) = ωT φ( x) + b． ( 2) 式中: φ(·) 为特征空间的非线性映射，ω 是与特征空 间相同维度的权值向量，b 为偏移量． LS--SVＲ 在特征空间的回归建模问题可以描述为 求解如下二次规划( QP) 问题: min ω，b J( ω，b，e) = 1 ( 2 γ∑ N i = 1 ‖ei‖2 + ωT ω ) ， s． t． yi = ωT φ( xi ) + b + ei，i = 1，2，…，N { ． ( 3) 式中，γ 为权衡结构风险与经验风险的正则化系数，ei 为误差． 为简化计算，引入拉格朗日乘子 L( ω，b，e，α) = J( ω，b，e) － ∑ N i = 1 αi ( ωT φ( xi ) + b + ei － yi ) ． ( 4) 式中，αi∈Ｒ 为拉格朗日乘子． 令式( 4) 中的各偏导数 为零 L ω = 0ω = ∑ N i =1 αiφ( xi ) ， L b = 0∑ N i =1 αi = 0， L ei = 0αi = γei， L αi = 0ωT φ( xi ) + b + ei － yi = 0 ， i =1，2，…，N． ( 5) 消去变量 ω 和 ei，得到如下线性方程组: 0 I T I Ω + γ [ ] － 1 I b [ ] α = 0 [ ] y ． ( 6) 式中，y = ( y1，y2，…，yN ) T ，I T = ( 1，1，…， } 1 N ) ，α = ( α1，α2，…，αN) T ，Ω 是 N 维方阵，Ωmn = φ( xm ) φ( xn ) = K( xm，xn ) 为满足 Mercers 条件的核函数． 本文选用如 下高斯核函数: K( xm，xn ) = e － ‖xm － xn‖2 σ2 ． ( 7) 2. 2 稀疏化改进 由式( 5) 可知，ω 为输入向量在特征空间的线性 组合，通过寻找输入向量在特征空间的近似基可以一 定 程 度 的 提 高 解 的 稀 疏 性［8］． 现 将 训 练 数 据 集 { xi，yi} N i = 1通过径向基函数 φ(·) 映射到高维希尔伯特 空间，映射集为 A = { φ( xi ) } N i = 1 ． 由矩阵分析论可知， 若{ φ( xi ) } N i = 1线 性 相 关，则 至 少 存 在 一 个 φ ( xq ) = ∑ N i = 1，i≠q λiφ( xi ) ，其中 λi∈Ｒ． 虽然 φ(·) 不能被确切的 表达，但 K( xq，xq ) = ∑ N i = 1，i≠q ∑ N j = 1，j≠q λiλj K( xi，xj) ． 映射集 A 的极大无关组的求解步骤如下． 步骤 1 初始化极大无关组集 B = ，在集合 S = ( 1，2，…，N) 选取数据 i = 1 放到 B 中． 步骤 2 在 S 中依次选取 i = i + 1，计算min λ G( λ) ( = φ( xi ) － ∑i∈B λiφ( xi ) ) ( T φ( xi ) － ∑i∈B λiφ( xi ) ) ． 步骤 3 若min λ G( λ) ＜ ε，则说明 φ( xi ) 可以由 { φ( xi ) | i∈B} 线性表示，摒弃数据 i; 若min λ G( λ) ≥ε， 则说明 φ( xi ) 不 可 由 { φ( xi ) | i∈B} 线 性 表 示，则 { φ( xi ) ，φ( xi∈B ) } 线性无关，将 i 放到集合 B 中． 步骤 4 若迭代次数 i≤N，则转到步骤 2; 否则终 止迭代． 将集合 B 中所对应的训练数据集的元素取出组 成稀疏后的训练数据集 Ψ = { xk，yk } r k = 1，r 为经稀疏化 处理后训练数据集的样本数． Ψ 通过径向基函数映射 后为 Φ = ( φ( x1 ) ，φ( x2 ) ，…φ( xr ) ) ． 因为 Ψ 是 A 的 极大无关组，则 ·1235·
·1236· 工程科学学报，第38卷，第9期 w- ∑B,p(x)=邺. (8) 基于非支配排序的带有精英策略的多目标优化算法 (NSGA-I)对C和σ进行优化计算，从而得到最终的 将式(3)中的ω用式(8)替换得 NSGAII--R-S-LS-SVR的模型. 0Fg.6d=(g ‖e,I2+(邱)T(邱) 3.1模型精度多目标评价 s.L.y=(β)p(x:)+b+e,i=1,2,…,r 参数遗传优化的首要任务是构建性能指标作为适 应度函数。常见的建模性能指标大多采用均方根误差 (9) 2.3鲁棒改进 (RMSE),未从整体上考虑模型输出曲线与实际曲线 的接近程度和动态趋势.实际上，准确的变化趋势对 为了提高上述稀疏化LS-SVR,即S-LS-SVR算 于动态过程的建模至关重要.为此，提出综合均方根 法的鲁棒性能，对式(9)中的误差项e:引入加权因子 ”,从而得到如下的优化问题： 误差和估计曲线与实际曲线相关性的模型精度多目标 评价指标. -FBbe=gls+gp'(p） 由数理统计理论可知，两个随机数据矢量X和Y, E{(X-E(X))(Y-E(Y))}称之为X与Y的协方差 s.ty=(邴)Tpx)+b+e 或者相关矩，记作Cov(X,Y),而两者的相关系数定义 (10) 为 引入拉格朗日算子之后可得 Cov(X,Y) L(B,b,e,a)=F(B,b,e)- Pxy=/D(X)D(Y) (14) ∑a,(邴)'p(x)+b+e:-y). (11) 式中，E(X)和E(Y)分别是X和Y的期望，√D(X)和 式中：α∈R为拉格朗日乘子，根据最优条件消去e和 √D(Y)分别是X和Y的方差.相关系数P是衡量数 &可得 据变量X与Y关系程度的量：lprl一l表示X和Y之 )e G)'e-Te 间的线性关系密切，lPl→0表示X和Y的相关性很 B 差；若1Pr|=1表示X和Y依概率1存在着线性关 系，而lpwl=0表示X和Y不相关. 综上所述，提出模型精度多目标评价指标如下： Fmn=N名 (15) (12) Fon=1-Px (16) 该多目标评价指标既可以保证建模过程的平稳性和限 式中，v=diag(yy2,…,y,).v由IGGl权函数回决 制输出曲线的横向偏移量，又可以保证建模过程的准 定，即： 确性和限制输出曲线的纵向偏移量. 1 leI<ks: 3.2基于NSGAⅡ的模型参数多目标优化 针对于模型精度多目标评价指标，利用NSGA-Ⅱ kg≤le:l<hg; 进行C,o参数寻优.NSGAⅡ在工程领域已得到广泛 应用@，但是存在计算复杂度高、缺少精英策略以及 0 le:l≥k2zk 需要人为制定共享参数的问题1。为此，采用改进 (13) 的NAGA一Ⅱ算法，以模型精度多目标评价指标为适应 式中：（为误差的估计标准差：k,和k2为相关系数，根 度函数，采用实数编码，通过基于进行非支配快速排序 据经验值有k,∈1,3]，k2∈B.2,6] 和拥挤距离计算的种群进行二进制锦标赛选择，模拟 二进制交叉和多项式变异的遗传因子增强种群多样 3 R-S-LS-SVR参数多目标遗传优化 性，主要计算流程如图1所示 LS-SVR经过上述稀疏化和鲁棒性改进后得到 (1)选择算子.根据非支配排序的结果，选择支 RS-LS-SVR,它有两个结构参数需要确定，分别是决 配层较低的个体，若同一支配层的个体有多个，选择拥 定离群点惩罚程度的正则项C和径向基核函数的伸 挤距离较大的个体以获得种群的多样性☒ 缩量σ.常见的模型参数确定方法有网格搜索和交叉 (2)模拟二进制交叉.由于采用实数编码，则交 验证，但这些算法效率低且易陷入局优.本文将采用 叉后代是父代的线性组合
工程科学学报，第 38 卷，第 9 期 ω = ∑ r k = 1 βkφ( xk ) = Φβ． ( 8) 将式( 3) 中的 ω 用式( 8) 替换得 min β，b F( β，b，e) = ( 1 2 γ∑ r i =1 ‖ei‖2 + ( Φβ) T ( Φβ ) ) ， s． t． yi = ( Φβ) T φ( xi ) + b + ei，i = 1，2，…， { r． ( 9) 2. 3 鲁棒改进 为了提高上述稀疏化 LS--SVＲ，即 S--LS--SVＲ 算 法的鲁棒性能，对式( 9) 中的误差项 ei 引入加权因子 νi，从而得到如下的优化问题: min β，b F( β，b，e) = ( 1 2 γ∑ r i =1 νi ‖ei‖2 + ( Φβ) T ( Φβ ) ) ， s． t． yi = ( Φβ) T φ( xi ) + b + ei { ． ( 10) 引入拉格朗日算子之后可得 L( β，b，e，α) = F( β，b，e) － ∑ r i = 1 αi ( ( Φβ) T φ( xi ) + b + ei － yi ) ． ( 11) 式中: α∈Ｒr 为拉格朗日乘子，根据最优条件消去 e 和 α 可得 ΦT ∑ r i =1 φ( xi ) φ ( xi ) T Φ － 1 γν ΦT Φ ΦT ∑ r i =1 φ( xi ) ∑ r i =1 φ( xi ) ΦT N · β [ ] b = ΦT ∑ r i = 1 yiφ( xi ) ∑ r i = 1 y i ( 12) 式中，ν = diag( ν1，ν2，…，νr ) ． ν 由 IGGIII 权函数［9］决 定，即: νi = 1， |ei | ＜ k1 ζ; k1 ζ ei ( k2 － ei ζ k2 － k1 ) 2 ， k1 ζ≤|ei | ＜ k2 ζ; 0， |ei | ≥k2 ζ ． ( 13) 式中: ζ 为误差的估计标准差; k1 和 k2 为相关系数，根 据经验值有 k1∈［1，3］，k2∈［3. 2，6］． 3 Ｒ--S--LS--SVＲ 参数多目标遗传优化 LS--SVＲ 经过上述稀疏化和鲁棒性改进后得到 Ｒ--S--LS--SVＲ，它有两个结构参数需要确定，分别是决 定离群点惩罚程度的正则项 C 和径向基核函数的伸 缩量 σ． 常见的模型参数确定方法有网格搜索和交叉 验证，但这些算法效率低且易陷入局优． 本文将采用 基于非支配排序的带有精英策略的多目标优化算法 ( NSGA--II) 对 C 和 σ 进行优化计算，从而得到最终的 NSGAII--Ｒ--S--LS--SVＲ 的模型． 3. 1 模型精度多目标评价 参数遗传优化的首要任务是构建性能指标作为适 应度函数． 常见的建模性能指标大多采用均方根误差 ( ＲMSE) ，未从整体上考虑模型输出曲线与实际曲线 的接近程度和动态趋势． 实际上，准确的变化趋势对 于动态过程的建模至关重要． 为此，提出综合均方根 误差和估计曲线与实际曲线相关性的模型精度多目标 评价指标． 由数理统计理论可知，两个随机数据矢量 X 和 Y， E{ ( X － E( X) ) ( Y － E( Y) ) } 称之为 X 与 Y 的协方差 或者相关矩，记作 Cov( X，Y) ，而两者的相关系数定义 为 ρXY = Cov( X，Y) 槡D( X) 槡D( Y) ． ( 14) 式中，E( X) 和 E( Y) 分别是 X 和 Y 的期望，槡D( X) 和 槡D( Y) 分别是 X 和 Y 的方差． 相关系数 ρXY是衡量数 据变量 X 与 Y 关系程度的量: | ρXY | →1 表示 X 和 Y 之 间的线性关系密切，| ρXY | →0 表示 X 和 Y 的相关性很 差; 若| ρXY | = 1 表示 X 和 Y 依概率 1 存在着线性关 系，而| ρXY | = 0 表示 X 和 Y 不相关． 综上所述，提出模型精度多目标评价指标如下: FCEI1 = 1 N ∑ N i = 1 e 2 i ， ( 15) FCEI2 = 1 － ρXY ． ( 16) 该多目标评价指标既可以保证建模过程的平稳性和限 制输出曲线的横向偏移量，又可以保证建模过程的准 确性和限制输出曲线的纵向偏移量． 3. 2 基于 NSGA--II 的模型参数多目标优化 针对于模型精度多目标评价指标，利用 NSGA--II 进行 C，σ 参数寻优． NSGA--II 在工程领域已得到广泛 应用［10］，但是存在计算复杂度高、缺少精英策略以及 需要人为制定共享参数的问题［11--14］． 为此，采用改进 的 NAGA--II 算法，以模型精度多目标评价指标为适应 度函数，采用实数编码，通过基于进行非支配快速排序 和拥挤距离计算的种群进行二进制锦标赛选择，模拟 二进制交叉和多项式变异的遗传因子增强种群多样 性，主要计算流程如图 1 所示． ( 1) 选择算子． 根据非支配排序的结果，选择支 配层较低的个体，若同一支配层的个体有多个，选择拥 挤距离较大的个体以获得种群的多样性［12］． ( 2) 模拟二进制交叉． 由于采用实数编码，则交 叉后代是父代的线性组合． ·1236·
郭东伟等：基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 ·1237· 开始 模型 训练数据集 PCA 二 稀疏化特征 提取与抽取 稀 化 最优特征数据集 (极大无关组) 实数编码N个个 测试数据 体的初始化种 数据归一化 SRLS-SVR 处理 重组 优选N个个体 模型训练 模型确定与 是 SRLS-SVR 多项 模型存档 计算 变 综合评价指标 多 预测结果 输出 模拟 标遗传优化 杏满足终止 条件 否 交叉 非支配排序 锦标赛选择 扣挤距离计算 图1NSGA-RS-LS-SVR建模流程 Fig.1 Strategy diagram of NSGAll-R-S-1S-SVR based modeling C”=1-B()c+1+Rm)GJ. 4工业实验与分析 G=7【1+B.()C+1-B)G]. 实验使用两组测试数据，即Data1和Data2,如图 2所示.Data1是经主成分分析法降维处理后的270 (17) 组实际现场采集的高炉数据，其中训练数据200组，测 式中：G和G分别为第t+1代均方根误差与相关 试数据70组：Data2是在Data1中随机加入11个离 系数种群的第i个个体：G和G分别为由选择算法 群点得到的数据.为了表述方便，我们称Data 1为原 在第t代中选择的两个优良个体：u为(0,1)均匀分布 始数据，Data2为离群点数据.具体实验时，为了更好 的随机数；当u>0.5时B=（D(1-W]+”),当 地说明问题，将提出的NSGAⅡ-R-S-LS-SVR算法与 u≤0.5B.=(2）+“,n。为交叉分布指数，k为当代 标准LS-SVR以及极限学习机(ELM)算法国进行比 种群的第k个个体. 较，三者的训练和测试数据完全相同，并且都是在归一 (3)多项式变异.变异后的个体如下所示： 化之后导入模型.另外，采用一些标准指标对模型性 G1=G1+(B-B)8. (18) 能进行评价，这些指标包括建模时间(MT)、均方根误 式中：B”和B分别为优化变量的上界与下界，6为变 差(RMSE)、平均绝对误差(MAE)、相对误差(RE)、回 异的参数.当r1>0.5时6=(2r).,当4≤0.5 归系数(RC)和命中率(HR). 时6={1-2(1-r)]}w",r为来自(0,1)均匀 多目标遗传参数优化时，C和σ经上述多目标遗 分布的随机数，刀m为变异分布指数. 传优化的Pareto前沿进化过程如图3所示.首先将上
郭东伟等: 基于稀疏化鲁棒 LS--SVＲ 与多目标优化的铁水硅含量软测量建模 图 1 NSGAII--Ｒ--S--LS--SVＲ 建模流程 Fig． 1 Strategy diagram of NSGAII--Ｒ--S--LS--SVＲ based modeling Gt + 1 a，i = 1 2 ［( 1 － βk ( u) ) Gt 1，i + ( 1 + βk ( u) ) Gt 2，i］， Gt + 1 b，i = 1 2 ［( 1 + βk ( u) ) Gt 1，i + ( 1 － βk ( u) ) Gt { 2，i ］． ( 17) 式中: Gt + 1 a，i 和 Gt + 1 b，i 分别为第 t + 1 代均方根误差与相关 系数种群的第 i 个个体; Gt 1，i和 Gt 2，i分别为由选择算法 在第 t 代中选择的两个优良个体; u 为( 0，1) 均匀分布 的随机数; 当 u ＞ 0. 5 时 βk =( ［2( 1 － u) ］( ηc + 1) ) － 1 ，当 u≤0. 5βk = ( 2u) ( ηc + 1) － 1 ，ηc 为交叉分布指数，k 为当代 种群的第 k 个个体． ( 3) 多项式变异． 变异后的个体如下所示: Gt + 1 i = Gt + 1 i + ( Bu － Bl ) δk ． ( 18) 式中: Bu 和 Bl 分别为优化变量的上界与下界，δk 为变 异的参数． 当 rk ＞ 0. 5 时 δk = ( 2rk ) ( ηm + 1) － 1 ，当 rk≤0. 5 时 δk = { 1 －［2( 1 － rk ) ］} ( ηm + 1) － 1 ，rk 为来自( 0，1) 均匀 分布的随机数，ηm 为变异分布指数． 4 工业实验与分析 实验使用两组测试数据，即 Data 1 和 Data 2，如图 2 所示． Data 1 是经主成分分析法降维处理后的 270 组实际现场采集的高炉数据，其中训练数据 200 组，测 试数据 70 组; Data 2 是在 Data 1 中随机加入 11 个离 群点得到的数据． 为了表述方便，我们称 Data 1 为原 始数据，Data 2 为离群点数据． 具体实验时，为了更好 地说明问题，将提出的 NSGAII--Ｒ--S--LS--SVＲ 算法与 标准 LS--SVＲ 以及极限学习机( ELM) 算法［13］进行比 较，三者的训练和测试数据完全相同，并且都是在归一 化之后导入模型． 另外，采用一些标准指标对模型性 能进行评价，这些指标包括建模时间( MT) 、均方根误 差( ＲMSE) 、平均绝对误差( MAE) 、相对误差( ＲE) 、回 归系数( ＲC) 和命中率( HＲ) ． 多目标遗传参数优化时，C 和 σ 经上述多目标遗 传优化的 Pareto 前沿进化过程如图 3 所示． 首先将上 ·1237·