基于小波相关向量机的产品质量模型

D01:10.13374.isml00103x.2009.07.047 第31卷第7期 北京科技大学学报 Vol.31 No.7 2009年7月 Journal of University of Science and Technology Beijing JuL 2009 基于小波相关向量机的产品质量模型 何 飞黎敏阳建宏 徐金梧 北京科技大学机械工程学院，北京100083 摘要针对常用的质量建模方法精度不高且难以给出预测区间，提出了基于小波相关向量机的产品质量模型.应用仿真数 据和带钢热镀锌锌层质量的实际生产数据分别建立了小波相关向量机模型.结果表明，小波相关向量机方法与支持向量机及 传统的相关向量机相比.具有更好的预测精度，而且给出了预测区间.多组带钢热镀锌锌层质量实际数据的相对预测误差的 平均值为452%，为保证产品质量提供必要的决策支持和分析手段. 关键词小波核函数：相关向量机：预测区间：锌层质量：质量模型 分类号TG335.220212.8 Product quality model based on wavelet relevance vector machine HE Fei,LI Min.YANG Jian-hong,XU Jin-wu School of Mechanical Engineering.University of Science and Technology Beijing,Beijing 100083.China ABSTRACT According to the fact that a common method for product quality modeling has not very high modeling accuracy and its prediction intervals can not be given a mode of product quality based on wavelet relevance vector machine was proposed.The simula- tion data and the real field data of zine coating mass from strip hot-dip galvanizing were used for validation.The results show that the model based on wavelet relev ance vector machine has a higher prediction precision than those baed support vector machine and rele- vance vector machine and its prediction intervals can be given.The zinc coating mass forecasting model based on wavelet relevance vector machine for multi-group data has an average of the relative prediction error of 4 52%;thus for the quality control it provides the necessary decision supports and analysis tools. KEY WORDS wavelet kernel function relevance vector machine;prediction interval zinc coating mass quality mode 找出产品质量指标与生产过程工艺参数间的对 法，虽然可以解决非线性映射问题，但存在着高度初 应关系，建立产品质量模型，可以预测产品质量，控 值敏感性和容易陷入局部最优等缺点.基于统计的 制、优化生产过程因而近年来得到了广泛的关注. 多元线性回归、偏最小二乘法等均属于线性回归方 锌层质量是带钢热镀锌生产中一个重要的用户指 法，难以反映生产过程存在着的非线性关系，在建模 标，气刀是控制锌层质量的关键部件刂.通过气刀 和预测精度上都存在一定的不足.相关向量机(e上 参数建立锌层质量的质量模型，有助于制定合理的 evance vector machine RVM)/y是Tipping于2OOl 锌层质量设定值，对节约原料和提高生产效益具有 年提出的一种与支持向量机(support vector ma- 重要的意义.气刀对锌层质量的控制工艺是一个多chie,SVM)相似的稀疏概率模型，它的训练过程是 因素、非线性的复杂过程.目前常用的产品质量建 在贝叶斯框架下进行的约.RVM可用于回归估 模方法有机理建模、人工智能建模和统计分析建模 计预测，从而获得预测值的分布，不仅具有出色的非 等习；而镀锌生产过程的机理复杂难以建立准确的 线性拟合和泛化能力，而且还弥补了SVM需要估 机理模型.人工神经网络作为常用的人工智能方计正则化参数，无法得到基于概率的预测结果的缺 收稿日期：200809-28 基金项目：国家自然科学基金资助项目(No.50705069):国家高技术研究发展计划资助项目(Nα2007AA04Z169):教有部博士点基金资助项目 (Na.20070008050):湖北省重点基金资助项目(No.2007A19) 作者简介：何飞(1982-).男.博士研究生.E-mail1 igh tw olf82@126.cm:徐金梧(1949一).男，教授，博士生导师

基于小波相关向量机的产品质量模型 何 飞 黎 敏 阳建宏 徐金梧 北京科技大学机械工程学院, 北京 100083 摘 要 针对常用的质量建模方法精度不高且难以给出预测区间, 提出了基于小波相关向量机的产品质量模型.应用仿真数 据和带钢热镀锌锌层质量的实际生产数据分别建立了小波相关向量机模型.结果表明, 小波相关向量机方法与支持向量机及 传统的相关向量机相比, 具有更好的预测精度 , 而且给出了预测区间.多组带钢热镀锌锌层质量实际数据的相对预测误差的 平均值为 4.52 %, 为保证产品质量提供必要的决策支持和分析手段. 关键词 小波核函数;相关向量机;预测区间;锌层质量;质量模型 分类号 TG335 .22;O212 .8 Product quality model based on wavelet relevance vector machine HE Fei , LI Min , Y ANG Jian-hong , XU J in-wu S chool of Mechanical Engineering , University of S cience and Technology Beijing , Beijing 100083 , China ABSTRACT According to the fact that a commo n method for product quality modeling has no t very hig h modeling accuracy and its prediction intervals can no t be given, a model of product quality based o n wavelet relevance vector machine w as proposed.The simula￾tio n data and the real field data of zinc coating mass from strip hot-dip galvanizing were used for validatio n.The results show that the model based on wavelet relev ance vector machine has a higher prediction precision than those based support vector machine and rele￾vance vecto r machine , and its prediction intervals can be giv en .The zinc coating mass forecasting mo del based on wavelet relevance v ector machine fo r multi-g roup data has an average of the relative prediction error o f 4.52 %;thus for the quality control, it provides the necessary decision supports and analysis too ls. KEY WORDS w av elet kernel function;relevance v ector machine;prediction interval;zinc coating mass;quality model 收稿日期:2008-09-28 基金项目:国家自然科学基金资助项目(No .50705069);国家高技术研究发展计划资助项目(No.2007AA04Z169);教育部博士点基金资助项目 (No .20070008050);湖北省重点基金资助项目(No .2007A19) 作者简介:何 飞(1982—), 男, 博士研究生, E-mail:ligh tw olf82@126.com ;徐金梧(1949—), 男, 教授, 博士生导师 找出产品质量指标与生产过程工艺参数间的对 应关系,建立产品质量模型 ,可以预测产品质量 , 控 制、优化生产过程, 因而近年来得到了广泛的关注 . 锌层质量是带钢热镀锌生产中一个重要的用户指 标,气刀是控制锌层质量的关键部件[ 1] .通过气刀 参数建立锌层质量的质量模型 , 有助于制定合理的 锌层质量设定值 ,对节约原料和提高生产效益具有 重要的意义.气刀对锌层质量的控制工艺是一个多 因素、非线性的复杂过程 .目前常用的产品质量建 模方法有机理建模 、人工智能建模和统计分析建模 等 [ 2] ;而镀锌生产过程的机理复杂难以建立准确的 机理模型 .人工神经网络作为常用的人工智能方 法 ,虽然可以解决非线性映射问题,但存在着高度初 值敏感性和容易陷入局部最优等缺点.基于统计的 多元线性回归 、偏最小二乘法等均属于线性回归方 法 ,难以反映生产过程存在着的非线性关系,在建模 和预测精度上都存在一定的不足 .相关向量机(rel￾evance vector machine , RVM )[ 3] 是 Tipping 于 2001 年提出的一种与支持向量机(suppo rt vector ma￾chine , SVM)相似的稀疏概率模型, 它的训练过程是 在贝叶斯框架下进行的[ 4-5] .RVM 可用于回归估 计预测 ,从而获得预测值的分布 ,不仅具有出色的非 线性拟合和泛化能力 , 而且还弥补了 SVM 需要估 计正则化参数 ,无法得到基于概率的预测结果的缺 第 31 卷 第 7 期 2009 年 7 月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol .31 No.7 Jul.2009 DOI :10.13374/j .issn1001 -053x.2009.07.047

第7期 何飞等：基于小波相关向量机的产品质量模型 935· 陷3.RVM己经应用于时间序列的预测、非线 式中，α为决定权值的先验分布的超参数 性系统识别刭和信道平衡？等领域 给定了先验概率分布和似然分布，根据贝叶斯 相关向量机是一组基函数的稀疏逼近，但在实 准则计算权值的后验概率分布为： 际应用中发现目前常用的一些核函数（如多项式核 p(lta.)-p(.pla-N(B) 和高斯核)，通过平移并不能生成某一空间（如平方 p(tl a,2) 可积空间)的一组完备的基.基的不完备性会导致 (4) RVM不能逼近核空间上任意的目标函数.小波为 式中，均值=一2Φt,协方差=(2ΦΦ+ 一种平方可积空间上的函数逼近工具，小波核函数 A),其中，A=diag(a0,a4,,),当Q→9 已经应用到支持向量机的函数逼近，有效地提高了 =0 模型的精度0.将小波核引入相关向量机形成小 因此，权值的估计是由权值后验分布的均值μ 波相关向量机(w avelet relevance vector machine, 给出，而权值最优值的不确定性Σ可以用来表示模 WVM)不仅可以提高模型精度.而且还可以给出 型预测的不确定性.为了估计模型权值，首先要估 预测区间.本文将小波相关向量机引入到带钢热镀 计超参数的最佳值.根据贝叶斯框架，超参数的似 锌锌层质量的质量建模中，并利用仿真数据和带钢 然分布可以通过式(5)计算： 热镀锌锌层质量的实际生产数据验证了方法的有效 性. p(tl a2)=p(tl 2)p (ol a)d=N(OC) (5) 1小波相关向量机 式中，协方差C=σ2I十④41Φ 11相关向量机 通过最大化超参数似然分布找到其最优值 给定训练样本集{x,ti}L,x∈R,台∈R.类 aMP、oiP,然后对新的观察数据x*做预测，计算其 似于SVM,RVM的模型输出定义为： 预测分布： p (t t,aMp,GMp)= y(x,)= K(x,x)十 式中，n为样本数；，为模型权值：K(x,)为核函 p(t=l w,dsp)p (wl t.ayp,p)do=N(2) 数：非零，所对应的样本称为相关向量3.1， (6) RVM继承了SVM在结构风险最小化基础上 式中，u*=μ中(x*)为模型预测值，G2=品p十 建模，具有较好的模型泛化能力，但SVM无法给出 中(x)「沙(x*)为模型预测的方差信息，从而可以 置信度的范围.为了弥补SVM无法得到基于概率 给出预测区间牡*一0，μ*十0*]. 的预测结果的缺陷，RVM需在贝叶斯框架下进行 1.2小波核函数 模型学习. RVM通过预先选择的核函数将输入空间变换 假设训练样本独立且含有方差为σ的高斯噪 到一个高维空间，并在这个空间实现数据的线性化. 声，则训练样本的似然函数可以表示为： 平方可积空间中，核函数K(x,x)除了内积核形式 p(tl,2)=IIp(2)= K(x,x)=K(《x,x)外，还存在平移不变核 K(x,x)=K(x一x)的形式 (exll-l (2) 设P(x)是一个小波母函数，则可以构造平移 式中，t=(t1,,tn)ω=(a0,),重x(n+D= 不变形式的小波核函数为网 [中(x1),中(x2),中(m】,中()=$=[1， K(x,x')= a (7) K(c,x1,K(x,xn刀T. 式中，d为输入向量的维数：a为小波核函数的伸缩 由结构风险最小化原则，如果不对权值进行约 因子，是需要优化选取的常量 束，直接最大化式(2)将导致严重的过拟合.为了提 下面给出几种常用的小波母函数及其核函数的 高模型的泛化能力，RVM为每个权值定义了高斯 具体形式。 先验概率分布： (1)Mexican hat小波母函数为P(x)=(I一 p(ola)= N(0,a1) 3 x2)exp 相应的Mexican hat小波核函数为：

陷 [ 3 , 6] .RVM 已经应用于时间序列的预测 [ 7] 、非线 性系统识别 [ 8] 和信道平衡 [ 9] 等领域 . 相关向量机是一组基函数的稀疏逼近, 但在实 际应用中发现, 目前常用的一些核函数(如多项式核 和高斯核),通过平移并不能生成某一空间(如平方 可积空间)的一组完备的基 .基的不完备性会导致 RVM 不能逼近核空间上任意的目标函数.小波为 一种平方可积空间上的函数逼近工具, 小波核函数 已经应用到支持向量机的函数逼近 ,有效地提高了 模型的精度 [ 10] .将小波核引入相关向量机形成小 波相关向量机(w avelet relevance vector machine , W RVM)不仅可以提高模型精度, 而且还可以给出 预测区间 .本文将小波相关向量机引入到带钢热镀 锌锌层质量的质量建模中, 并利用仿真数据和带钢 热镀锌锌层质量的实际生产数据验证了方法的有效 性. 1 小波相关向量机 1.1 相关向量机 给定训练样本集{xi , ti}n i =1 , xi ∈ R d , ti ∈ R.类 似于 SVM , RVM 的模型输出定义为: y(x , ω)= ∑ n i =1 ωiK(x , xi)+ω0 (1) 式中, n 为样本数 ;ωi 为模型权值 ;K(x , xi)为核函 数;非零 ωi 所对应的样本称为相关向量[ 3 , 11] . RVM 继承了 SVM 在结构风险最小化基础上 建模, 具有较好的模型泛化能力, 但 SVM 无法给出 置信度的范围.为了弥补 SVM 无法得到基于概率 的预测结果的缺陷 , RVM 需在贝叶斯框架下进行 模型学习 . 假设训练样本独立且含有方差为 σ 2 的高斯噪 声,则训练样本的似然函数可以表示为 : p(t ω, σ 2)= ∏ n i =1 p(ti ω, σ 2)= (2πσ 2)-n/2 exp - 1 2 σ 2 ‖ t -Υω‖ 2 (2) 式中, t =(t 1 , … , tn)T , ω=(ω0 , …, ωn)T , Υn ×(n +1)= [ (x1), (x2), … , (xn)] T , (xi )= i =[ 1 , K (xi , x1), …, K(xi , xn)] T . 由结构风险最小化原则 , 如果不对权值进行约 束,直接最大化式(2)将导致严重的过拟合.为了提 高模型的泛化能力 , RVM 为每个权值定义了高斯 先验概率分布: p(ω α)= ∏ n i =0 N(0 , α-1 i ) (3) 式中, α为决定权值 ω的先验分布的超参数 . 给定了先验概率分布和似然分布, 根据贝叶斯 准则计算权值的后验概率分布为 : p(ω t , α, σ 2)= p(t ω, σ 2)p(ω α) p(t α, σ 2) =N(μ, ΢) (4) 式中,均值 μ=σ -2 ΢ΥT t ,协方差 ΢=(σ -2 ΥT Υ+ A) -1 , 其中 , A =diag(α0 , α1 , …, αl), 当 α※∞, μi =0. 因此 ,权值的估计是由权值后验分布的均值 μ 给出 ,而权值最优值的不确定性 ΢可以用来表示模 型预测的不确定性 .为了估计模型权值, 首先要估 计超参数的最佳值 .根据贝叶斯框架 ,超参数的似 然分布可以通过式(5)计算 : p(t α, σ 2)=∫p(t ω, σ 2)p(ω α)d ω=N(0 , C) (5) 式中,协方差 C =σ 2 I +ΥA -1 Υ T . 通过最大化超参数似然分布找到其最优值 αMP 、σ 2 MP , 然后对新的观察数据 x ＊做预测, 计算其 预测分布: p(t ＊ t , αMP , σ 2 M P)= ∫p(t ＊ ω, σ 2 MP)p(ω t , αMP , σ 2 MP)d ω=N(μ＊ , σ 2 ＊) (6) 式中 , μ＊ =μ T (x ＊)为模型预测值, σ 2 ＊ =σ 2 MP + (x ＊)T ΢ (x ＊)为模型预测的方差信息 , 从而可以 给出预测区间[ μ＊ -σ＊ , μ＊+σ＊] . 1.2 小波核函数 RVM 通过预先选择的核函数将输入空间变换 到一个高维空间, 并在这个空间实现数据的线性化. 平方可积空间中, 核函数 K (x , x′)除了内积核形式 K(x , x′)=K (〈x , x′〉)外 , 还存在平移不变核 K(x , x′)=K(x -x′)的形式 . 设 φ(x)是一个小波母函数 , 则可以构造平移 不变形式的小波核函数为[ 10] K(x , x′)= ∏ d i =1 φ xi -x′i a (7) 式中, d 为输入向量的维数;a 为小波核函数的伸缩 因子,是需要优化选取的常量. 下面给出几种常用的小波母函数及其核函数的 具体形式. (1)Mexican hat 小波母函数为 φ(x)=(1 - x 2)exp -x 2 2 ,相应的 Mexican hat 小波核函数为 : 第 7 期 何 飞等:基于小波相关向量机的产品质量模型 · 935 ·

。936 北京科技大学学报 第31卷 k>i[-,的em- 基于小波相关向量机的产品质量模型.本文选择 5=5. (8) (4)基于模型的质量预测.建立工艺参数与产 (2)Morlet小波母函数为P(x)=cos(1.75x)× 品质量的回归模型后，即可利用式(6)进行产品质量 e一，相应的Mort小波核函数为： 的预测.其中，4为模型预测值，σ子为当前预测值 的方差信息. )ad- x) (5)模型的精度分析.建立产品质量模型后需 2a2 要有评价标准对模型精度进行评判.本文选用的建 (9) 模评价标准如下 (3)DOG(difference of Gaussian)小波母函数为 9-an-周-- ①均方根误差(root mean square error, ,相应的DOG小 RMSE): 波核函数为： (一)2 K(x,x')= (-) exp RM SE= (11) 2a2 ②相对预测误差(relative prediction error, 2exp (10) RPE): 小波相关向量机即利用小波核函数代替相关向 量机中的核函数，充分利用了小波核函数在平方可 会 RPE= (12) 积空间上的函数逼近能力，而且相关向量机又是基 于概率的预测方法，小波相关向量机集合了二者的 11 优势. 式中，4；为预测值，为目标值，n为预测样本数 均方根误差和相对预测误差越小说明模型的精度越 2产品质量建模 高. 小波相关向量机建立预测模型的关键步骤如下， 3实验与结果分析 (1)输入、输出量的确定.在产品质量模型中， 自变量通常对应于过程参数，因变量通常对应于质 本文利用仿真数据验证了方法的有效性，同时 量指标.建模时，必须要结合实际生产工艺和己有 利用小波相关向量机建立了带钢热镀锌锌层质量预 的工艺参数，对模型的输入、输出量进行仔细的筛 测模型，并且分别与支持向量机、高斯核相关向量机 选，使模型既能反映主要的工艺流程，又需保证模型 方法进行了比较. 数据在采样间隔上的一致性. 3.1仿真实验 (2)样本数据的预处理.剔除异常生产状况数 仿真数据采用sinc函数y(x)=sin(x)/x十e, 据和生产记录错误数据，如由于机械故障导致的机 x∈[-10,10，e~N(0,o2).在x的取值范围内 组停机，或是由于临时检修而从监测仪表中取不到 随机选取100个点作为样本集分别添加了标准差 工艺过程参数等.为消除量纲不一致对数据分析造 6为0.1和0.2的高斯白噪声，然后进行回归建模. 成的影响，建模前需要对数据进行标准化处理.即 利用交叉验证法选取三种小波相关向量机(Mexr 对统计数据进行零均值化后再除以数据的标准差， canRVM、Morlet-RVM和DOG-RVM)的核参数分 保证处理后的每一种统计数据的均值为0，方差 别为3.5、3.5和3，重复100次实验.支持向量机、 为1. 相关向量机和小波相关向量机的均方根误差的实验 (3)建立质量回归模型.利用交叉验证法来优 对比结果如表1所示，其中支持向量机(SVM)和相 化选取核参数.交叉验证法的主要思想是：①选定 关向量机(Gauss-RVM)中的核函数均选用常用的 一个核参数后，将建模样本平均分成s组：②每次利 高斯核函数，核参数也利用交叉验证法进行了优化 用其中的s一1组数据作为训练集，用剩下的一组作 选取 测试集：③重复步骤②直到对所有样本均进行了预 从表1可以看到三种小波相关向量机均具有良 测，然后计算出所有样本的平均预测误差：④选择使 好的建模鲁棒性，建模精度要明显优于其他两种方 平均预测误差最小时的核参数，利用所有样本，建立 法.添加了标准差为0.1高斯白噪声的sinc函数的

K (x , x′)= ∏ d i =1 1 - (xi -x′i)2 a 2 exp - (xi -x′i)2 2a 2 (8) (2)Morlet 小波母函数为 φ(x)=cos(1.75x)× exp - x 2 2 ,相应的 M orlet 小波核函数为 : K(x , x′)= ∏ d i =1 cos 1.75 xi -x′i a exp - (xi -x′i)2 2a 2 (9) (3)DOG (difference of Gaussian)小波母函数为 φ(x)=exp - x 2 2 - 1 2 exp - x 2 8 ,相应的 DOG 小 波核函数为: K(x , x′)= ∏ d i = exp - (xi -x′i)2 2a 2 - 1 2 exp - (xi -x′i)2 8a 2 (10) 小波相关向量机即利用小波核函数代替相关向 量机中的核函数 ,充分利用了小波核函数在平方可 积空间上的函数逼近能力, 而且相关向量机又是基 于概率的预测方法 ,小波相关向量机集合了二者的 优势 . 2 产品质量建模 小波相关向量机建立预测模型的关键步骤如下. (1)输入、输出量的确定 .在产品质量模型中 , 自变量通常对应于过程参数, 因变量通常对应于质 量指标 .建模时, 必须要结合实际生产工艺和已有 的工艺参数, 对模型的输入、输出量进行仔细的筛 选,使模型既能反映主要的工艺流程,又需保证模型 数据在采样间隔上的一致性. (2)样本数据的预处理.剔除异常生产状况数 据和生产记录错误数据, 如由于机械故障导致的机 组停机 ,或是由于临时检修而从监测仪表中取不到 工艺过程参数等 .为消除量纲不一致对数据分析造 成的影响,建模前需要对数据进行标准化处理.即 对统计数据进行零均值化后再除以数据的标准差 , 保证处理后的每一种统计数据的均值为 0 , 方差 为 1 . (3)建立质量回归模型.利用交叉验证法来优 化选取核参数.交叉验证法的主要思想是 :①选定 一个核参数后, 将建模样本平均分成 s 组;②每次利 用其中的 s -1 组数据作为训练集 ,用剩下的一组作 测试集;③重复步骤 ②直到对所有样本均进行了预 测,然后计算出所有样本的平均预测误差;④选择使 平均预测误差最小时的核参数 ,利用所有样本 ,建立 基于小波相关向量机的产品质量模型 .本文选择 s =5 . (4)基于模型的质量预测 .建立工艺参数与产 品质量的回归模型后, 即可利用式(6)进行产品质量 的预测 .其中, μ＊为模型预测值, σ 2 ＊为当前预测值 的方差信息 . (5)模型的精度分析.建立产品质量模型后需 要有评价标准对模型精度进行评判 .本文选用的建 模评价标准如下. ①均 方 根 误 差 (root mean square error, RM SE): RM SE= ∑ n i =1 (ti -μ＊i)2 n (11) ②相对 预 测 误 差 (relative prediction error, RPE): RPE = ∑ n i =1 |ti -μ＊i | ∑ n i =1 |ti | (12) 式中, μ＊i为预测值, ti 为目标值 , n 为预测样本数. 均方根误差和相对预测误差越小说明模型的精度越 高 . 3 实验与结果分析 本文利用仿真数据验证了方法的有效性 ,同时 利用小波相关向量机建立了带钢热镀锌锌层质量预 测模型 ,并且分别与支持向量机 、高斯核相关向量机 方法进行了比较. 3.1 仿真实验 仿真数据采用 sinc函数 y(x)=sin(x)/ x +ε, x ∈[ -10 , 10] , ε～ N(0 , σ 2).在 x 的取值范围内 随机选取 100 个点作为样本集, 分别添加了标准差 σ为 0.1 和 0.2 的高斯白噪声 ,然后进行回归建模. 利用交叉验证法选取三种小波相关向量机(M exi￾can-RVM 、Mo rlet-RVM 和 DOG-RVM)的核参数分 别为 3.5 、3.5 和 3 , 重复 100 次实验.支持向量机、 相关向量机和小波相关向量机的均方根误差的实验 对比结果如表 1 所示, 其中支持向量机(SVM)和相 关向量机(Gauss-RVM )中的核函数均选用常用的 高斯核函数, 核参数也利用交叉验证法进行了优化 选取. 从表 1 可以看到三种小波相关向量机均具有良 好的建模鲁棒性, 建模精度要明显优于其他两种方 法 .添加了标准差为 0.1 高斯白噪声的 sinc 函数的 · 936 · 北 京 科 技 大 学 学 报 第 31 卷

第7期 何飞等：基于小波相关向量机的产品质量模型 ·937。 M exican-RVM建模结果如图1所示，同时给出了预 区间信息.从图1中可以看到小波相关向量机具有 测值和预测值的上、下界，即预测值与标准差组成的 较好的泛化能力. 表1均方根误差对比 Table I Com parison of moot mean sqare error G2 SVM Gauss RVM M exican-RVM Modet-RVM DOG-RVM 01 0.0336 0.0357 00310 00297 00285 01 00689 0.0659 0.0542 00545 00622 1.2 用流体冲击学的原理来控制带钢镀锌层质量的方 1.0 -sine函数 带燥数据点 法，称为吹气法镀锌其中气刀是控制镀层质量和均 0.8 Mexician- RVM预测值 匀度的关键部件，在实际的带钢热镀锌生产工艺 0.6 预测上界 =…预测下界 中，气刀的喷气压力、气刀喷嘴到带钢的距离、机组 0.4 运行速度和带钢厚度是影响锌层质量的几个主要因 素口.通过气刀参数建立锌层质量的预测模型， 有助于制定合理的锌层质量设定值，对节约原料和 提高产品质量具有重要的意义， 0 本文以某带钢热镀锌生产线的生产实际作为数 图1带噪声01的sinc函数的小波相关向量机建模结果 据样本空间，以每一卷带钢为取样点，收集气刀的参 Fig.I Comparison of actual and predicted valuesof the sine function 数、机组运行速度和带钢厚度等工艺参数以及带钢 by Mexican RVM 下表面的锌层质量共2991个数据样本，样本的统 3.2锌层质量质量模型 计结果如表2所示.为了验证方法的有效性和可靠 锌层质量是带钢热镀锌生产中一个重要的质量 性，从数据集中选取多个数据子集进行回归和预测 指标，20世纪60年代末日本和美国相继推出了应 分析. 表2样本的统计结果 Table 2 Statistical results of sample data 项目 变量 最大值 最小值 平均值 标准差 气刀压力/kPa 469984 7.5002 25.7869 7.7598 气刀到带钢的距离/mm 322000 9.9990 142959 3.9539 输入量 机组速度/(m'min-l) 1500000 37.7870 113.9872 265186 带钢厚度/mm 25000 0.3500 09309 0.4276 输出量 表面平均锌的质量/(gm一2) 149.0000 400000 85.8420 207236 实验1：分别以数据集的第1,401,801,1201个 表3实验1预测均方根误差 样本点为起始点，连续选择1200个样本点作为一 Table3 Comparison of root mean square error in Experiment I 个数据子集，共选择了四个数据子集.每个数据子 8"m-2 集的前1000个样本用于回归建模后200个样本用 方法 子集1 子集2 子集3 子集4 于预测模型的校验. SVM 68230 66608 54685 59273 Gauss-R VM 68475 5.9475 55270 64725 实验2：以数据集的第1个样本点为起始点，分 Mexicar RVM 5.9346 5.63235469356724 别选择1000,1400,1800,2200个样本点作为回归 M orlet-RVM 612545.61745679559742 样本数建模其后的200个样本用于预测. DOG-RVM 604575.75795546054271 为了比较方法的有效性，每个数据子集均采用 SVM、RVM和WRVM分别进行建模其中各模型 5.5988,5.7742和5.8362gm2,从而可以得到支 的核参数通过交叉验证方法确定.从表3、表4可以 持向量机和高斯核相关向量机的建模精度相当，但 计算出SVM、Gauss-RVM、Mexican-RVM、Morlet- 三种小波核相关向量机的建模精度相当，且明显优 RVM和DOG-RVM五种方法对所有数据子集的预 于其他两种方法.MexicanRVM、M orlet--RVM和 测均方根误差的平均值分别为6.1264,61911， DOG-RVM质量模型多组数据子集的相对预测误差

M exican-RVM 建模结果如图 1 所示, 同时给出了预 测值和预测值的上、下界 ,即预测值与标准差组成的 区间信息.从图 1 中可以看到小波相关向量机具有 较好的泛化能力. 表 1 均方根误差对比 Table 1 Com parison of root mean square error σ2 SVM Gauss-RVM M exican-RVM Morlet-RVM DOG-RVM 0.1 0.033 6 0.035 7 0.031 0 0.029 7 0.028 5 0.1 0.068 9 0.065 9 0.054 2 0.054 5 0.062 2 图 1 带噪声 0.1 的 sinc 函数的小波相关向量机建模结果 Fig.1 Comparison of actual and predicted values of the sinc function by Mexican-RVM 3.2 锌层质量质量模型 锌层质量是带钢热镀锌生产中一个重要的质量 指标, 20 世纪 60 年代末日本和美国相继推出了应 用流体冲击学的原理来控制带钢镀锌层质量的方 法 ,称为吹气法镀锌,其中气刀是控制镀层质量和均 匀度的关键部件 .在实际的带钢热镀锌生产工艺 中 ,气刀的喷气压力 、气刀喷嘴到带钢的距离 、机组 运行速度和带钢厚度是影响锌层质量的几个主要因 素[ 1, 12] .通过气刀参数建立锌层质量的预测模型, 有助于制定合理的锌层质量设定值, 对节约原料和 提高产品质量具有重要的意义. 本文以某带钢热镀锌生产线的生产实际作为数 据样本空间 ,以每一卷带钢为取样点 ,收集气刀的参 数 、机组运行速度和带钢厚度等工艺参数以及带钢 下表面的锌层质量共 2 991 个数据样本, 样本的统 计结果如表 2 所示 .为了验证方法的有效性和可靠 性 ,从数据集中选取多个数据子集进行回归和预测 分析. 表 2 样本的统计结果 Table 2 S tatistical results of sample data 项目 变量 最大值 最小值 平均值 标准差 气刀压力/ kPa 46.998 4 7.500 2 25.786 9 7.759 8 输入量 气刀到带钢的距离/ mm 32.200 0 9.999 0 14.295 9 3.953 9 机组速度/(m·min -1) 150.000 0 37.787 0 113.987 2 26.518 6 带钢厚度/ mm 2.500 0 0.350 0 0.930 9 0.427 6 输出量 表面平均锌的质量/(g·m -2) 149.000 0 40.000 0 85.842 0 20.723 6 实验 1 :分别以数据集的第 1 , 401 , 801 , 1 201 个 样本点为起始点 , 连续选择 1 200 个样本点作为一 个数据子集 ,共选择了四个数据子集.每个数据子 集的前1000 个样本用于回归建模,后 200 个样本用 于预测模型的校验. 实验 2 :以数据集的第 1 个样本点为起始点, 分 别选择 1 000 , 1 400 , 1 800 , 2 200 个样本点作为回归 样本数建模,其后的 200 个样本用于预测. 为了比较方法的有效性 , 每个数据子集均采用 SVM 、RVM 和 W RVM 分别进行建模, 其中各模型 的核参数通过交叉验证方法确定.从表 3 、表4 可以 计算出 SVM 、Gauss-RVM 、Mexican-RVM 、Morlet￾RVM 和 DOG-RVM 五种方法对所有数据子集的预 测均方根误差的平均值分别为6.126 4 , 6.191 1 , 表 3 实验 1 预测均方根误差 Tabl e 3 Comparison of root mean square error in Experiment 1 g·m -2 方法 子集 1 子集 2 子集 3 子集 4 SVM 6.823 0 6.660 8 5.468 5 5.927 3 Gauss-RVM 6.847 5 5.947 5 5.527 0 6.472 5 Mexican-RVM 5.934 6 5.632 3 5.469 3 5.672 4 M orlet-RVM 6.125 4 5.617 4 5.679 5 5.974 2 DOG-RVM 6.045 7 5.757 9 5.546 0 5.427 1 5.598 8 , 5.774 2 和 5.836 2 g·m -2 ,从而可以得到支 持向量机和高斯核相关向量机的建模精度相当, 但 三种小波核相关向量机的建模精度相当 , 且明显优 于其他两种方法 .Mexican-RVM 、M orlet-RVM 和 DOG-RVM 质量模型多组数据子集的相对预测误差 第 7 期 何 飞等:基于小波相关向量机的产品质量模型 · 937 ·

。938 北京科技大学学报 第31卷 的平均值分别为4.52%、4.68%和472%，在实际 m2,相对预测误差的平均值小于5%.因此小波 生产应用中具有指导意义.选取其中一个数据子集 相关向量机产品质量模型可以为实际的生产应用和 的M ex ican-RVM的预测结果如图2所示.图2给 进一步的生产控制提供更有效的指导. 出了真实值、预测值和预测值的上、下标准差限，可 参考文献 以看到小波相关向量机可以有效预测锌层质量，而 且还可以给出预测值基于概率的区间信息。为实际 I Zhu L.Steel Hot-dip Ga lvaniz ing.Beijing:Chemical Industry Press 2006 的生产指导提供更多的决策支持. (朱立.钢材热镀锌.北京：化学工业出版社，2006) 表4实验2预测均方根误差 2 Pan L D.Pan Y D.System Identification and Modeling.Bei- Table 4 Comparison of roo mean square ermor in Experiment 2 ing:Chemical Industry Ps 2004 g"m-2 (潘立登.潘仰东.系统辨识与建模.北京：化学工业出版社. 2004) 方法 子集1 子集2 了集3 子集4 3 Tipping M E.Sparse Bayesian learning and the relevance vector SVM 68230 5.42155.5724 63147 machine.J Mach Learn Res.2001.3:211 GaussRVM 68475 5.64215.7325 6.5123 [4 Scholkopf B Alexander J S.Learning with Kernels:Support Mexicam RVM 5.9346 5.3214 5.04325.7841 Vector Mad ines,Regularization.Optimiz ation.and Beyond. Morkt-RVM 61254 5.2357 5.4237 60124 Londbn:The MIT Press 2001 DOG-RVM 604575.78615.656264256 [5 Vladimir N V.The Nature of Statistical Learning Theory.New York:Springer,1995 160r一直实值 [6 Kropotov D.Ptashko N.Vasiliev 0 et al.On kernel selection in 预测值 0 relevance vector machines using stability principle//The 18th In- ternational Conference on Pattern Recognition IPR'6). 2006 7 Nikolev N.Tino P.Sequential relevance vector machine learning from time seres//Proceedings of International Joint Conference on Neural Networks.Montreal 2005 120 160 样本数 [8 Gustavo C V,M anel M R.Jose R A.et al.Nonlinear system identification with composite relevance vector machines.IEEE 图2锌层质量的预测结果 Signal Process Lett.2007.14(4):279 Fig 2 Prediction results of inc coating mass [9 Chen S Gunn S R Harris C J.The relevance vector machine technique for channel equalization applicat ion.IEEE Trans Neu- ral Networks.2001,12(6):1529 4结论 [10 Zhang L Zhou W D.Jiao L C.Wavdlet support vector ma chine.IEEE Trans Syst Man Cybern Part B.2004 34(1):34 本文将小波核函数引入到相关向量机中，不仅 [11]Ding E R.Zhang P.Ding Y.et al.A novel regression algorithm 提高了模型的建模精度，而且给出了预测区间.将 of rediced multiresolution relevance vector machine.Control 小波相关向量机应用于产品质量的建模与支持向 Dis2008.23(1):65 量机和高斯核相关向量机相比，无论是仿真数据还 (丁二锐。曾平，丁阳等.一种新的回归型约简多分辨率相关 是实际的带钢生产热镀锌数据，都表明三种小波相 向量机.控制与决策.200823(1)：65) 关向量机均具有更好的建模精度和学习能力，其中 12 Yao L Yang J H.Xu J W,et al.Quality monitoring method of st rip hot-dip galvanizing based on partial east squares regression. 利用多组带钢热镀锌锌层质量实际生产数据建立的 JUniv Sci Technol Beijing.2007.29(6):627 M exican-RVM模型的预测均方根误差平均值分别 (姚林，阳建宏，徐金梧等.基于偏最小二乘回归模型的带钢 比其他两种方法降低了0.5276g°m和0.5923g° 热镀锌质量监控方法北京科技大学学报，2007,29(6)：627)

的平均值分别为 4.52 %、4.68 %和 4.72 %, 在实际 生产应用中具有指导意义 .选取其中一个数据子集 的M ex ican-RVM 的预测结果如图 2 所示.图 2 给 出了真实值、预测值和预测值的上、下标准差限 , 可 以看到小波相关向量机可以有效预测锌层质量 , 而 且还可以给出预测值基于概率的区间信息, 为实际 的生产指导提供更多的决策支持. 表 4 实验 2 预测均方根误差 Table 4 Comparison of root mean square error in Experiment 2 g·m -2 方法 子集 1 子集 2 子集 3 子集 4 SVM 6.823 0 5.421 5 5.572 4 6.314 7 Gauss-RVM 6.847 5 5.642 1 5.732 5 6.512 3 Mexican-RVM 5.934 6 5.321 4 5.043 2 5.784 1 Morlet-RVM 6.125 4 5.235 7 5.423 7 6.012 4 DOG-RVM 6.045 7 5.786 1 5.656 2 6.425 6 图 2 锌层质量的预测结果 Fig.2 Prediction results of zinc coating mass 4 结论 本文将小波核函数引入到相关向量机中, 不仅 提高了模型的建模精度, 而且给出了预测区间.将 小波相关向量机应用于产品质量的建模, 与支持向 量机和高斯核相关向量机相比 , 无论是仿真数据还 是实际的带钢生产热镀锌数据 , 都表明三种小波相 关向量机均具有更好的建模精度和学习能力, 其中 利用多组带钢热镀锌锌层质量实际生产数据建立的 M exican-RVM 模型的预测均方根误差平均值分别 比其他两种方法降低了 0.527 6 g·m -2和 0.592 3 g· m -2 ,相对预测误差的平均值小于 5 %.因此, 小波 相关向量机产品质量模型可以为实际的生产应用和 进一步的生产控制提供更有效的指导 . 参 考 文 献 [ 1] Zhu L .S teel Hot-dip Ga lvanizing .Beijing :Chemical Industry Press, 2006 (朱立.钢材热镀锌.北京:化学工业出版社, 2006) [ 2] Pan L D , Pan Y D .S ystem Identification and Modeling .Bei￾jing :Chemical Industry Press, 2004 (潘立登, 潘仰东.系统辨识与建模.北京:化学工业出版社, 2004) [ 3] Tipping M E .Sparse Bayesian learning and the relevance vector machine.J Mach Learn Res, 2001 , 3:211 [ 4] S cholkopf B, Alexander J S.Learning with Kernels:Su pport Vector Mach ines, Regularization , Op timiz ation , and Beyond . London:The MIT Press, 2001 [ 5] Vladimir N V .The Natu re of S tatistical Lear ning Theor y .New York:Springer , 1995 [ 6] Kropotov D , Ptashko N , Vasiliev O, et al.On kernel selection in relevance vect or machines using stabilit y principle∥The 18 th In￾ternational Con f erence on Patter n Recog nition (ICPR ' 06), 2006 [ 7] Nikolaev N , Tino P .Sequential relevance vect or machine learning from time series∥Proceedings of Inter national Join t Con f erence on Neural Networks.Montreal, 2005 [ 8] Gust avo C V, M anel M R, Jose R A, et al.Nonlinear system identification w ith com posite relevance vect or machines.IEEE S igna l Process Lett , 2007 , 14(4):279 [ 9] Chen S , Gunn S R, Harris C J.The relevance vect or machine t echnique for channel equalization application.IEEE Trans Neu￾r al Networks, 2001 , 12(6):1529 [ 10] Zhang L, Zhou W D, Jiao L C .Wavelet support vector ma￾chine.IEEE Tra ns S yst Man Cybern Part B , 2004, 34(1):34 [ 11] Ding E R, Zhang P , Ding Y , et al.A novel regression algorithm of reduced multi-resolution relevance vect or machine.Control Decis, 2008 , 23(1):65 (丁二锐, 曾平, 丁阳,等.一种新的回归型约简多分辨率相关 向量机.控制与决策, 2008 , 23(1):65) [ 12] Yao L , Yang J H , Xu J W , et al.Quality monitoring method of strip hot-dip galvanizing based on partial least squares regression. J U niv Sci Technol Beijing , 2007 , 29(6):627 (姚林, 阳建宏, 徐金梧, 等.基于偏最小二乘回归模型的带钢 热镀锌质量监控方法.北京科技大学学报, 2007 , 29(6):627) · 938 · 北 京 科 技 大 学 学 报 第 31 卷