D0I:10.13374/1.issnl00103.2008.10.0☒ 第30卷第10期 北京科技大学学报 Vol.30 No.10 2008年10月 Journal of University of Science and Technology Beijing 0t.2008 改进粒子群优化神经网络及其在产品质量建模中的应 用 王建国12) 阳建宏)云海滨)徐金梧) 1)北京科技大学机械工程学院，北京1000832)内蒙古科技大学机械工程学院，包头014010 摘要针对传统神经网络优化算法易陷入局部最优值的问题，在标准粒子群算法的基础上，对粒子速度与位置更新策略进 行改进，提出一种基于改进粒子群优化算法的BP神经网络建模方法·使用sie函数、波士顿住房数据及某钢厂带钢热镀锌生 产的实际数据进行验证·结果表明，与标准的反向传播神经网络和支持向量机相比，基于改进粒子群优化的神经网络模型可 以有效提高预测精度. 关键词BP神经网络：粒子群优化算法；产品质量模型：带钢热镀锌 分类号TP183 Improved particle swarm optimized back propagation neural network and its ap- plication to production quality modeling WA NG Jianguo2).YANG Jianhong),YUN Haibin2).XU Jinwu) 1)School of Mechanical Engineering.University of Science and Technology Beijing.Beijing 100083,China 2)Mechanical Engineering School.University of Science and Technology Inner Mongolia.Baotou 014010.China ABSTRACI In order to solve the difficulties of tendency to local optima in conditional optimization algorithms for back propagation neural network(BPNN).with improvements in the strategy for updating the particle's velocity and location,this paper proposed a new back propagation neural network modeling method based on improved particle swarm optimization.The data from sinc function. Boston housing problem and the real strip hot-dip galvanizing production in an iron and steel corporation were used for verification. The results show that,compared with the standard BPNN and support vector machine algorithms,the proposed method can effective- ly help the BPNN to get a better regression precision and prediction performance. KEY WORDS BP neural network:particle swarm optimization:production quality modeling:strip hot-dip galvanizing 获取产品质量指标与生产过程工艺参数间的对 于复杂的网络，反向传播算法(back propagation al- 应关系，可以预测产品质量，控制、优化生产过程，因 gorithm,BP)有可能陷入局部最小值，而不能保 而近年来得到了广泛的关注，当前比较常用的产品 证收敛到全局极小值，因此，神经网络训练中对权 质量建模方法有理论建模、统计分析建模和人工智 值和阈值的优化是建模过程的重要研究内容. 能法建模等山.基于神经网络的产品质量模型的输 粒子群优化算法(particle swarm optimization, 入和输出直接对应着生产过程参数和产品质量参 PS0)[是一种基于群智能方法的演化计算技术，属 数，适用于多输入多输出的建模过程，并具有非线性 于演化计算领域中的一个新的分支，采用粒子群算 模型拟合能力，已成为近年来研究最多和应用范围 法对神经网络的权值和阈值进行训练，可以有效避 广泛的一种质量建模方法，理论上三层的前向神经 免算法收敛到局部最小值，但是由于PS0算法在 网络可以逼近任何连续的非线性函数2]，但是对 优化过程中所有粒子都向最优解的方向移动，所以 收稿日期：2008-05-10修回日期：2008-07-31 基金项目：北京市自然科学基金资助项目(N。,3062012) 作者简介：王建国(1958一)：男，教授，博士研究生；徐金梧(1949一)，男，教授，博士生导师，Emal:jwxu@ustb.edu-cn
改进粒子群优化神经网络及其在产品质量建模中的应 用 王建国12） 阳建宏1） 云海滨2） 徐金梧1） 1） 北京科技大学机械工程学院北京100083 2） 内蒙古科技大学机械工程学院包头014010 摘 要 针对传统神经网络优化算法易陷入局部最优值的问题在标准粒子群算法的基础上对粒子速度与位置更新策略进 行改进提出一种基于改进粒子群优化算法的 BP 神经网络建模方法．使用 sinc 函数、波士顿住房数据及某钢厂带钢热镀锌生 产的实际数据进行验证．结果表明与标准的反向传播神经网络和支持向量机相比基于改进粒子群优化的神经网络模型可 以有效提高预测精度． 关键词 BP 神经网络；粒子群优化算法；产品质量模型；带钢热镀锌 分类号 TP183 Improved particle swarm optimized back propagation neural network and its application to production quality modeling W A NG Jianguo 12）Y A NG Jianhong 1）Y UN Haibin 2）XU Jinw u 1） 1） School of Mechanical EngineeringUniversity of Science and Technology BeijingBeijing100083China 2） Mechanical Engineering SchoolUniversity of Science and Technology Inner MongoliaBaotou014010China ABSTRACT In order to solve the difficulties of tendency to local optima in conditional optimization algorithms for back propagation neural network （BPNN）with improvements in the strategy for updating the particle’s velocity and locationthis paper proposed a new back propagation neural network modeling method based on improved particle swarm optimization．T he data from sinc function Boston housing problem and the real strip hot-dip galvanizing production in an iron and steel corporation were used for verification． T he results show thatcompared with the standard BPNN and support vector machine algorithmsthe proposed method can effectively help the BPNN to get a better regression precision and prediction performance． KEY WORDS BP neural network；particle swarm optimization；production quality modeling；strip hot-dip galvanizing 收稿日期：2008-05-10 修回日期：2008-07-31 基金项目：北京市自然科学基金资助项目（No．3062012） 作者简介：王建国（1958—）男教授博士研究生；徐金梧（1949—）男教授博士生导师E-mail：jwxu＠ustb．edu．cn 获取产品质量指标与生产过程工艺参数间的对 应关系可以预测产品质量控制、优化生产过程因 而近年来得到了广泛的关注．当前比较常用的产品 质量建模方法有理论建模、统计分析建模和人工智 能法建模等［1］．基于神经网络的产品质量模型的输 入和输出直接对应着生产过程参数和产品质量参 数适用于多输入多输出的建模过程并具有非线性 模型拟合能力已成为近年来研究最多和应用范围 广泛的一种质量建模方法．理论上三层的前向神经 网络可以逼近任何连续的非线性函数［2—3］．但是对 于复杂的网络反向传播算法（back propagation algorithmBP） ［4］有可能陷入局部最小值而不能保 证收敛到全局极小值．因此神经网络训练中对权 值和阈值的优化是建模过程的重要研究内容． 粒子群优化算法（particle swarm optimization PSO） ［5］是一种基于群智能方法的演化计算技术属 于演化计算领域中的一个新的分支．采用粒子群算 法对神经网络的权值和阈值进行训练可以有效避 免算法收敛到局部最小值．但是由于 PSO 算法在 优化过程中所有粒子都向最优解的方向移动所以 第30卷 第10期 2008年 10月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．30No．10 Oct．2008 DOI:10．13374／j．issn1001－053x．2008．10．023
第10期 王建国等：改进粒子群优化神经网络及其在产品质量建模中的应用 ,1189, 粒子趋向同一化，群体的多样性逐渐丧失，导致算法 速度慢，但是可以有效避免陷入局部最优，粒子的 后期收敛速度变慢，因而难以获得较好的优化结 速度和位置根据如下公式进行更新： 果[们.为了获得更好的优化效果，近年来出现了很 vi(t+1)=wvij(t)cirand()(pbj(t) 多改进的粒子群算法，文献[7]提出带惯性权重的 x(t)十czrand()(9一x(t)十 PS0算法，通过经验选择粒子群的参数，但算法末 c3rand()(h(t)一x(t)) (3) 期的全局搜索能力会有所下降.目前利用混合算 x(t+1)=x(t)十v防(t十1) (4) 法80的思想来改进PS0算法，可以提高PS0算 式中，c3为学习因子 法的收敛速度， 本文在综合已有粒子群优化算法优点的基础 2基于改进粒子群算法的神经网络 上，对粒子群速度与位置更新公式进行了改进，增强 2.1改进的粒子群算法 了粒子群优化算法的全局搜索能力，并将其与BP (1)对粒子速度与位置更新策略的改进，在全 算法相结合，提出了改进粒子群优化神经网络算法 局粒子群算法和局部粒子群算法融合的基础上，对 (BP based on improved particle swarm optimization, PS0算法进行了改进，在迭代过程中计算每一个粒 BP-IPSO)·将BP-IPSO算法用于产品质量建模， 子与群中其他粒子的距离，记录任何两个粒子间的 与传统方法相比，可以取得更好的预测精度， 最大距离为dist-max,dist[lab]是当前粒子a到粒 1标准的粒子群算法 子b的距离.如果粒子b满足dist[lb]/dist-max< η时，认为b属于当前粒子的邻域U;如果粒子b满 1.1全局粒子群优化算法 足dist[lb]/dist-max>n时，认为b不属于当前粒 标准PS0算法中的粒子是同时跟踪自己的历 子的邻域U.阈值系数？的选择根据迭代次数而变 史最优值与全局最优值来改变自己的位置和速度 化，1的表示如下： 的，所以又叫做全局粒子群优化算法.在全局粒 3t十0.6tmm 子群算法中，粒子个数称为种群规模m,第i个粒 = (5) tmax 子在d维空间的位置表示为x:=(x1,x2,…,x), 其中，t为当前迭代次数，tma为最大迭代次数 速度表示为V:=（vl,v2,…,va)(i=1,2,…, 当>0.9时，采用全局粒子群算法，用式(1) m)·计算每个粒子的适应度，适应度函数一般由实 和式(2)分别来更新粒子的速度和位置，当0.9 际问题中被优化的函数决定，根据每一个粒子的适 时，采用局部粒子群算法，用式(3)和式(4)分别来更 应度，更新每个粒子的个体最优值位置P,和全局最 新粒子的速度和位置，BP-IPS0算法中，种群的数 优值位置9，粒子通过动态跟踪p,和9来更新其 目为40个，惯性权重的最大值和最小值分别为0.9 速度和位置，粒子根据以下公式来更新其速度和位 和0.4，c1、c2和c3取标准值1.496]. 置： (2)对惯性权重的改进，标准PS0算法是在运 vi(t+1)=wvi(t)+cirand()(pbj(t)- 算中线性减少惯性权重心，容易使算法一旦进入局 xij(t))+czrand()(gbj-xj(t)) (1) 部极值点邻域内很难跳出，使全局寻优的难度增大， x(t十1)=x(t)十vg(t+1) (2) 为了克服上述的缺点，本文对惯性权重心采用以S 式中，i=1,2,,m,表示第i个粒子；j=1,2,…, 形函数递减策略，以保证种群在搜索的初期保持较 d,表示第j维空间；c1和c2为学习因子，t为迭代 高的飞行速度进行搜索，在搜索的中期让飞行速度 次数，rand()为均匀分布在(0~l)之间的随机数，w 快速下降，在搜索的后期粒子再保持一定的飞行速 为惯性权重 度进行最后的收敛，改进后的惯性权重按下式求 1.2局部粒子群优化算法 得： 每个粒子速度的更新主要与以下两个因素相 20=0max0min十Dmin 关一粒子自己的历史最优位置p和粒子邻域内 2 etlt一e 1十e (6) 最优位置，即在速度更新中用h代替9，其余保 式中，心m和0mim分别为最大、最小惯性权重，t和 持跟全局粒子群算法一样，这个算法称为局部粒子 tmar分别为当前迭代次数和最大迭代次数，e为控制 群算法)，经过实践证明：全局粒子群算法收敛速 系数，用于调节速度变化的快慢，一般e=10. 度快，但是容易陷入局部最优：局部粒子群算法收敛 通过对粒子速度与位置更新策略和对惯性权重
粒子趋向同一化群体的多样性逐渐丧失导致算法 后期收敛速度变慢因而难以获得较好的优化结 果［6］．为了获得更好的优化效果近年来出现了很 多改进的粒子群算法．文献［7］提出带惯性权重的 PSO 算法通过经验选择粒子群的参数但算法末 期的全局搜索能力会有所下降．目前利用混合算 法［8—10］的思想来改进 PSO 算法可以提高 PSO 算 法的收敛速度． 本文在综合已有粒子群优化算法优点的基础 上对粒子群速度与位置更新公式进行了改进增强 了粒子群优化算法的全局搜索能力并将其与 BP 算法相结合提出了改进粒子群优化神经网络算法 （BP based on improved particle swarm optimization BP—IPSO）．将 BP—IPSO 算法用于产品质量建模 与传统方法相比可以取得更好的预测精度． 1 标准的粒子群算法 1∙1 全局粒子群优化算法 标准 PSO 算法中的粒子是同时跟踪自己的历 史最优值与全局最优值来改变自己的位置和速度 的所以又叫做全局粒子群优化算法［4］．在全局粒 子群算法中粒子个数称为种群规模 m第 i 个粒 子在 d 维空间的位置表示为 xi＝（ xi1xi2…xid） 速度表示为 Vi ＝（ vi1vi2…vid ） （ i ＝12… m）．计算每个粒子的适应度适应度函数一般由实 际问题中被优化的函数决定．根据每一个粒子的适 应度更新每个粒子的个体最优值位置 pb 和全局最 优值位置 gb粒子通过动态跟踪 pb 和 gb 来更新其 速度和位置．粒子根据以下公式来更新其速度和位 置： vij（ t＋1）＝ wvij（ t）＋c1rand（）（ pb j（ t）— xij（ t））＋c2rand（）（ gb j— xij（ t）） （1） xij（ t＋1）＝ xij（ t）＋vij（ t＋1） （2） 式中i＝12…m表示第 i 个粒子；j＝12… d表示第 j 维空间；c1 和 c2 为学习因子t 为迭代 次数rand（）为均匀分布在（0～1）之间的随机数w 为惯性权重． 1∙2 局部粒子群优化算法 每个粒子速度的更新主要与以下两个因素相 关———粒子自己的历史最优位置 pb 和粒子邻域内 最优位置 lb即在速度更新中用 lb 代替 gb其余保 持跟全局粒子群算法一样这个算法称为局部粒子 群算法［9］．经过实践证明：全局粒子群算法收敛速 度快但是容易陷入局部最优；局部粒子群算法收敛 速度慢但是可以有效避免陷入局部最优．粒子的 速度和位置根据如下公式进行更新： vij（ t＋1）＝ wvij（ t）＋c1rand（）（ pb j（ t）— xij（ t））＋c2rand（）（ gb j— xij（ t））＋ c3rand（）（ lb j（ t）— xij（ t）） （3） xij（ t＋1）＝ xij（ t）＋vij（ t＋1） （4） 式中c3 为学习因子． 2 基于改进粒子群算法的神经网络 2∙1 改进的粒子群算法 （1）对粒子速度与位置更新策略的改进．在全 局粒子群算法和局部粒子群算法融合的基础上对 PSO 算法进行了改进．在迭代过程中计算每一个粒 子与群中其他粒子的距离．记录任何两个粒子间的 最大距离为 dist—max．dist ［ lab ］是当前粒子 a 到粒 子 b 的距离．如果粒子 b 满足 dist ［ lab ］／dist—max＜ η时认为 b 属于当前粒子的邻域 U；如果粒子 b 满 足 dist ［ lab ］／dist—max＞η时认为 b 不属于当前粒 子的邻域 U．阈值系数 η的选择根据迭代次数而变 化［9］η的表示如下： η＝ 3t＋0∙6tmax tmax （5） 其中t 为当前迭代次数tmax为最大迭代次数． 当η＞0∙9时采用全局粒子群算法用式（1） 和式（2）分别来更新粒子的速度和位置．当 η＜0∙9 时采用局部粒子群算法用式（3）和式（4）分别来更 新粒子的速度和位置．BP—IPSO 算法中种群的数 目为40个惯性权重的最大值和最小值分别为0∙9 和0∙4［7］c1、c2 和 c3 取标准值1∙496［7］． （2） 对惯性权重的改进．标准 PSO 算法是在运 算中线性减少惯性权重 w容易使算法一旦进入局 部极值点邻域内很难跳出使全局寻优的难度增大． 为了克服上述的缺点本文对惯性权重 w 采用以 S 形函数递减策略以保证种群在搜索的初期保持较 高的飞行速度进行搜索在搜索的中期让飞行速度 快速下降在搜索的后期粒子再保持一定的飞行速 度进行最后的收敛．改进后的惯性权重按下式求 得： w＝ w max— w min 1＋e 2et／tmax—e ＋ w min （6） 式中w max和 w min分别为最大、最小惯性权重t 和 tmax分别为当前迭代次数和最大迭代次数e 为控制 系数用于调节速度变化的快慢一般 e＝10． 通过对粒子速度与位置更新策略和对惯性权重 第10期 王建国等： 改进粒子群优化神经网络及其在产品质量建模中的应用 ·1189·
.1190. 北京科技大学学报 第30卷 的改进，本文提出了粒子群优化算法(PS0),并在 体的误差对比数据如表1所示. 此基础上对BP网络的权值、阈值进行了优化， (开始 2.2BP-IPSO算法优化神经网络 采用改进的粒子群优化算法训练神经网络时， 初始BP网络的权值和阙值 首先初始神经网络层数、输入神经元个数1、隐含 初始粒子速度、位置及粒子的个体极值、全局最值、邻域极值 层神经元个数n2、输出神经元个数n3:将连接权 W(在输入层和隐含层之间)、连接权V(在隐含 计算粒子的适应度 层和输出层之间)、隐含层的阈值、输出层的阈值 Y设置为在[一1,1]之间的随机值，其中i∈[1， 计算粒子间的距离与 大于衡值刀 最大距离的比值 ],j∈[1，n2],k∈[1，n3],粒子群优化算法的最 小于阅值n 大迭代次数设为tmas,本文中tma=300,误差最小 用改进粒子群算法更新粒子 用标准粒子群 值为Emim,即BP-IPSO的误差.，当前连接权值和阈 的个体极值、全局最值、 算法更新粒子 邻域极值 的个体极值、 选代次数 全局最值 值设置为随机给定的初始值.根据粒子群规模，确 加1 定粒子的初始速度和位置， 所有粒子计算完成 计算每一个网络在训练集上产生的均方误差 Y (mean square error,MSE),并以此作为目标函数，构 均方差小于设定精度 造适应度函数，计算个体的适应度： N Ns(别=多列 (7) 迭代次数小于 输出粒子的 最大选代次数 位置序列 式中，y:为目标值，y:为预测值，n为样本数，均方 Y 误差越小说明模型的精度越高· 最优值用梯度下降法 结束 进行二次寻优 适应度函数定义为： f(x)=E(x). (8) 图1BP-IPSO算法流程图 利用适应度函数来判断是否需要更新粒子的 Fig.1 Flowchart of BP-IPSO algorithm P%、h和9·之后，更新每一粒子不同分量上的飞 行速度，直到PS0的迭代次数达到最大迭代次数 12r 或训练误差小于Emim·如果训练完成后误差未达到 1.0 ◆预测值 Emim,用梯度下降法调整W、V、(和Y山，直到 一目标值 训练达到误差Emin或迭代次数达到最大时，算法结 0.6 束 0.4 算法的具体流程图如图1所示， 0.2 3 实验验证 0.2 3.1对标准数据集的实验验证 0.410864=20246810 X 采用sinc函数和UCI机器学习数据库中的波 士顿住房问题数据集[12]进行方法有效性验证，sic 图2BP-IPSO算法对sie函数的预测与目标值的对比 函数y=sinx/x+N(0,o2),x∈[-10,10]，在x Fig.2 Comparison of actual and predicted values of sine function by BP-IPSO 的范围内分别取400个点作为训练样本，噪声方差 62=0.1(高斯白噪声)，用无噪声的100个点作为测 表1三种方法的均方误差的比较 试样本.取20次实验的平均值作为测试误差，BP- Table 1 Comparison of normalized mean square error among the three IPS0网络结构为1一8一1，即输入层有1个输入节 methods 点，隐含层有8个输入节点，输出层有1个输出节 方法 sinc函数 波士顿住房数据 点.图2给出BP-IPSO的预测结果.以均方误差 品 0.0321 0.0732 作为评判指标，与标准的BP神经网络及支持向量 SVM 0.0019 0.0297 机(support vector machine,SVM)算法进行比较，具 BP-IPSO 0.0008 0.0208
的改进本文提出了粒子群优化算法（IPSO）并在 此基础上对 BP 网络的权值、阈值进行了优化． 2∙2 BP－IPSO 算法优化神经网络 采用改进的粒子群优化算法训练神经网络时 首先初始神经网络层数、输入神经元个数 n1、隐含 层神经元个数 n2、输出神经元个数 n3．将连接权 Wij（在输入层和隐含层之间）、连接权 V jk （在隐含 层和输出层之间）、隐含层的阈值 θj、输出层的阈值 γk 设置为在 ［—11］ 之间的随机值其中 i∈ ［1 n1］j∈［1n2］k∈［1n3］．粒子群优化算法的最 大迭代次数设为 tmax本文中 tmax＝300误差最小 值为 Emin即 BP—IPSO 的误差．当前连接权值和阈 值设置为随机给定的初始值．根据粒子群规模确 定粒子的初始速度和位置． 计算每一个网络在训练集上产生的均方误差 （mean square errorMSE）并以此作为目标函数构 造适应度函数计算个体的适应度： MSE（＾yi）＝ 1 n ∑ n i＝1 （ yi—＾yi） 2 （7） 式中yi 为目标值＾yi 为预测值n 为样本数．均方 误差越小说明模型的精度越高． 适应度函数定义为： f （ x）＝ E（ x）． （8） 利用适应度函数来判断是否需要更新粒子的 pb、lb 和 gb．之后更新每一粒子不同分量上的飞 行速度直到 IPSO 的迭代次数达到最大迭代次数 或训练误差小于 Emin．如果训练完成后误差未达到 Emin用梯度下降法调整 Wij、V jk、θj 和γk ［11］直到 训练达到误差 Emin或迭代次数达到最大时算法结 束． 算法的具体流程图如图1所示． 3 实验验证 3∙1 对标准数据集的实验验证 采用 sinc 函数和 UCI 机器学习数据库中的波 士顿住房问题数据集［12］进行方法有效性验证．sinc 函数 y＝sin x／x ＋ N（0σ2）x ∈［—1010］在 x 的范围内分别取400个点作为训练样本噪声方差 σ2＝0∙1（高斯白噪声）用无噪声的100个点作为测 试样本．取20次实验的平均值作为测试误差．BP— IPSO 网络结构为1—8—1即输入层有1个输入节 点隐含层有8个输入节点输出层有1个输出节 点．图2给出 BP—IPSO 的预测结果．以均方误差 作为评判指标与标准的 BP 神经网络及支持向量 机（support vector machineSVM）算法进行比较具 体的误差对比数据如表1所示． 图1 BP—IPSO 算法流程图 Fig．1 Flowchart of BP—IPSO algorithm 图2 BP—IPSO 算法对 sinc 函数的预测与目标值的对比 Fig．2 Comparison of actual and predicted values of sinc function by BP—IPSO 表1 三种方法的均方误差的比较 Table1 Comparison of normalized mean square error among the three methods 方法 sinc 函数 波士顿住房数据 BP 0∙0321 0∙0732 SVM 0∙0019 0∙0297 BP—IPSO 0∙0008 0∙0208 ·1190· 北 京 科 技 大 学 学 报 第30卷
第10期 王建国等：改进粒子群优化神经网络及其在产品质量建模中的应用 ,1191. 波士顿住房问题是检验算法回归性能的基准数 目标值，y:为目标值的平均值，n为预测样本数 据集，将BP-IPSO算法应用于波士顿住房问题的 复测定系数反映模型中某一个因变量的可解释 数据集，实验中随机选取450个样本作为训练样本， 变异占总变异的百分比，取值在0到1之间.复测 其余的61个样本作为测试样本，实验中对所有的 定系数越接近1表明该因变量可解释变异占总变异 样本数据都进行了归一化处理，取10次实验的平均 的比例越高，回归模型越适用 值作为最终结果.BP-IPS0网络选择的结构为13 (3)相对预测误差(relative prediction error, 20-1,实验结果如表1所示， RPE): 从表1的数据中可以看出，本文提出的 BP-IPSO算法具有更好的样本学习能力， RPE- =1 (10) 3.2基于BP-IPSO算法的镀锌层重量质量模型 锌层重量是带钢热镀锌生产中一个重要质量指 1 标，吹气法镀锌工艺中气刀是控制锌层重量的关键 式中，PE为相对预测误差，y:为预测值，y:为目标 部件.在实际的生产工艺中，气刀的喷气压力、气刀 值，为预测样本数，相对预测误差越小说明模型 喷嘴到带钢的距离、机组运行速度和带钢厚度是影 的预测能力越强 响锌层重量的几个主要因素，本文以某钢厂带钢热 建立网络结构为48一1的BP-IPSO产品质量 镀锌生产线的实际生产数据为样本空间，利用BP- 模型，其中输入参数分别为气刀的喷气压力P、气刀 IPSO算法建立锌层重量的质量预测模型.为了比 喷嘴到带钢的距离d、机组运行速度v和带钢厚度 较本文方法(BP-IPS0模型)、经过标准粒子群算法 五，输出参数是锌层的厚度.从现场的实际生产记录 优化的BP神经网络(BP based on particle swarm 中取得了一个由2991个数据样本组成的数据集， optimization,BP_PSO)模型和标准的BP模型之间 进行两组实验， 的优点，本文主要采用了如下的评判指标 第一组实验：测试样本随机性选择对预测精度 (l)均方根误差(root mean square error, 的影响，在回归和预测样本数目相同的情况下，选 RMSE). 取不同的数据起始点，等间隔取样，分别以数据集 (2)复测定系数2： 的第1,401,801,1201个样本点为起始点，连续选 择1200个样本点作为一个数据子集，共选择了四 R2=1-SSR SSy (9) 个数据子集，每个数据子集的前1000个样本用于 式中，SSR=户(：-)2为残差平方和，SSY= 回归建模，后200个样本用于预测模型的校验.预 =1 测结果如图3所示，相对预测误差如表2所示，从 会(，小为总偏差平方和，方为颜覆值为 图3中可以看到随机选择样本的情况下BP-IPSO 的预测精度要优于BP-PSO和BP,从表2可以看 0.50 (a) (b) BP IPSO 0.95 -e-BP_PSO 0.45 -BP 0.40 BP IPSO 0.90 BP PSO -e-BP 0.35 0.85 0.30 0.80 0.25 子集 子集 图3实验1的预测复测定系数(a)和均方根误差(b) Fig.3 Comparison of the R square (a)and root mean square (b)of regression in Experiment I
波士顿住房问题是检验算法回归性能的基准数 据集将 BP—IPSO 算法应用于波士顿住房问题的 数据集实验中随机选取450个样本作为训练样本 其余的61个样本作为测试样本．实验中对所有的 样本数据都进行了归一化处理取10次实验的平均 值作为最终结果．BP—IPSO 网络选择的结构为13— 20—1实验结果如表1所示． 从 表 1 的 数 据 中 可 以 看 出本 文 提 出 的 BP—IPSO算法具有更好的样本学习能力． 3∙2 基于 BP－IPSO 算法的镀锌层重量质量模型 锌层重量是带钢热镀锌生产中一个重要质量指 标吹气法镀锌工艺中气刀是控制锌层重量的关键 部件．在实际的生产工艺中气刀的喷气压力、气刀 喷嘴到带钢的距离、机组运行速度和带钢厚度是影 响锌层重量的几个主要因素．本文以某钢厂带钢热 镀锌生产线的实际生产数据为样本空间利用 BP— IPSO 算法建立锌层重量的质量预测模型．为了比 较本文方法（BP—IPSO 模型）、经过标准粒子群算法 优化的 BP 神经网络（BP based on particle swarm optimizationBP—PSO）模型和标准的 BP 模型之间 的优点本文主要采用了如下的评判指标． （1） 均 方 根 误 差 （ root mean square error RMSE）． （2） 复测定系数 R 2： R 2＝1— SSR SSy （9） 式中SSR＝∑ n i＝1 （ yi—＾yi ） 2为残差平方和SSY ＝ ∑ n i＝1 （ yi—yi） 2 为总偏差平方和＾yi 为预测值yi 为 目标值yi 为目标值的平均值n 为预测样本数． 复测定系数反映模型中某一个因变量的可解释 变异占总变异的百分比取值在0到1之间．复测 定系数越接近1表明该因变量可解释变异占总变异 的比例越高回归模型越适用． （3） 相对预测误差 （relative prediction error RPE）： RPE＝ ∑ n i＝1 |yi —＾yi| ∑ n i＝1 |yi| （10） 式中RPE 为相对预测误差＾yi 为预测值yi 为目标 值n 为预测样本数．相对预测误差越小说明模型 的预测能力越强． 建立网络结构为4—8—1的 BP—IPSO 产品质量 模型其中输入参数分别为气刀的喷气压力 P、气刀 喷嘴到带钢的距离 d、机组运行速度 v 和带钢厚度 h输出参数是锌层的厚度．从现场的实际生产记录 中取得了一个由2991个数据样本组成的数据集 进行两组实验． 第一组实验：测试样本随机性选择对预测精度 的影响．在回归和预测样本数目相同的情况下选 取不同的数据起始点等间隔取样．分别以数据集 的第14018011201个样本点为起始点连续选 择1200个样本点作为一个数据子集共选择了四 个数据子集．每个数据子集的前1000个样本用于 回归建模后200个样本用于预测模型的校验．预 测结果如图3所示相对预测误差如表2所示．从 图3中可以看到随机选择样本的情况下 BP—IPSO 的 预测精度要优于BP— PSO和BP 从表2可以看 图3 实验1的预测复测定系数（a）和均方根误差（b） Fig．3 Comparison of the R square （a） and root mean square （b） of regression in Experiment 1 第10期 王建国等： 改进粒子群优化神经网络及其在产品质量建模中的应用 ·1191·
,1192 北京科技大学学报 第30卷 出BP-IPSO的相对预测误差均要优于BP-PSO和 度的影响，在数据起始点和预测样本数相同的情况 BP,说明了BP-IPSO算法对提高模型预测精度是 下，以等长度增加的方式选取不同的回归样本数 有效的 以第1个样本点为起始点，分别选取1000,1400， 表2实验1的相对预测误差的对比 1800,2200个回归样本长度，其后的200个数据样 Table 2 Comparison of the relative prediction error in Experiment 1 本点作为预测样本点，预测结果如图4所示，相对 % 预测误差如表3所示.从图4中可以看到不同的回 方法 子集1 子集2 子集3 子集4 归样本数情况下BP-IPSO的预测精度均要优于 BP 5.6 6.3 7.4 6.3 BP-PSO、BP,从表3可以看出在样本数逐渐增大的 BP-PSO 6.0 5.8 5.7 5.5 情况下，BP-IPSO的相对预测误差均要优于BP- BP-IPSO 4.9 4.8 4.8 5.1 IPSO、BP,说明了BP-IPSO算法可以有效提高模型 的预测精度，因而对于产品的质量预测与控制具有 第二组实验：测试不同的回归样本数对预测精 重要的意义， 0.92 (a) 0.45D BP IPSO BP IPSO --BP PSO 0.90 e-BP BP PSO 0.40 e-BP 0.88 9 0.35 0.86 0.30 0.84 0.82 0.25 子集 子集 图4实验2的预测复测定系数(a)和均方根误差(b) Fig.4 Comparison of the R square (a)and root mean square (b)of regression in the Experiment 2 表3实验2的相对预测误差的对比 (贺建勋.系统建模与数学模型.福建：福建科学技术出版社 Table 3 Comparison of the relative prediction error in Experiment 2 1995) % [2]Irie B.Miyake S.Capability of threelayered perceptions//Pro 方法 子集1 子集2 子集3 子集4 ceedings of IEEE International Conference on Neural Networks. San Diego,1988:641 5.6 6.0 5.7 5.3 [3]Wang D M,Li H D.Zhou J L.et al.Two improved study algo- BP-PSO 6.0 5.1 4.9 4.8 rithms for neural network structure.IUnin Sci Technol Beijing. BP-IPSO 4.9 4.7 5.0 4.8 1997,19(5):491 (王丹民，李华德，周建龙，等.2种改进的神经网络结构学习 算法.北京科技大学学报，1997,19(5)：491) 4结论 [4]Rumelhart D E,MeClelland J L.Parallel Distributed Process- 提出了一种基于改进粒子群算法对BP神经网 ing:Explorations in the Microstructure of Cognition.Cam- bridge:MIT Press.1986 络的权值和阈值进行优化的方法，应用标准数据集 [5]Kennedy J,Eberhart R.Particle swarm optimization//Proceed- 和带钢热镀锌的实际生产数据对该方法进行了验 ings of IEEE International Conference on Neural Networks 证.结果表明，BP-IPS0方法在产品质量建模中可 Australia:IEEE Service Center,1995:1942 以得到更好的预测精度，为实际工业应用提供了有 [6]Angeline PJ.Evolutionary optimization versus particle swarm op timization:philosophy and performance differences.Evol Pro 益的尝试和探索 gram,1998,48(17):1956 [7]Shi Y,Eberhart R.Empirical study of particle swarm optimiza 参考文献 tion/Proceeding of Congress on Computational Intelligence [1]He JX.System Model and Mathematics Model.Fujian:Fujian Washington.1999:1945 Science and Technology Press.1995 [8]Angeline P.Using selection to improve particle optimization
出 BP—IPSO 的相对预测误差均要优于 BP—PSO 和 BP说明了 BP—IPSO 算法对提高模型预测精度是 有效的． 表2 实验1的相对预测误差的对比 Table2 Comparison of the relative prediction error in Experiment 1 ％ 方法 子集1 子集2 子集3 子集4 BP 5∙6 6∙3 7∙4 6∙3 BP—PSO 6∙0 5∙8 5∙7 5∙5 BP—IPSO 4∙9 4∙8 4∙8 5∙1 第二组实验：测试不同的回归样本数对预测精 度的影响．在数据起始点和预测样本数相同的情况 下以等长度增加的方式选取不同的回归样本数． 以第1个样本点为起始点分别选取10001400 18002200个回归样本长度其后的200个数据样 本点作为预测样本点．预测结果如图4所示相对 预测误差如表3所示．从图4中可以看到不同的回 归样本数情况下 BP— IPSO 的预测精度均要优于 BP—PSO、BP从表3可以看出在样本数逐渐增大的 情况下BP— IPSO 的相对预测误差均要优于 BP— IPSO、BP说明了BP—IPSO 算法可以有效提高模型 的预测精度因而对于产品的质量预测与控制具有 重要的意义． 图4 实验2的预测复测定系数（a）和均方根误差（b） Fig．4 Comparison of the R square （a） and root mean square （b） of regression in the Experiment 2 表3 实验2的相对预测误差的对比 Table3 Comparison of the relative prediction error in Experiment 2 ％ 方法 子集1 子集2 子集3 子集4 BP 5∙6 6∙0 5∙7 5∙3 BP—PSO 6∙0 5∙1 4∙9 4∙8 BP—IPSO 4∙9 4∙7 5∙0 4∙8 4 结论 提出了一种基于改进粒子群算法对 BP 神经网 络的权值和阈值进行优化的方法应用标准数据集 和带钢热镀锌的实际生产数据对该方法进行了验 证．结果表明BP—IPSO 方法在产品质量建模中可 以得到更好的预测精度为实际工业应用提供了有 益的尝试和探索． 参 考 文 献 ［1］ He J X．System Model and Mathematics Model．Fujian：Fujian Science and Technology Press1995 （贺建勋．系统建模与数学模型．福建：福建科学技术出版社 1995） ［2］ Irie BMiyake S．Capability of three-layered perceptions∥ Proceedings of IEEE International Conference on Neural Networks． San Diego1988：641 ［3］ Wang D MLi H DZhou J Let al．Two improved study algorithms for neural network structure．J Univ Sci Technol Beijing 199719（5）：491 （王丹民李华德周建龙等．2种改进的神经网络结构学习 算法．北京科技大学学报199719（5）：491） ［4］ Rumelhart D EMcClelland J L．Parallel Distributed Processing： Explorations in the Microstructure of Cognition．Cambridge：MIT Press1986 ［5］ Kennedy JEberhart R．Particle swarm optimization∥ Proceedings of IEEE International Conference on Neural Networks． Australia：IEEE Service Center1995：1942 ［6］ Angeline P J．Evolutionary optimization versus particle swarm optimization：philosophy and performance differences． Evol Program199848（17）：1956 ［7］ Shi YEberhart R．Empirical study of particle swarm optimization∥ Proceeding of Congress on Computational Intelligence． Washington1999：1945 ［8］ Angeline P．Using selection to improve particle optimization ∥ ·1192· 北 京 科 技 大 学 学 报 第30卷