工程科学学报，第40卷，第11期：1402-1411,2018年11月 Chinese Journal of Engineering,Vol.40,No.11:1402-1411,November 2018 DOI:10.13374/j.issn2095-9389.2018.11.014;http://journals.ustb.edu.cn 无数学模型的非线性约束单目标系统优化方法改进 侯公羽2)，许哲东1)区，刘欣)，牛晓同)，王清乐) 1)中国矿业大学（北京）力学与建筑工程学院，北京1000832)新疆工程学院矿业工程与地质学院，乌鲁木齐830091 ☒通信作者，E-mail:18310676138@163.com 摘要为提高无法准确建立数学模型的非线性约束单目标系统优化问题的寻优精度，并考虑获取样本的代价，提出一种基 于支持向量机和免疫粒子群算法的组合方法(support vector machine and immune particle swarm optimization,SVM-PSO).首 先，运用支持向量机构建非线性约束单目标系统预测模型，然后，采用引入了免疫系统自我调节机制的免疫粒子群算法在预 测模型的基础上对系统寻优.与基于BP神经网络和粒子群算法的组合方法(BP and particle swarm optimization,BP-PSO)进行 仿真实验对比，同时，通过减少训练样本，研究了在训练样本较少情况下两种方法的寻优效果.实验结果表明，在相同样本数 量条件下，SVM-IPS0方法具有更高的优化能力，并且当样本数量减少时，相比BP-PS0方法，SVM-PS0方法仍能获得更稳定 且更准确的系统寻优值.因此，SVM-PS0方法为实际中此类问题提供了一个新的更优的解决途径. 关键词非线性约束单目标系统：支持向量机；免疫粒子群算法；仿真：优化 分类号TP301.6 Optimization method improvement for nonlinear constrained single objective system without mathematical models HOU Gong-yu),XU Zhe-dong,LIU Xin,NIU Xiao-tong,WANG Qing-le 1)School of Mechanics and Civil Engineering,China University of Mining &Technology (Beijing),Beijing 100083,China 2)School of Mining Engineering and Geology,Xinjiang Institute of Engineering.Urumqi 830091,China Corresponding author,E-mail:18310676138@163.com ABSTRACT Optimization problems of nonlinear constrained single objective system are common in engineering and many other fields.Considering practical applications,many optimization methods have been proposed to optimize such systems whose accurate mathematical models are easily constructed.However,as more variables are being considered in practical applications,objective sys- tems are becoming more complex,so that corresponding accurate mathematical models are difficult to be constructed.Many previous scholars mainly used back propagation (BP)neural network and basic optimization algorithms to successfully solve systems that are without accurate mathematical models.But the optimization accuracy still needs to be further improved.In addition,samples are nee- ded to solve such system optimization problems.Therefore,to improve the optimization accuracy of nonlinear constrained single objec- tive systems that are without accurate mathematical models while considering the cost of obtaining samples,a new method based on a combination of support vector machine and immune particle swarm optimization algorithm (SVM-IPSO)is proposed.First,the SVM is used to construct the predicted model of nonlinear constrained single objective system.Then,the immune particle swarm algorithm, which incorporates the self-regulatory mechanism of the immune system,is used to optimize the system based on the predicted model. The proposed method is compared with a method based on a combination of BP neural network and particle swarm optimization algorithm (BP-PSO).The optimization effects of the two methods are studied under few training samples by reducing the number of training sam- 收稿日期：2017-10-20 基金项目：国家自然科学基金委员会与神华集团有限责任公司联合重点资助项目(U1261212,U1361210):国家自然科学基金面上资助项目 (51574247)
工程科学学报,第 40 卷,第 11 期:1402鄄鄄1411,2018 年 11 月 Chinese Journal of Engineering, Vol. 40, No. 11: 1402鄄鄄1411, November 2018 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2018. 11. 014; http: / / journals. ustb. edu. cn 无数学模型的非线性约束单目标系统优化方法改进 侯公羽1,2) , 许哲东1)苣 , 刘 欣1) , 牛晓同1) , 王清乐1) 1) 中国矿业大学(北京)力学与建筑工程学院, 北京 100083 2) 新疆工程学院矿业工程与地质学院, 乌鲁木齐 830091 苣 通信作者, E鄄mail: 18310676138@ 163. com 摘 要 为提高无法准确建立数学模型的非线性约束单目标系统优化问题的寻优精度,并考虑获取样本的代价,提出一种基 于支持向量机和免疫粒子群算法的组合方法( support vector machine and immune particle swarm optimization, SVM鄄鄄 IPSO). 首 先,运用支持向量机构建非线性约束单目标系统预测模型,然后,采用引入了免疫系统自我调节机制的免疫粒子群算法在预 测模型的基础上对系统寻优. 与基于 BP 神经网络和粒子群算法的组合方法(BP and particle swarm optimization,BP鄄鄄PSO)进行 仿真实验对比,同时,通过减少训练样本,研究了在训练样本较少情况下两种方法的寻优效果. 实验结果表明,在相同样本数 量条件下,SVM鄄鄄IPSO 方法具有更高的优化能力,并且当样本数量减少时,相比 BP鄄鄄PSO 方法,SVM鄄鄄IPSO 方法仍能获得更稳定 且更准确的系统寻优值. 因此,SVM鄄鄄IPSO 方法为实际中此类问题提供了一个新的更优的解决途径. 关键词 非线性约束单目标系统; 支持向量机; 免疫粒子群算法; 仿真; 优化 分类号 TP301郾 6 收稿日期: 2017鄄鄄10鄄鄄20 基金项目: 国家自然科学基金委员会与神华集团有限责任公司联合重点资助项目(U1261212,U1361210); 国家自然科学基金面上资助项目 (51574247) Optimization method improvement for nonlinear constrained single objective system without mathematical models HOU Gong鄄yu 1,2) , XU Zhe鄄dong 1)苣 , LIU Xin 1) , NIU Xiao鄄tong 1) , WANG Qing鄄le 1) 1) School of Mechanics and Civil Engineering, China University of Mining & Technology (Beijing), Beijing 100083, China 2) School of Mining Engineering and Geology, Xinjiang Institute of Engineering, Urumqi 830091, China 苣 Corresponding author, E鄄mail: 18310676138@ 163. com ABSTRACT Optimization problems of nonlinear constrained single objective system are common in engineering and many other fields. Considering practical applications, many optimization methods have been proposed to optimize such systems whose accurate mathematical models are easily constructed. However, as more variables are being considered in practical applications, objective sys鄄 tems are becoming more complex, so that corresponding accurate mathematical models are difficult to be constructed. Many previous scholars mainly used back propagation (BP) neural network and basic optimization algorithms to successfully solve systems that are without accurate mathematical models. But the optimization accuracy still needs to be further improved. In addition, samples are nee鄄 ded to solve such system optimization problems. Therefore, to improve the optimization accuracy of nonlinear constrained single objec鄄 tive systems that are without accurate mathematical models while considering the cost of obtaining samples, a new method based on a combination of support vector machine and immune particle swarm optimization algorithm (SVM鄄鄄IPSO) is proposed. First, the SVM is used to construct the predicted model of nonlinear constrained single objective system. Then, the immune particle swarm algorithm, which incorporates the self鄄regulatory mechanism of the immune system, is used to optimize the system based on the predicted model. The proposed method is compared with a method based on a combination of BP neural network and particle swarm optimization algorithm (BP鄄鄄PSO). The optimization effects of the two methods are studied under few training samples by reducing the number of training sam鄄
侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1403· ples.The simulation results show that the SVM-IPSO has a higher optimization ability under the same sample size conditions,and when the number of samples decreases,the SVM-IPSO method can still obtain more stable and accurate system optimization values than the BP-PSO method.Hence,the SVM-IPSO method provides a new and better solution to this kind of problems. KEY WORDS nonlinear constrained single objective system;support vector machine;immune particle swarm optimization;simula- tion;optimization 非线性约束单目标系统优化问题存在于很多行 网络模型，然后运用遗传算法进行参数最优匹配. 业的各个方面，如大型机械施工力学参数的选取、建 刘兰兰等[]利用神经网络建立了轧制过程中工艺 设工程项目中进度的优化，以及隧道施工时掘进参 参数与轧制功率和奥氏体晶粒直径之间的关系模 数的选取等.对于可准确建立数学模型的非线性约 型，基于训练好的模型，运用理想点法将其转化为单 束单目标系统优化问题，国内外学者提出的很多方 目标优化问题，再利用遗传算法进行参数优化.倪 法均可用于求解非线性约束单目标系统优化问题. 立斌等]则基于数据样本建立起熔覆带特征与熔 如Courant)提出的罚函数法，在此方法的基础上， 覆工艺参数之间关系的神经网络模型，然后运用粒 Powell对其进行了改进，提出了扩展拉格朗日乘子 子群算法(particle swarm optimization,PSO)对激光 法[)：杨剑哲等)提出了改进的增广拉格朗日乘子 熔覆工艺参数进行优化.王秋平[们针对金属注射 法，其是在增广拉格朗日乘子法的基础上进一步提 成形工艺参数的优化问题，首先运用神经网络建立 高了算法的计算精度.MeDougall和Wotherspoon] 了6个工艺参数与金属注射成形密度分布之间的关 提出了一种修正的牛顿法，与标准牛顿法相比，修正 系模型，然后采用PS0算法进行寻优.严博燕等[] 后的牛顿法具有更快的收敛速度：稳定滤波器序列 则同样采用神经网络和PS0算法的组合方法成功 二次规划]也是一种可用于求解非线性约束单目 的解决了传统方法测量炭/炭复合材料弹性常数精 标系统优化问题的方法，此方法结合了稳定内部二 度差的问题 次规划的技巧和滤波器技术.另外，随着计算机技 在运用此类组合方法求解非线性约束单目标系 术和人工智能的发展，各种群智能算法的出现，在解 统优化问题时，由定性分析可知，系统的预测效果和 决非线性约束单目标系统优化问题时，便避免了人 群智能算法的寻优能力会影响最终的优化结果.另 工计算的复杂度.如阮旻智等[]将人工免疫系统原 外，实际中样本点通过实验方式获取较多，而每一组 理与粒子群算法结合，同时对粒子的各方向速度进 实验都要花费相应的成本.因此，为了提高系统寻 行控制，提出一种基于人工免疫的粒子群算法，并将 优精度和降低获取样本点的成本，本文提出了基于 其用于解决系统可靠性优化问题.程跃等)用混沌 支持向量机和免疫粒子群算法的组合方法(SVM- 理论改进粒子群算法，然后将改进后的粒子群算法 PSO)方法.采用支持向量机(support vector ma- 用于解决结构可靠性优化设计.Beheshti等[]对于 chine,SVM)预测非线性约束单目标系统，将免疫系 在离散空间的组合优化问题，提出了二进制加速粒 统的自我调节机制引入到PS0算法中，来提高算法 子群算法：常红伟等[]针对超材料优化设计中参数 的全局搜索能力，基于训练好的SVM模型，运用免 的选择问题，提出采用等位基因或双倍基因来实现 疫粒子群算法(immune particle swarm optimization, 对遗传基因的加权编码，得出了基于加权实数编码 IPSO)进行系统寻优.与基于BP神经网络和粒子 的遗传算法.徐茂鑫等]通过Q学习的试错与奖 群算法的组合方法(BP-PSO)进行仿真实验对比， 励机制构建了蜂群的学习模式，将强化学习的行为 验证在样本量相同的条件下，SVM-PS0方法具有 迁移技术用于蜂群的迁移学习中，提出了一种迁移 更高的非线性约束单目标系统寻优能力.另外，通 蜂群优化算法 过多组仿真实验，研究了在训练样本量不断减少的 分析知，运用以上方法首先需要具有相应的非 情况下，两种方法的寻优效果. 线性约束单目标优化系统的数学模型，而在解决实 1基本理论知识 际问题时，经常存在很多无法准确建立数学模型的 情况，此时单独采用以上方法便无法求解系统最优 1.1SVM及其参数值的选取方法 值.人工智能的综合与快速发展成功地解决了此类 SVM是在统计学习理论的基础上发展而来的， 问题.如羌培)首先运用数据样本建立了各盾构 属于机器学习的一种新算法，是由Vapnik教授在20 施工参数与隧道轴线上方地表沉降之间关系的神经 世纪90年代首次提出.SVM是基于结构风险最小
侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 ples. The simulation results show that the SVM鄄IPSO has a higher optimization ability under the same sample size conditions, and when the number of samples decreases, the SVM鄄鄄IPSO method can still obtain more stable and accurate system optimization values than the BP鄄鄄PSO method. Hence, the SVM鄄鄄IPSO method provides a new and better solution to this kind of problems. KEY WORDS nonlinear constrained single objective system; support vector machine; immune particle swarm optimization; simula鄄 tion; optimization 非线性约束单目标系统优化问题存在于很多行 业的各个方面,如大型机械施工力学参数的选取、建 设工程项目中进度的优化,以及隧道施工时掘进参 数的选取等. 对于可准确建立数学模型的非线性约 束单目标系统优化问题,国内外学者提出的很多方 法均可用于求解非线性约束单目标系统优化问题. 如 Courant [1] 提出的罚函数法,在此方法的基础上, Powell 对其进行了改进,提出了扩展拉格朗日乘子 法[2] ;杨剑哲等[3]提出了改进的增广拉格朗日乘子 法,其是在增广拉格朗日乘子法的基础上进一步提 高了算法的计算精度. McDougall 和 Wotherspoon [4] 提出了一种修正的牛顿法,与标准牛顿法相比,修正 后的牛顿法具有更快的收敛速度;稳定滤波器序列 二次规划[5] 也是一种可用于求解非线性约束单目 标系统优化问题的方法,此方法结合了稳定内部二 次规划的技巧和滤波器技术. 另外,随着计算机技 术和人工智能的发展,各种群智能算法的出现,在解 决非线性约束单目标系统优化问题时,便避免了人 工计算的复杂度. 如阮旻智等[6]将人工免疫系统原 理与粒子群算法结合,同时对粒子的各方向速度进 行控制,提出一种基于人工免疫的粒子群算法,并将 其用于解决系统可靠性优化问题. 程跃等[7]用混沌 理论改进粒子群算法,然后将改进后的粒子群算法 用于解决结构可靠性优化设计. Beheshti 等[8] 对于 在离散空间的组合优化问题,提出了二进制加速粒 子群算法;常红伟等[9] 针对超材料优化设计中参数 的选择问题,提出采用等位基因或双倍基因来实现 对遗传基因的加权编码,得出了基于加权实数编码 的遗传算法. 徐茂鑫等[10] 通过 Q 学习的试错与奖 励机制构建了蜂群的学习模式,将强化学习的行为 迁移技术用于蜂群的迁移学习中,提出了一种迁移 蜂群优化算法. 分析知,运用以上方法首先需要具有相应的非 线性约束单目标优化系统的数学模型,而在解决实 际问题时, 经常存在很多无法准确建立数学模型的 情况,此时单独采用以上方法便无法求解系统最优 值. 人工智能的综合与快速发展成功地解决了此类 问题. 如羌培[11] 首先运用数据样本建立了各盾构 施工参数与隧道轴线上方地表沉降之间关系的神经 网络模型,然后运用遗传算法进行参数最优匹配. 刘兰兰等[12]利用神经网络建立了轧制过程中工艺 参数与轧制功率和奥氏体晶粒直径之间的关系模 型,基于训练好的模型,运用理想点法将其转化为单 目标优化问题,再利用遗传算法进行参数优化. 倪 立斌等[13]则基于数据样本建立起熔覆带特征与熔 覆工艺参数之间关系的神经网络模型,然后运用粒 子群算法( particle swarm optimization, PSO)对激光 熔覆工艺参数进行优化. 王秋平[14] 针对金属注射 成形工艺参数的优化问题,首先运用神经网络建立 了 6 个工艺参数与金属注射成形密度分布之间的关 系模型,然后采用 PSO 算法进行寻优. 严博燕等[15] 则同样采用神经网络和 PSO 算法的组合方法成功 的解决了传统方法测量炭/ 炭复合材料弹性常数精 度差的问题. 在运用此类组合方法求解非线性约束单目标系 统优化问题时,由定性分析可知,系统的预测效果和 群智能算法的寻优能力会影响最终的优化结果. 另 外,实际中样本点通过实验方式获取较多,而每一组 实验都要花费相应的成本. 因此,为了提高系统寻 优精度和降低获取样本点的成本,本文提出了基于 支持向量机和免疫粒子群算法的组合方法( SVM鄄鄄 IPSO)方法. 采用支持向量机( support vector ma鄄 chine, SVM)预测非线性约束单目标系统,将免疫系 统的自我调节机制引入到 PSO 算法中,来提高算法 的全局搜索能力,基于训练好的 SVM 模型,运用免 疫粒子群算法( immune particle swarm optimization, IPSO)进行系统寻优. 与基于 BP 神经网络和粒子 群算法的组合方法(BP鄄鄄 PSO)进行仿真实验对比, 验证在样本量相同的条件下,SVM鄄鄄 IPSO 方法具有 更高的非线性约束单目标系统寻优能力. 另外,通 过多组仿真实验,研究了在训练样本量不断减少的 情况下,两种方法的寻优效果. 1 基本理论知识 1郾 1 SVM 及其参数值的选取方法 SVM 是在统计学习理论的基础上发展而来的, 属于机器学习的一种新算法,是由 Vapnik 教授在 20 世纪 90 年代首次提出. SVM 是基于结构风险最小 ·1403·
·1404. 工程科学学报，第40卷，第11期 化准则获取实际风险[16]，相比机器学习的另一种方 M={y,y2),…,yo} (2) 法一神经网络，SVM避免了神经网络学习方法中 [L,inputps]=mapminmax(L) (3) 网络结构难以确定、容易陷入局部极小值、收敛速度 [M,outputps]mapminmax(M) (4) 比较慢、以及训练时需要大量数据样本等缺陷，有效 运用归一化后的X0),y0(j∈1,2，…，n- 地提高了机器学习中算法的泛化能力. k})分别作为SVM训练的输入向量与输出值.将训 在运用SVM进行非线性约束单目标系统预测 练集映射到一个高维(1维)特征空间，构造以下函 时，模型参数的选取直接影响SVM预测系统的效果 数进行线性回归： 和后续寻优结果的准确性.由于涉及到的参数不止 f(X)=u(X)+b (5) 一个，所以无法通过多次实验的方法确定，本文采用 其中，u为l维权重向量，(X)是将X映射到高维 遗传算法对SVM模型参数实现最优化选择). 空间的映射函数，b为偏置项. 1.2PS0算法 采用ε不敏感损失函数，将回归问题转化为求 PS0算法属于人工智能技术中群智能算法的一 以下最优值问题： 种，是由Eberhart和Kennedy提出的I8).PSO算法 是模拟鸟群觅食的过程，在运用PS0算法时，优化 问题中的每个解被视为每只鸟在空间位置的坐标， (6) 即“粒子”的空间位置坐标.每个粒子通过两个“极 约束条件： 值”来实现自身的空间位置和各方向速度的不断更 up(X0)+b-y≤e+专je[1,n-](7) 新，其中一个“极值”是粒子本身在迭代过程中产生 y-u'p(Xm)）-b≤e+专j∈[1，n-k](8) 的最优解，即个体极值.另一个“极值”是群体中所 5,5≥0je[1,n-k] (9) 有粒子在迭代变化过程中所得到的最优解，即群体 其中，F(u,b,专，专·)为回归间题采用e不敏感损失 极值.PS0算法的优化能力主要取决于各粒子之间 函数后的待优化目标函数，C为惩罚因子，ε为损失 的相互作用，而各粒子自身缺乏变异机制，从而在实 函数参数，专和为松弛因子. 际运用时，比较容易陷入局部极值.PS0算法的迭 引入非负拉格朗日乘子a,ag,n,n,将以上 代轨迹呈正弦波摆动9，起始收敛速度快，随迭代 优化问题转化为下式： 次数的增加，速度减缓，有的可能还会停滞，出现 R(u,b,5,°，a,a°，n,7°)= “早熟”，从而使获取的解不是全局最优解.为了避 免陷入局部解，提高算法的全局搜索能力，本文将生 合u+c宫（份+） 物免疫系统的自我调节机制引入到PS0算法中，对 其进行改进 [e+专+n-Ieo)-1- j=1 2优化模型构建 ,g[e+5-y0+u'(xm)+b]- 2.1基于非线性约束单目标系统样本点的SVM- (10) IPSO模型构建 芝（可矿+防） (1)SVM预测系统 其中，R(u,b,,5°，a,a”,n,n°)为函数F(u,b,, 设非线性约束单目标系统含有m个变量，x,表 ·)引入非负拉格朗日乘子后的待优化目标函数. 示系统中第i个变量.第j组所有变量值的集合表 式(10)对u,b,5,·求偏导为零得： 示为X0=(x,x,…,x),对应的目标函数 R(u,b,左，E°，a,a°，n,m）= du 值为y).通过实验或其他方式获取n组系统变量 值集合X(G∈{1,2，…，n})以及对应的目标函 u- (a°-a)p(X0)=0 (11) 数值y)(Ge{1,2,…,n}).运用其中n-k组系 统变量值集合以及对应的目标函数值训练SVM模 aR(u,b,5,,a,a“,,)= ab 型，其余k组用于验证预测系统的效果.运用MAT- LAB中mapminmax()函数工具箱，将系统变量值以 芝(g-)=0 (12) 及对应的目标函数值进行归一化，如下： aR(u,b,5,5,a,an,m）= L={X),X2),…,X} (1) aξ
工程科学学报,第 40 卷,第 11 期 化准则获取实际风险[16] ,相比机器学习的另一种方 法———神经网络,SVM 避免了神经网络学习方法中 网络结构难以确定、容易陷入局部极小值、收敛速度 比较慢、以及训练时需要大量数据样本等缺陷,有效 地提高了机器学习中算法的泛化能力. 在运用 SVM 进行非线性约束单目标系统预测 时,模型参数的选取直接影响 SVM 预测系统的效果 和后续寻优结果的准确性. 由于涉及到的参数不止 一个,所以无法通过多次实验的方法确定,本文采用 遗传算法对 SVM 模型参数实现最优化选择[17] . 1郾 2 PSO 算法 PSO 算法属于人工智能技术中群智能算法的一 种,是由 Eberhart 和 Kennedy 提出的[18] . PSO 算法 是模拟鸟群觅食的过程,在运用 PSO 算法时,优化 问题中的每个解被视为每只鸟在空间位置的坐标, 即“粒子冶的空间位置坐标. 每个粒子通过两个“极 值冶来实现自身的空间位置和各方向速度的不断更 新,其中一个“极值冶是粒子本身在迭代过程中产生 的最优解,即个体极值. 另一个“极值冶是群体中所 有粒子在迭代变化过程中所得到的最优解,即群体 极值. PSO 算法的优化能力主要取决于各粒子之间 的相互作用,而各粒子自身缺乏变异机制,从而在实 际运用时,比较容易陷入局部极值. PSO 算法的迭 代轨迹呈正弦波摆动[19] ,起始收敛速度快,随迭代 次数的增加,速度减缓,有的可能还会停滞,出现 “早熟冶,从而使获取的解不是全局最优解. 为了避 免陷入局部解,提高算法的全局搜索能力,本文将生 物免疫系统的自我调节机制引入到 PSO 算法中,对 其进行改进. 2 优化模型构建 2郾 1 基于非线性约束单目标系统样本点的 SVM鄄鄄 IPSO 模型构建 (1) SVM 预测系统. 设非线性约束单目标系统含有 m 个变量,xi表 示系统中第 i 个变量. 第 j 组所有变量值的集合表 示为 X (j) = (x (j) 1 , x (j) , …, x (j) m ) T ,对应的目标函数 值为 y (j) . 通过实验或其他方式获取 n 组系统变量 值集合 X (j) (j沂{1, 2, …, n})以及对应的目标函 数值 y (j) (j沂{1, 2, …, n}). 运用其中 n - k 组系 统变量值集合以及对应的目标函数值训练 SVM 模 型,其余 k 组用于验证预测系统的效果. 运用 MAT鄄 LAB 中 mapminmax( )函数工具箱,将系统变量值以 及对应的目标函数值进行归一化,如下: L = {X (1) , X (2) , …, X (n) } (1) M = {y (1) ,y (2) , …, y (n) } (2) [L1 , inputps] = mapminmax(L) (3) [M1 , outputps] = mapminmax(M) (4) 运用归一化后的 X (j) , y (j) (j沂{1, 2, …, n - k})分别作为 SVM 训练的输入向量与输出值. 将训 练集映射到一个高维( l 维) 特征空间,构造以下函 数进行线性回归: f(X) = u T渍(X) + b (5) 其中,u 为 l 维权重向量,渍(X)是将 X 映射到高维 空间的映射函数,b 为偏置项. 采用 着 不敏感损失函数,将回归问题转化为求 以下最优值问题: minF(u,b,孜,孜 * ) = { 1 2 椰u椰2 + C 移 n-k j = 1 (孜 * j + 孜j) } (6) 约束条件: u T渍(X (j) ) + b - y (j)臆着 + 孜j,j沂[1,n - k] (7) y (j) - u T渍(X (j) )) - b臆着 + 孜 * j ,j沂[1,n - k] (8) 孜j,孜 * j 逸0,j沂[1,n - k] (9) 其中,F(u,b,孜,孜 * )为回归问题采用 着 不敏感损失 函数后的待优化目标函数,C 为惩罚因子,着 为损失 函数参数,孜j和 孜 * j 为松弛因子. 引入非负拉格朗日乘子 琢j,琢 * j ,浊j,浊 * j ,将以上 优化问题转化为下式: R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) = 1 2 椰u椰2 + C 移 n-k j = 1 (孜 * j + 孜j) - 移 n-k j = 1 琢j[着 + 孜j + y (j) - u T渍(X (j) ) - b] - 移 n-k j = 1 琢 * j [着 + 孜 * j - y (j) + u T渍(X (j) ) + b] - 移 n-k j = 1 (浊 * j 孜 * j + 浊j 孜j) (10) 其中,R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * )为函数 F(u,b,孜, 孜 * )引入非负拉格朗日乘子后的待优化目标函数. 式(10)对 u,b,孜,孜 *求偏导为零得: 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣u = u - 移 n-k j = 1 (琢 * j - 琢j)渍(X (j) ) = 0 (11) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣b = 移 n-k j = 1 (琢 * j - 琢j) = 0 (12) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣孜j = ·1404·
侯公羽等：无数学模型的非线性约束单目标系统优化方法改进 ·1405. C-a,-7=0,je[1,n-k] (13) aR(u,b,5,°，a,a°，m,n2= w(r)=f0)= 芝(g-gK,Q)+6 (22) C-a°-m=0,je[1,n-k] (14) 当非线性约束单目标系统所求目标函数为最大 将式(11)~(14)带入式(10)中，可得到优化问 值时： 题的对偶问题： fitness(r)= minY(a,a)= mapminmax('reverse',w(r),outputps)(23) 当非线性约束单目标系统所求目标函数为最小 (a-a)(a-&)K(X0,X)+ 值时： 三ym(a-) fitness(r）= (15) l/mapminmax(‘reverse',w(r）,outputps) 约束条件： (24) (g-4)=0 把每组初始化的变量因素值作为对应粒子的个 (16) j=1 体极值p0=(p”,p”,…,p)'=(g”,9, 0≤a≤C,j∈[1，n-k] (17) …,9)(r∈{1,2，…，N}).把其中适应度函数 0≤a≤C,je[1,n-k] (18) 值最大的第g组变量因素值作为群体极值P)= 其中，Y(a,a)为函数R(u,b,5,°，a,a,7,n) (p,P,…,p4)T=（qP,9,…,q) 的对偶形式，K(X,X))是将X和X映射到高 根据式(25)和(26)来更新。”和g(r∈11,2， 维空间后的内积 …,N},i∈{1,2，…，m}) 选取合适的核函数，采用遗传算法选择ε，C以 。0=wn0+c1r1(p-gP)+c2(p-g0) 及核函数参数，基于训练样本点，求得最优解： (25) a=(a1,a,…,an-k,at)T (19) 900=90+0 (26) 偏置项b通过卡罗需-库恩-塔克条件(Karush- 其中，ω为惯性权重，c1、92为学习因子，1、2为[0， 1]内的均匀随机数. Kuhn-Tucker conditions,KKT)求解如下： 更新完成后，检查更新后的Q)和V是否满 b=y0-三(a-a)KXo,K)±e(20） 足约束条件，不满足条件的重新初始化.计算更新 后的粒子适应度值，更新个体极值和群体极值. 为降低计算误差，b取平均数五.由此可构造出 引入调节机制，选择规模为N的下一代群体： 能够预测非线性约束单目标系统的支持向量机回归 首先，从更新完成后的N个粒子中选择适应度值较 模型： 大的前N/2个粒子的Q和V(re{1,2,…,N/ f(X)= (e-)Kx0,x)+b(2) 2})保留，其次，对于适应度值较小的另外N/2个粒 i=1 子的Q和V(r∈{N/2+1,N/2+2,…,N})重 运用测试样本检测该模型预测系统的效果 新初始化，并计算适应度值.设置新初始化粒子个 (2)IPS0算法寻优. 体极值以及再更新群体极值，将保留下来的粒子和 非线性约束单目标系统包含m个变量，则粒子 新初始化的粒子组成下一代群体 空间维数设定为m维，空间中每个粒子的位置由这 循环迭代过程，至迭代次数结束.对于求目标 m个变量值组成.种群规模设为N,进行各粒子位 函数最大值的系统，最后一代的群体极值fitness(g) 置的初始化Q=(q,g,…,q)(r∈{1,2， 即为寻优目标函数值：而对于求目标函数最小值的， …,N}),即在满足系统约束条件下，初始化N组非 则最后一代的群体极值fitness(g)的倒数即为寻优 线性约束单目标系统变量值组合.同时要初始化每 的目标函数值 个粒子各方向的速度，即各变量后期变化值的初始 2.2核函数 化Vm=(0,,…,)T(r∈{1,2，…， 常用的核函数有： N}),并将速度控制在一定范围之内.运用得到的 (1)多项式函数. 该系统支持向量机回归模型计算各粒子的适应度值 K(z,h)=(zh+1) (27) fitness(r)(r∈{1,2，…，N}): 其中，d为多项式的阶数，z和h均为需映射到高维
侯公羽等: 无数学模型的非线性约束单目标系统优化方法改进 C - 琢j - 浊j = 0,j沂[1,n - k] (13) 鄣R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 鄣孜 * j = C - 琢 * j - 浊 * j = 0,j沂[1,n - k] (14) 将式(11) ~ (14)带入式(10)中,可得到优化问 题的对偶问题: minY(琢,琢 * ) = 1 2 移 n-k i,j = 1 (琢 * i - 琢i)(琢 * j - 琢j)K(X (i) ,X (j) ) + 着 移 n-k i = 1 (琢 * i + 琢i) - 移 n-k i = 1 y (i) (琢 * i - 琢i) (15) 约束条件: 移 n-k j = 1 (琢 * j - 琢j) = 0 (16) 0臆琢 * j 臆C,j沂[1,n - k] (17) 0臆琢j臆C,j沂[1,n - k] (18) 其中,Y(琢,琢 * )为函数 R(u,b,孜,孜 * ,琢,琢 * ,浊,浊 * ) 的对偶形式,K(X (i) , X (j) )是将 X (i)和 X (j)映射到高 维空间后的内积. 选取合适的核函数,采用遗传算法选择 着,C 以 及核函数参数,基于训练样本点,求得最优解: 琢 = (琢1 ,琢 * 1 ,…,琢n - k,琢 * n - k) T (19) 偏置项 b 通过卡罗需鄄鄄库恩鄄鄄塔克条件(Karush鄄鄄 Kuhn鄄鄄Tucker conditions,KKT)求解如下: b = y (j) - 移 n-k i = 1 (琢 * i - 琢i)K(X (i) ,X (j) ) 依 着 (20) 为降低计算误差,b 取平均数 b. 由此可构造出 能够预测非线性约束单目标系统的支持向量机回归 模型: f(X) = 移 n-k j = 1 (琢 * j - 琢j)K(X (j) ,X) + b (21) 运用测试样本检测该模型预测系统的效果. (2)IPSO 算法寻优. 非线性约束单目标系统包含 m 个变量,则粒子 空间维数设定为 m 维,空间中每个粒子的位置由这 m 个变量值组成. 种群规模设为 N,进行各粒子位 置的初始化 Q (r) = (q (r) 1 , q (r) 2 , …, q (r) m ) T (r沂{1, 2, …, N}),即在满足系统约束条件下,初始化 N 组非 线性约束单目标系统变量值组合. 同时要初始化每 个粒子各方向的速度,即各变量后期变化值的初始 化 V (r) = ( v (r) 1 , v (r) 2 , …, v (r) m ) T ( r 沂 { 1, 2, …, N}),并将速度控制在一定范围之内. 运用得到的 该系统支持向量机回归模型计算各粒子的适应度值 fitness(r) (r沂{1, 2, …, N}): w(r) = f(Q (r) ) = 移 n-k j = 1 (琢 * j - 琢j)K(X (j) ,Q (r) ) + b (22) 当非线性约束单目标系统所求目标函数为最大 值时: fitness(r) = mapminmax(‘reverse爷, w(r), outputps) (23) 当非线性约束单目标系统所求目标函数为最小 值时: fitness(r) = 1 / mapminmax (‘reverse爷, w(r), outputps) (24) 把每组初始化的变量因素值作为对应粒子的个 体极值 P (r) = ( p (r) 1 , p (r) 2 , …, p (r) m ) T = ( q (r) 1 , q (r) 2 , …, q (r) m ) T (r沂{1, 2, …, N}). 把其中适应度函数 值最大的第 g 组变量因素值作为群体极值 P (g) = (p (g) 1 , p (g) 2 , …, p (g) m ) T = ( q (g) 1 , q (g) 2 , …, q (g) m ) T . 根据式(25) 和(26) 来更新 v (r) i 和 q (r) i ( r沂{1, 2, …, N}, i沂{1, 2, …, m}). v (r) i = 棕v (r) i + c1 r1 (p (r) i - q (r) i ) + c2 r2 (p (g) i - q (r) i ) (25) q (r) i = q (r) i + v (r) i (26) 其中,棕 为惯性权重,c1 、c2 为学习因子,r1 、r2 为[0, 1]内的均匀随机数. 更新完成后,检查更新后的 Q (r) 和 V (r) 是否满 足约束条件,不满足条件的重新初始化. 计算更新 后的粒子适应度值,更新个体极值和群体极值. 引入调节机制,选择规模为 N 的下一代群体: 首先,从更新完成后的 N 个粒子中选择适应度值较 大的前 N/ 2 个粒子的 Q (r)和 V (r) (r沂{1, 2, …, N/ 2})保留,其次,对于适应度值较小的另外 N/ 2 个粒 子的 Q (r)和 V (r) (r沂{N/ 2 + 1, N/ 2 + 2, …, N})重 新初始化,并计算适应度值. 设置新初始化粒子个 体极值以及再更新群体极值,将保留下来的粒子和 新初始化的粒子组成下一代群体. 循环迭代过程,至迭代次数结束. 对于求目标 函数最大值的系统,最后一代的群体极值 fitness(g) 即为寻优目标函数值;而对于求目标函数最小值的, 则最后一代的群体极值 fitness( g)的倒数即为寻优 的目标函数值. 2郾 2 核函数 常用的核函数有: (1)多项式函数. K(z,h) = (z·h + 1) d (27) 其中,d 为多项式的阶数,z 和 h 均为需映射到高维 ·1405·
·1406· 工程科学学报，第40卷，第11期 空间的向量 用径向基函数，参数E、C以及径向基函数中的参数 (2)径向基函数 σ运用遗传算法进行优化选取，遗传算法中群体规 K(z,h)=exp(-Ih-z‖2/2σ2) (28) 模50，迭代次数100，采用实数编码，交叉概率为 其中，σ为核函数的宽度 0.4,变异概率为0.221，通过多次实验确定三个优 (3)感知器 化参数为：C取9.94，o取0.1，e取0.0001. K(z,h)=tanh(Bzh+b) (29) 运用200组样本训练SVM预测模型，从而获得 其中，B为权值，b为偏置 预测该实例非线性约束单目标系统的SVM模型. 2.3精度评价指标 运用8组测试样本检测预测效果，测试结果如表1 SVM对系统整体预测效果的系统总误差选取 所示，此时对应的SVM预测系统总误差为：0.0024. 的指标为均方根误差(RMSE),检测样本的测试效 表1实例一中SVM测试结果 果和最终寻优目标函数值的评价指标均采用相对误 Table 1 Test results of SVM for the first example 差(Er).具体计算公式如下： 样本编号 期望值 预测值 相对误差 Err=Is(n)-5(n)1/Is(n)I (30) 样本1 -26350.30 -26347.42 0.0001 样本2 -28554.25 -28572.50 0.0006 RMSE (s(n)-s(n))2 (31) 样本3 -25935.34 -25918.58 0.0006 其中，s(n)和s(n)分别是期望值和测试值，N为系 样本4 -24810.69 -24839.48 0.0012 统训练样本总数 样本5 -27995.19 -28015.22 0.0007 样本6 -29642.06 -29621.63 0.0007 3算例与结果分析 样本7 -30181.13 -30173.60 0.0002 3.1实例一 样本8 -28670.38 -28668.03 0.0001 该实例的非线性约束单目标系统选取于文献 [20],预测的该系统数学模型如下： PS0参数设置：粒子种群规模为50，迭代次数 mimf(X)=5.3578547x号+0.8356891x1x5+ 为100，学习因子c1、c2取值均为2，惯性权重为1，粒 37.293239x,-40792.141 子的各方向速度控制在[-11].最终的寻优迭代 约束条件： 过程如图1所示. 0≤c1(X)≤92 -3.050 90≤c2(X)≤110 3.055 20≤c3(X)≤25 -3.060 c1(X)=85.334407+0.005686x2x5+ 0.00026x1x4-0.002205x3x5 点-3.065 c2(X)=80.51249+0.007132x2x5+ -3.070 0.002996x1x2+0.002181x -3.075 c3(X)=9.300961+0.004703x3x5+ -3.080 0.001255x1x3+0.001909x3x4 -3.085 x1∈[78,102]，x2∈[33,45]，x3∈[27,45] x4∈[27,45]，x5∈[27,45] 3.0906102030405060708090100 进化次数 3.1.1基于SVM-IPS0的寻优过程 图1实例一中PS0寻优过程 实际应用时，样本点一般是通过实验获取.本 Fig.1 Optimization process of IPSO for the first example 文是预测有准确数学模型的系统，利用基于数学模 型的方法得出的结果来验证此类基于系统样本点的 经过迭代，获取的最优粒子的适应度值的倒数 方法所求结果.所以实例中的样本点通过已有的数 为-30883.09，对应的最优变量因素值为(x1,x2, 学模型来获取.该实例获取非线性约束单目标系统 x3,x4,x5)=（78,33,27.17,45,44.63).因此，运 200组训练样本和8组测试样本 用SVM-PSO方法求解该实例中的非线性约束单目 采用不敏感参数支持向量机ε-SVM,核函数选 标系统的最优目标函数f(X)的值为-30883.09
工程科学学报,第 40 卷,第 11 期 空间的向量. (2)径向基函数. K(z,h) = exp( - 椰h - z椰2 / 2滓 2 ) (28) 其中,滓 为核函数的宽度. (3)感知器. K(z,h) = tanh(茁z·h + b) (29) 其中,茁 为权值,b 为偏置. 2郾 3 精度评价指标 SVM 对系统整体预测效果的系统总误差选取 的指标为均方根误差(RMSE),检测样本的测试效 果和最终寻优目标函数值的评价指标均采用相对误 差(Err). 具体计算公式如下: Err = |s(n) - s(n) | / |s(n) | (30) RMSE = 1 N1 移 N1 n = 1 (s(n) - s(n)) 2 (31) 其中,s(n)和 s(n)分别是期望值和测试值,N1为系 统训练样本总数. 3 算例与结果分析 3郾 1 实例一 该实例的非线性约束单目标系统选取于文献 [20],预测的该系统数学模型如下: minf(X) = 5郾 3578547x 2 3 + 0郾 8356891x1 x5 + 37郾 293239x1 - 40792郾 141 约束条件: 0臆c1 (X)臆92 90臆c2 (X)臆110 20臆c3 (X)臆25 c1 (X) = 85郾 334407 + 0郾 005686x2 x5 + 0郾 00026x1 x4 - 0郾 002205x3 x5 c2 (X) = 80郾 51249 + 0郾 007132x2 x5 + 0郾 002996x1 x2 + 0郾 002181x 2 3 c3 (X) = 9郾 300961 + 0郾 004703x3 x5 + 0郾 001255x1 x3 + 0郾 001909x3 x4 x1沂[78,102],x2沂[33,45],x3沂[27,45] x4沂[27,45],x5沂[27,45] 3郾 1郾 1 基于 SVM鄄鄄IPSO 的寻优过程 实际应用时,样本点一般是通过实验获取. 本 文是预测有准确数学模型的系统,利用基于数学模 型的方法得出的结果来验证此类基于系统样本点的 方法所求结果. 所以实例中的样本点通过已有的数 学模型来获取. 该实例获取非线性约束单目标系统 200 组训练样本和 8 组测试样本. 采用不敏感参数支持向量机 着鄄鄄 SVM,核函数选 用径向基函数,参数 着、C 以及径向基函数中的参数 滓 运用遗传算法进行优化选取,遗传算法中群体规 模 50,迭代次数 100,采用实数编码,交叉概率为 0郾 4,变异概率为 0郾 2 [21] ,通过多次实验确定三个优 化参数为:C 取 9郾 94,滓 取 0郾 1,着 取 0郾 0001. 运用 200 组样本训练 SVM 预测模型,从而获得 预测该实例非线性约束单目标系统的 SVM 模型. 运用 8 组测试样本检测预测效果,测试结果如表 1 所示,此时对应的 SVM 预测系统总误差为:0郾 0024. 表 1 实例一中 SVM 测试结果 Table 1 Test results of SVM for the first example 样本编号 期望值 预测值 相对误差 样本 1 - 26350郾 30 - 26347郾 42 0郾 0001 样本 2 - 28554郾 25 - 28572郾 50 0郾 0006 样本 3 - 25935郾 34 - 25918郾 58 0郾 0006 样本 4 - 24810郾 69 - 24839郾 48 0郾 0012 样本 5 - 27995郾 19 - 28015郾 22 0郾 0007 样本 6 - 29642郾 06 - 29621郾 63 0郾 0007 样本 7 - 30181郾 13 - 30173郾 60 0郾 0002 样本 8 - 28670郾 38 - 28668郾 03 0郾 0001 IPSO 参数设置:粒子种群规模为 50,迭代次数 为 100,学习因子 c1 、c2取值均为 2,惯性权重为 1,粒 子的各方向速度控制在[ - 1 1]. 最终的寻优迭代 过程如图 1 所示. 图 1 实例一中 IPSO 寻优过程 Fig. 1 Optimization process of IPSO for the first example 经过迭代,获取的最优粒子的适应度值的倒数 为 - 30883郾 09,对应的最优变量因素值为( x1 , x2 , x3 , x4 , x5 ) = (78, 33, 27郾 17, 45,44郾 63). 因此,运 用 SVM鄄鄄IPSO 方法求解该实例中的非线性约束单目 标系统的最优目标函数 f(X)的值为 - 30883郾 09. ·1406·