第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/6is.201508015 网络出版地址：http://www.cnki.net/kcms/detail,/23.1538.TP.20160824.0928.002.html 堆叠隐空间模糊C回归算法及其在 发酵数据多模型建模中的应用 刘欢，王骏，邓赵红，王士同 (江南大学数字蝶体学院，江苏无锡214122)》 摘要：切换回归算法FCR的性能容易受到噪声点以及离群点的影响，同时该算法对于复杂数据的处理能力较差。 对此，文中提出一种基于堆叠隐空间的模糊C回归算法。该算法将基于LM特征映射技术，利用主成分分析进行特 征提取，再结合多层前馈神经网络学习结构对隐空间进行多次扩展和压缩。实验结果表明，该算法具有更好的抗噪 性能，对模糊指数的变化不敏感，同时在处理复杂数据以及在多模型建模中更加精确、高效、稳定。 关键词：隐空间映射：极限学习机；主成分分析；模糊C回归算法：多层神经网络：多模型建模 中图分类号：TP181文献标志码：A文章编号：1673-4785(2016)05-0670-10 中文引用格式：刘欢，王骏，邓赵红，等堆叠隐空间模糊C回归算法及其在发酵数据多模型建模中的应用[J].智能系统学报，2016， 11(5):670-679. 英文写引用格式：LIU Huan,WANGJun,DENG Zhaohong,etal.A cascaded hidden space fuz四yC-regression algorithm and its ap- plication in multi-model modeling for the fermentation process [J].CAAI transactions on intelligent systems,2016,11(5):670-679. A cascaded hidden space fuzzy C-regression algorithm and its application in multi-model modeling for the fermentation process LIU Huan,WANG Jun,DENG Zhaohong,WANG Shitong School of Digital Media,JiangNan University,WuXi 214122,China) Abstract:The switching regression algorithm FCR is sensitive to noise data and outliers.The algorithm also has low levels of capability for dealing with complex data.In order to handle these problems,an improved fuzzy C-regres- sion algorithm is proposed based on cascaded hidden space.In our method,principal component analysis is com- bined with extreme machine learning feature mapping and multilayer feedforward neural networks.The experimental results show that our proposed method is more stable as regards noise data and outliers,and thus more suitable for handling complex data and multi-model modeling problems for the fermentation process. Keywords:hidden space feature mapping;extreme learning machine;principal component analysis;fuzzy C-re- gression algorithm;multilayer neural network;multi-model modeling. 切换回归模型在经济、数据挖掘等领域中有着 gression algorithm,FCR)算法，从而实现了对多个模 广泛的应用。近年来，基于模糊聚类分析4]的切 型的切换回归：在此基础上，文献[6]结合牛顿万有 换回归技术得到了广泛的研究。如文献[5]在模糊 引力定律提出了关于切换回归的集成模糊聚类算法 C均值聚类算法(fuzzy C clustering algorithm,FCM) (gravity-based fuzzy clustering algorithm,GFC)算法， 的基础上提出了模糊C均值回归算法(fuzzy C re- 文中实验表明该算法与CR相比具有更快的收敛 速度；文献[7]通过向FCR中引入动态的样本权值， 收稿日期：2015-08-14.网络出版日期：2016-08-24. 提出了离群模糊切换回归模型，从而使模型具有更 基金项目：国家自然科学基金项目(61300151)：江苏省自然科学基金强的鲁棒性，并且能通过权值发现数据集中的离群 项目(BK20130155,BK20130160). 通信作者：刘欢.E-mail:771627297@qg.com. 点。虽然这些方法在一定条件下可以较好地解决切
第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５０８０１５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０８２４．０９２８．００２．ｈｔｍｌ 堆叠隐空间模糊 Ｃ 回归算法及其在 发酵数据多模型建模中的应用 刘欢，王骏，邓赵红，王士同 （江南大学 数字媒体学院，江苏 无锡 ２１４１２２） 摘 要：切换回归算法 ＦＣＲ 的性能容易受到噪声点以及离群点的影响，同时该算法对于复杂数据的处理能力较差。 对此，文中提出一种基于堆叠隐空间的模糊 Ｃ 回归算法。 该算法将基于 ＥＬＭ 特征映射技术，利用主成分分析进行特 征提取，再结合多层前馈神经网络学习结构对隐空间进行多次扩展和压缩。 实验结果表明，该算法具有更好的抗噪 性能，对模糊指数的变化不敏感，同时在处理复杂数据以及在多模型建模中更加精确、高效、稳定。 关键词：隐空间映射；极限学习机；主成分分析；模糊 Ｃ 回归算法；多层神经网络；多模型建模 中图分类号：ＴＰ１８１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０６７０⁃１０ 中文引用格式：刘欢，王骏，邓赵红，等．堆叠隐空间模糊 Ｃ 回归算法及其在发酵数据多模型建模中的应用［Ｊ］． 智能系统学报， ２０１６， １１（５）： ６７０⁃６７９． 英文引用格式：ＬＩＵ Ｈｕａｎ， ＷＡＮＧ Ｊｕｎ， ＤＥＮＧ Ｚｈａｏｈｏｎｇ， ｅｔ ａｌ． Ａ ｃａｓｃａｄｅｄ ｈｉｄｄｅｎ ｓｐａｃｅ ｆｕｚｚｙ Ｃ⁃ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ａｐ⁃ ｐｌｉｃａｔｉｏｎ ｉｎ ｍｕｌｔｉ⁃ｍｏｄｅｌ ｍｏｄｅｌｉｎｇ ｆｏｒ ｔｈｅ ｆｅｒｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）： ６７０⁃６７９． Ａ ｃａｓｃａｄｅｄ ｈｉｄｄｅｎ ｓｐａｃｅ ｆｕｚｚｙ Ｃ⁃ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｍｕｌｔｉ⁃ｍｏｄｅｌ ｍｏｄｅｌｉｎｇ ｆｏｒ ｔｈｅ ｆｅｒｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓ ＬＩＵ Ｈｕａｎ， ＷＡＮＧ Ｊｕｎ， ＤＥＮＧ Ｚｈａｏｈｏｎｇ， ＷＡＮＧ Ｓｈｉｔｏｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｅｄｉａ， ＪｉａｎｇＮａｎ Ｕｎｉｖｅｒｓｉｔｙ， ＷｕＸｉ ２１４１２２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｓｗｉｔｃｈｉｎｇ ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ ＦＣＲ ｉｓ ｓｅｎｓｉｔｉｖｅ ｔｏ ｎｏｉｓｅ ｄａｔａ ａｎｄ ｏｕｔｌｉｅｒｓ． Ｔｈｅ ａｌｇｏｒｉｔｈｍ ａｌｓｏ ｈａｓ ｌｏｗ ｌｅｖｅｌｓ ｏｆ ｃａｐａｂｉｌｉｔｙ ｆｏｒ ｄｅａｌｉｎｇ ｗｉｔｈ ｃｏｍｐｌｅｘ ｄａｔａ． Ｉｎ ｏｒｄｅｒ ｔｏ ｈａｎｄｌｅ ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ， ａｎ ｉｍｐｒｏｖｅｄ ｆｕｚｚｙ Ｃ⁃ｒｅｇｒｅｓ⁃ ｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ ｂａｓｅｄ ｏｎ ｃａｓｃａｄｅｄ ｈｉｄｄｅｎ ｓｐａｃｅ． Ｉｎ ｏｕｒ ｍｅｔｈｏｄ， ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ｉｓ ｃｏｍ⁃ ｂｉｎｅｄ ｗｉｔｈ ｅｘｔｒｅｍｅ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｅａｔｕｒｅ ｍａｐｐｉｎｇ ａｎｄ ｍｕｌｔｉｌａｙｅｒ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｏｕｒ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｉｓ ｍｏｒｅ ｓｔａｂｌｅ ａｓ ｒｅｇａｒｄｓ ｎｏｉｓｅ ｄａｔａ ａｎｄ ｏｕｔｌｉｅｒｓ， ａｎｄ ｔｈｕｓ ｍｏｒｅ ｓｕｉｔａｂｌｅ ｆｏｒ ｈａｎｄｌｉｎｇ ｃｏｍｐｌｅｘ ｄａｔａ ａｎｄ ｍｕｌｔｉ⁃ｍｏｄｅｌ ｍｏｄｅｌｉｎｇ ｐｒｏｂｌｅｍｓ ｆｏｒ ｔｈｅ ｆｅｒｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｓｓ． Ｋｅｙｗｏｒｄｓ：ｈｉｄｄｅｎ ｓｐａｃｅ ｆｅａｔｕｒｅ ｍａｐｐｉｎｇ； ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ； ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ； ｆｕｚｚｙ Ｃ⁃ｒｅ⁃ ｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ； ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｍｕｌｔｉ⁃ｍｏｄｅｌ ｍｏｄｅｌｉｎｇ． 收稿日期：２０１５⁃０８⁃１４． 网络出版日期：２０１６⁃０８⁃２４． 基金项目：国家自然科学基金项目（６１３００１５１）； 江苏省自然科学基金 项目（ＢＫ２０１３０１５５，ＢＫ２０１３０１６０）． 通信作者：刘欢．Ｅ⁃ｍａｉｌ：７７１６２７２９７＠ ｑｑ．ｃｏｍ． 切换回归模型在经济、数据挖掘等领域中有着 广泛的应用。 近年来，基于模糊聚类分析［１⁃４］ 的切 换回归技术得到了广泛的研究。 如文献［５］在模糊 Ｃ 均值聚类算法（ｆｕｚｚｙ Ｃ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ， ＦＣＭ） 的基础上提出了模糊 Ｃ 均值回归算法（ ｆｕｚｚｙ Ｃ ｒｅ⁃ ｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ， ＦＣＲ）算法，从而实现了对多个模 型的切换回归；在此基础上，文献［６］结合牛顿万有 引力定律提出了关于切换回归的集成模糊聚类算法 （ｇｒａｖｉｔｙ⁃ｂａｓｅｄ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ， ＧＦＣ）算法， 文中实验表明该算法与 ＦＣＲ 相比具有更快的收敛 速度；文献［７］通过向 ＦＣＲ 中引入动态的样本权值， 提出了离群模糊切换回归模型，从而使模型具有更 强的鲁棒性，并且能通过权值发现数据集中的离群 点。 虽然这些方法在一定条件下可以较好地解决切
第5期 刘欢，等：堆叠隐空间模糊C回归算法及其在发酵数据多模型建模中的应用 .671. 换回归模型中的参数学习问题，但是面向现实生活 常用的激励函数有以下几种： 中的复杂数据，仍然有诸多局限性，其学习能力有待 1 Sigmoid: G(x)= (2 进一步提高。 1 exp(-x) 近年来，以极速学习机(extreme learning ma- Sine: G(x)=sin(x) (3 chine,ELM)为代表的单隐层前馈神经网络快速学 名-龙川2 (4) 习理论得到了研究人员的深入研究[81。研究表 Gaussian:G(x;,x)=exp(- 2c2 明，将ELM特征映射技术代替已有核方法中的核映 1.2模糊C回归算法及其问题分析 射，可以有效提高学习器的学习能力，目前该技术已 l993年Richard J.Hathaway)和James C. 被广泛用于分类、回归、聚类等学习任务中。结合已 Bezdek[i提出了FCR算法。该算法能在对观察数 有的研究工作，本文重点研究基于ELM隐空间学习 据进行模糊划分的同时估计出划分数据满足的回归 理论的切换回归模型。首先研究基于主成分分析 模型参数。设数据集D={(x1,少1)，（x2,Y）,, (principal component analysis,.PCA)[]的压缩隐空 (xnyn)},其中n是数据点个数，x=(x1,x2,, 间构建新方法。在此基础上，结合多层神经网络学 xa)∈R,为∈R表示观察数据模型，d是数据集的 习方法，将单隐层结构改造为多隐层结构)]，提出 特征数。FCR算法构建的回归模型为 堆叠隐空间模糊C回归算法(cascaded hidden space y:=Bo0+B1+…+B FCR,CHS-FCR)。该方法通过使用层次化的学习 i=1,2,…,c;j=1,2,…,n (5) 结构对数据对象在不同层次上的表达形式进行抽 式中：c是模型数目，j是样本点个数，B为模型参 象，并通过重组低层概念来重新定义高层概念，从而 数。FCR算法的目标函数为 有效提高了学习系统处理复杂问题的能力。经实验 Jm=∑∑(y-)2 (6) 验证，该算法能有效地弥补经典FCR的若干不足， 在保证学习精度和学习效率的前提下，该方法对噪 式中“，是隶属度，且满足∑4，=1，山∈10,1， 声数据和离群点有很好的鲁棒性。 i=1,2,…,c)=1,2,…,n。m是模糊指数且 m>1。FCR使用式(7)来更新隶属度： 1相关工作 （y-a)-a-) k=1,2,…,C 1.1ELM隐空间 ∑，（6y-)-- 在ELM中，隐节点所形成的特征空间构成隐空 (7) 间)。其映射过程如下：I)随机生成权重矩阵W∈ FCR的目标函数是一个基于模糊划分的多模 Ra和偏移量矩阵B=[b,b2…b]T,其中L是ELM 型最小二乘拟合准则问题，任何现有的能解决加权 隐节点总数，d是原始数据的维数。2)将原始数据 最小二乘问题的方法都可以用来估计参数。模型参 映射到L维的隐空间中。每一个输入数据都是一个 数可以通过式(8)求解： d维的向量，x=[x,x2…x]T。该特征映射可以表 示为： B:= [X DXXDY (8) h(r)=[h(x)…h,(x)…h(x)]I= [G(01,b1,x)…G(0:,b:,x)…G(e,b,x)]T 式中：X∈2CR(是以(1，x)=(1,x,…,)为 (1) 行向量输入数据矩阵。Y∈2CR”是以输出y为行 式中G(x)是激励函数，其映射过程如图1所示。 向量的输出列向量：D:∈2CRx是以第j个对角 h(x=[h,(x)·h(x)…h,x] 元素的对角矩阵，D,=diag(a,a,…,%)。FCR算 ELM隐含层 法的步骤为： 1)给定模型参数c(1≤c≤n),模糊指数m>1, G(w.bx) G(wbx) 迭代终止条件ε>0，并初始化划分矩阵)，迭代步 d)输入层 骤1=0； 2)根据式(8)计算模型参数B:; =x,…xJ 3)根据(y)2计算拟合误差，代入式(7)求 图1隐空间特征映射的过程 隶属度矩阵U; Fig.1 The process of hidden-space feature mapping 4)根据式(6)计算目标函数值，若
换回归模型中的参数学习问题，但是面向现实生活 中的复杂数据，仍然有诸多局限性，其学习能力有待 进一步提高。 近年来， 以极速学习机 （ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａ⁃ ｃｈｉｎｅ，ＥＬＭ）为代表的单隐层前馈神经网络快速学 习理论得到了研究人员的深入研究［８⁃１１］ 。 研究表 明，将 ＥＬＭ 特征映射技术代替已有核方法中的核映 射，可以有效提高学习器的学习能力，目前该技术已 被广泛用于分类、回归、聚类等学习任务中。 结合已 有的研究工作，本文重点研究基于 ＥＬＭ 隐空间学习 理论的切换回归模型。 首先研究基于主成分分析 （ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ， ＰＣＡ） ［１２］ 的压缩隐空 间构建新方法。 在此基础上，结合多层神经网络学 习方法，将单隐层结构改造为多隐层结构［１３］ ，提出 堆叠隐空间模糊 Ｃ 回归算法（ｃａｓｃａｄｅｄ ｈｉｄｄｅｎ ｓｐａｃｅ ＦＣＲ， ＣＨＳ⁃ＦＣＲ）。 该方法通过使用层次化的学习 结构对数据对象在不同层次上的表达形式进行抽 象，并通过重组低层概念来重新定义高层概念，从而 有效提高了学习系统处理复杂问题的能力。 经实验 验证，该算法能有效地弥补经典 ＦＣＲ 的若干不足， 在保证学习精度和学习效率的前提下，该方法对噪 声数据和离群点有很好的鲁棒性。 １ 相关工作 １．１ ＥＬＭ 隐空间 在 ＥＬＭ 中，隐节点所形成的特征空间构成隐空 间［１４］ 。 其映射过程如下：１）随机生成权重矩阵Ｗ∈ Ｒ Ｌ×ｄ和偏移量矩阵 Ｂ＝ ［ｂ１ ｂ２… ｂＬ ］ Ｔ ，其中 Ｌ 是 ＥＬＭ 隐节点总数，ｄ 是原始数据的维数。 ２）将原始数据 映射到 Ｌ 维的隐空间中。 每一个输入数据都是一个 ｄ 维的向量，ｘ ＝ ［ｘ１ ｘ２… ｘｄ ］ Ｔ 。 该特征映射可以表 示为： ｈ（ｘ） ＝ ［ｈ１（ｘ） … ｈｉ（ｘ） … ｈＬ（ｘ）］ Ｔ ＝ ［Ｇ ｗ１ ，ｂ ( １ ，ｘ) … Ｇ ｗｉ，ｂ ( ｉ，ｘ) … Ｇ ｗＬ ，ｂ ( Ｌ ，ｘ) ］ Ｔ （１） 式中 Ｇ（ｘ）是激励函数，其映射过程如图 １ 所示。 图 １ 隐空间特征映射的过程 Ｆｉｇ．１ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｈｉｄｄｅｎ⁃ｓｐａｃｅ ｆｅａｔｕｒｅ ｍａｐｐｉｎｇ 常用的激励函数有以下几种： Ｓｉｇｍｏｉｄ： Ｇ（ｘ） ＝ １ １ ＋ ｅｘｐ（ － ｘ） （２） Ｓｉｎｅ： Ｇ（ｘ） ＝ ｓｉｎ（ｘ） （３） Ｇａｕｓｓｉａｎ：Ｇ（ｘｉ，ｘｊ） ＝ ｅｘｐ（ － ‖ｘｉ － ｘｊ‖２ ２σ ２ ） （４） １．２ 模糊 Ｃ 回归算法及其问题分析 １９９３ 年 Ｒｉｃｈａｒｄ Ｊ． Ｈａｔｈａｗａｙ ［５］ 和 Ｊａｍｅｓ Ｃ． Ｂｅｚｄｅｋ ［１５］提出了 ＦＣＲ 算法。 该算法能在对观察数 据进行模糊划分的同时估计出划分数据满足的回归 模型参数。 设数据集 Ｄ ＝ ｛（ ｘ１ ， ｙ１ ）， （ ｘ２ ， ｙ２ ），…， （ｘｎ ，ｙｎ ）｝，其中 ｎ 是数据点个数，ｘｊ ＝ （ ｘｊ１ ，ｘｊ２ ，…， ｘｊｄ ）∈Ｒ ｄ ，ｙｊ∈Ｒ 表示观察数据模型，ｄ 是数据集的 特征数。 ＦＣＲ 算法构建的回归模型为 ｙｊ，ｉ ＝ βｉ０ ＋ βｉ１ ｘｊ１ ＋ … ＋ βｉｄ ｘｊｄ ｉ ＝ １，２，…，ｃ； ｊ ＝ １，２，…，ｎ （５） 式中：ｃ 是模型数目，ｊ 是样本点个数，βｉ 为模型参 数。 ＦＣＲ 算法的目标函数为 ＪＦＣＲ ＝ ∑ ｃ ｉ ＝ １∑ ｎ ｊ ＝ １ ｕ ｍ ｉｊ （ｙｊ － ｙｊ，ｉ） ２ （６） 式中 ｕｉｊ是隶属度，且满足 ∑ ｃ ｉ ＝ １ ｕｉｊ ＝ １，ｕｉｊ ∈ ｛０，１｝， ｉ ＝ １，２，…，ｃ；ｊ ＝ １，２，…，ｎ。 ｍ 是 模 糊 指 数 且 ｍ ＞ １。 ＦＣＲ 使用式（７）来更新隶属度： ｕｉｊ ＝ （ｙｊ － ｙｊ，ｉ） －２／ （ｍ－１） ∑ ｃ ｋ ＝ １ （ｙｊ － ｙｊ，ｋ） －２／ （ｍ－１） ｋ ＝ １，２，…，ｃ （７） ＦＣＲ 的目标函数是一个基于模糊划分的多模 型最小二乘拟合准则问题，任何现有的能解决加权 最小二乘问题的方法都可以用来估计参数。 模型参 数可以通过式（８）求解： βｉ ＝ βｉ０ ︙ βｉｄ é ë ê ê ê ê ù û ú ú ú ú ＝ ［Ｘ Ｔ ＤｉＸ］ －１ Ｘ Ｔ ＤｉＹ （８） 式中：Ｘ∈Ω⊂Ｒ ｎ×（ｄ＋１）是以（１，ｘｊ）＝ （１，ｘｊ１ ，…，ｘｊｄ ）为 行向量输入数据矩阵。 Ｙ∈Ω⊂Ｒ ｎ 是以输出 ｙｊ 为行 向量的输出列向量；Ｄｉ∈Ω⊂Ｒ ｎ×ｎ是以 ｕ ｍ ｉｊ 第 ｊ 个对角 元素的对角矩阵，Ｄｉ ＝ ｄｉａｇ（ｕ ｍ ｉ１ ，ｕ ｍ ｉ１ ，…，ｕ ｍ ｉｎ ）。 ＦＣＲ 算 法的步骤为： １）给定模型参数 ｃ（１≤ｃ≤ｎ），模糊指数 ｍ＞１， 迭代终止条件 ε＞０，并初始化划分矩阵 Ｕ （０） ，迭代步 骤 ｌ ＝ ０； ２）根据式（８）计算模型参数 β ｌ ｉ； ３）根据（ｙｊ －ｙｊ，ｉ） ２ 计算拟合误差，代入式（７）求 隶属度矩阵 Ｕ； ４ ） 根 据 式 （ ６ ） 计 算 目 标 函 数 值， 若 第 ５ 期 刘欢，等：堆叠隐空间模糊 Ｃ 回归算法及其在发酵数据多模型建模中的应用 ·６７１·
·672 智能系统学报 第11卷 IJ化-Jc0川≤e则迭代终止，其中e表示迭代 PCA隐含层 终止的阈值：否则1=+1，转至步骤2)。 PCA 研究表明，FCR可以较好地解决切换回归问 题，但是也存在以下问题：对噪声和离群点敏感，当 数据集中含有离群点或大量噪声数据时，算法性能 h h,xELM隐含层 就会受到影响：FCR算法在数据原空间中进行学 Gwbx) w.b.x) 习，针对现实生活中的复杂数据，FCR算法的性能 很难得到有效地提升。 输入层 本文将ELM隐空间学习理论与特征降维技术 相结合，基于多隐层神经网络学习方法，将传统的基 于浅层结构的学习方法改造为多隐层学习结构，从 图2基于PCA的压缩ELM隐空间 而提高对复杂数据的无监督学习能力。通过提出堆 Fig.2 Cascade hidden space based on PCA 叠隐空间学习结构，从而有效精简冗余信息和过滤 2.2 噪声数据，同时补充必要的信息，使得切换回归算法 堆叠隐空间模糊C回归算法CHS-FCR 具有更强的鲁棒性，并将其应用于多模型建模以取 在隐空间构建过程中，为了使学习器得到更好 得更好的效果。 的表达能力和稳定的学习效果，通常会使用较多的 隐节点数目。但是，这增加了额外的计算负担。研 2堆叠隐空间模糊C回归算法 究表明，在保证学习器泛化能力的前提下，将单隐层 2.1基于主成分分析的压缩ELM隐空间 结构改造为多隐层结构是降低隐节点数目的有效方 在ELM学习技术中，可以通过随机赋值的方法 法。为此，本文对上述基于PCA的压缩隐空间映射 来快速生成ELM隐空间，随着隐节点数目的增加， 过程进行改造，通过把ELM隐层中的隐节点分散到 学习精度也不断提高161)。但是随之而来的一个 多个隐含层中，并与PCA层的隐结点相结合，形成 重要问题是计算效率会逐步降低。此外，由于隐节 新的混合隐含层。将若干个混合隐含层进行叠加， 点生成过程中相关参数是随机生成的，因此不可避 得到多隐层学习结构，该过程如图3所示。 免地会引入大量噪声。针对这一问题，本文中将 PCA隐含层Q月 ELM隐空间技术与主成分分析相结合，提出基于主 PCA 成分分析的压缩隐空间构建方法，其过程如下： 1)根据图1所示过程将原始数据映射到高维 混合隐含层 空间R中，得到矩阵H)∈RM,n为样本点个数： ELM特征射 PCA :输入层 2)对H的每一列H,j=1,2,…,L进行归 混合隐含层 一化，得到矩阵A=[A1A2…A],其中A计算方 /ELM特征映射 法为 PCA 输人层 4="-12H"=12,…,1 ELM隐含层 (9) n i=1 ELM特征映射 输入层 3)计算矩阵A的协方差矩阵C,并计算矩阵C 的特征值入和特征向量V,i=1,2,…,L: 4)将特征值入：降序排序，取前p个特征值对应 的特征向量，按列组成矩阵V,特征提取后的矩阵为 图3堆叠隐空间学习结构 Fig.3 Cascade hidden space learning structure H)=AV (10) 其结构可映射为如图2所示的前馈神经网络模 堆叠隐空间模糊C回归算法CHS-FCR的描述 型。输入数据经过输入层后，通过ELM特征映射被 如下： 映射到高维ELM隐空间中。在此过程中，生成ELM 设隐节点总数为L,数据集D的维数为d,PCA 隐空间时的随机赋值操作会引入噪声，后续的PCA 压缩后的维数为P,隐空间压缩的次数为f,每层隐 对高维隐空间中的数据进行降维，从而有效地过滤 空间的ELM隐节点数T=L/f,n为样本点个数。 掉部分噪声，这有利于提高学习性能。 1)①随机生成值在[0,1]之间的权重矩阵
‖Ｊ （ｌ＋１） ＦＣＲ －ＪＦＣＲ （ｌ）‖≤ε则迭代终止，其中 ε 表示迭代 终止的阈值；否则 ｌ ＝ ｌ＋１，转至步骤 ２）。 研究表明，ＦＣＲ 可以较好地解决切换回归问 题，但是也存在以下问题：对噪声和离群点敏感，当 数据集中含有离群点或大量噪声数据时，算法性能 就会受到影响；ＦＣＲ 算法在数据原空间中进行学 习，针对现实生活中的复杂数据，ＦＣＲ 算法的性能 很难得到有效地提升。 本文将 ＥＬＭ 隐空间学习理论与特征降维技术 相结合，基于多隐层神经网络学习方法，将传统的基 于浅层结构的学习方法改造为多隐层学习结构，从 而提高对复杂数据的无监督学习能力。 通过提出堆 叠隐空间学习结构，从而有效精简冗余信息和过滤 噪声数据，同时补充必要的信息，使得切换回归算法 具有更强的鲁棒性，并将其应用于多模型建模以取 得更好的效果。 ２ 堆叠隐空间模糊 Ｃ 回归算法 ２．１ 基于主成分分析的压缩 ＥＬＭ 隐空间 在 ＥＬＭ 学习技术中，可以通过随机赋值的方法 来快速生成 ＥＬＭ 隐空间，随着隐节点数目的增加， 学习精度也不断提高［１６⁃１７］ 。 但是随之而来的一个 重要问题是计算效率会逐步降低。 此外，由于隐节 点生成过程中相关参数是随机生成的，因此不可避 免地会引入大量噪声。 针对这一问题，本文中将 ＥＬＭ 隐空间技术与主成分分析相结合，提出基于主 成分分析的压缩隐空间构建方法，其过程如下： １）根据图 １ 所示过程将原始数据映射到高维 空间 Ｒ Ｌ 中，得到矩阵 Ｈ （１）∈Ｒ ｎ×Ｌ ，ｎ 为样本点个数； ２）对 Ｈ （１） 的每一列 Ｈ （１） ｊ ，ｊ ＝ １，２，…，Ｌ 进行归 一化，得到矩阵 Ａ ＝ ［Ａ１ Ａ２… ＡＬ ］，其中 Ａｊ 计算方 法为 Ａｊ ＝ Ｈ （１） ｊ － １ ｎ ∑ Ｎ ｊ ＝ １ Ｈ （１） ｊ ，ｊ ＝ １，２，…，Ｌ （９） ３）计算矩阵 Ａ 的协方差矩阵 Ｃ，并计算矩阵 Ｃ 的特征值 λｉ 和特征向量 Ｖｉ，ｉ ＝ １，２，…，Ｌ； ４）将特征值 λｉ 降序排序，取前 ｐ 个特征值对应 的特征向量，按列组成矩阵 Ｖ ～ ，特征提取后的矩阵为 Ｈ （２） ＝ ＡＶ ～ （１０） 其结构可映射为如图 ２ 所示的前馈神经网络模 型。 输入数据经过输入层后，通过 ＥＬＭ 特征映射被 映射到高维 ＥＬＭ 隐空间中。 在此过程中，生成 ＥＬＭ 隐空间时的随机赋值操作会引入噪声，后续的 ＰＣＡ 对高维隐空间中的数据进行降维，从而有效地过滤 掉部分噪声，这有利于提高学习性能。 图 ２ 基于 ＰＣＡ 的压缩 ＥＬＭ 隐空间 Ｆｉｇ．２ Ｃａｓｃａｄｅ ｈｉｄｄｅｎ ｓｐａｃｅ ｂａｓｅｄ ｏｎ ＰＣＡ ２．２ 堆叠隐空间模糊 Ｃ 回归算法 ＣＨＳ⁃ＦＣＲ 在隐空间构建过程中，为了使学习器得到更好 的表达能力和稳定的学习效果，通常会使用较多的 隐节点数目。 但是，这增加了额外的计算负担。 研 究表明，在保证学习器泛化能力的前提下，将单隐层 结构改造为多隐层结构是降低隐节点数目的有效方 法。 为此，本文对上述基于 ＰＣＡ 的压缩隐空间映射 过程进行改造，通过把 ＥＬＭ 隐层中的隐节点分散到 多个隐含层中，并与 ＰＣＡ 层的隐结点相结合，形成 新的混合隐含层。 将若干个混合隐含层进行叠加， 得到多隐层学习结构，该过程如图 ３ 所示。 图 ３ 堆叠隐空间学习结构 Ｆｉｇ．３ Ｃａｓｃａｄｅ ｈｉｄｄｅｎ ｓｐａｃｅ ｌｅａｒｎｉｎｇ ｓｔｒｕｃｔｕｒｅ 堆叠隐空间模糊 Ｃ 回归算法 ＣＨＳ⁃ＦＣＲ 的描述 如下： 设隐节点总数为 Ｌ，数据集 Ｄ 的维数为 ｄ，ＰＣＡ 压缩后的维数为 ｐ，隐空间压缩的次数为 ｆ，每层隐 空间的 ＥＬＭ 隐节点数 Ｔ ＝ Ｌ ／ ｆ，ｎ 为样本点个数。 １）① 随机生成值在［ ０，１］ 之间的权重矩阵 ·６７２· 智 能 系 统 学 报 第 １１ 卷
第5期 刘欢，等：堆叠隐空间模糊C回归算法及其在发酵数据多模型建模中的应用 .673 WeR以及值在[0.5,1]之间的偏移量矩阵B∈R。 表1实验平台 ②根据式(1)以及图1将数据集D进行特征映 Table 1 Experimental platform 射，得到高维数据矩阵H)∈Rxr。 结构 配置 2)利用基于PCA的压缩隐空间方法对H)进 CPU Intel(R)Core(TM)i5-4590 3.30GHz 行压缩，得到维数为p的数据矩阵H2): 内存 8.00GB 操作系统 64bit Windows7 3)for j=1:f-1 软件平台 Matlab R2012a ①重复步骤1中1)、2)； 3.2鲁棒性实验 ②将H2)与H)合并存入矩阵H3)中， 本实验中，基于文献[5]的模拟回归数据集，通 H3)=[H2H)]。 过分别加入噪声点和离群点来比较FCR以及CHS, ③利用PCA对H3)进行特征提取，得到矩阵记 FCR算法的鲁棒性。实验中，FCR算法和CHS-FCR 为H2; 算法的模型个数c=2,模糊指数m=2,CHS-FCR隐 循环结束； 空间压缩次数f=5,PCA特征提取后的维数p=3。 4)构造全一矩阵1∈Rax1,将最终获取的数据 3.2.1离群点实验 H2=[1,2)]利用FCR框架进行切换回归。 在切换回归分析中，离群点主要是指不符合任 CHS-FCR算法将基于PCA的压缩ELM隐空间 一模型的数据，它主要是在收集数据的过程中出现 单隐层学习结构改造为多隐层学习结构。假设从第 误操作或异常情况而引入的。本实验中基于式 二层开始，每个隐含层中随机生成的ELM隐节点数 (15)和(16)生成2个回归数据集，并分别加入离群 都是T,由前一层PCA压缩后得到的隐节点数为 点(16,8)。实验数据集分布如图4所示。 T',易得隐节点总数为 L=(T+T)×(f-1)+T (11) y1=18-x+0.03125x2 A: (15) 其中随机生成的ELM隐节点总数为 0y2=-2+x-0.03125x2 LELM =Txf (12) y1=172-26x+x2 经过多次隐空间压缩，噪声信息被过滤，同时会 B: (16) y2=364-38x+x2 发生相应的信息损失：但是每个混合层中新生成的 图5和图6给出了加入离群点之前模糊C均值 ELM隐节点信息弥补了这些丢失的信息，因此本文 回归算法(fuzzy C regression algorithm,FCR)和堆叠 的堆叠隐空间结构能得到更好的学习效果。 隐空间模糊C回归算法(cascaded hidden space 3实验研究与分析 FCR,CHS-FCR)的回归结果，图7和图8给出了加 入离群点之后两算法的回归结果。从中可以看出， 3.1实验平台以及算法性能的评价指标 加入离群点之前，FCR和CHS-FCR这2个算法均可 本文在表1中实验平台上进行所有实验并且采 以得到理想的结果。加入离群点之后，CR的拟合 用式(13)和(14)所示的指标来评价各算法的性能。 效果明显受到离群点的影响：但是CHS-FCR仍然能 得到令人满意的拟合结果。可见，压缩隐空间方法 的引入使本文所提的CHS-FCR算法对离群点具有 (13) 更好的鲁棒性。 12 11 [(1r,-()] 9 (14) 式中：N表示测试样本数，y:表示测试样本第i次输 6 入的输出，y:'表示测试样本第i次输入的模糊系统 输出，y=∑y:。式(13)和(14)所示的指标数值 1012141618202224 分别越接近于0和1，则算法的性能越好。 (a)数据集A
Ｗ∈Ｒ Ｔ×ｄ以及值在［０．５，１］之间的偏移量矩阵 Ｂ∈Ｒ Ｔ×１ 。 ②根据式（１）以及图 １ 将数据集 Ｄ 进行特征映 射，得到高维数据矩阵 Ｈ （１）∈Ｒ ｎ×Ｔ 。 ２）利用基于 ＰＣＡ 的压缩隐空间方法对 Ｈ （１） 进 行压缩，得到维数为 ｐ 的数据矩阵Ｈ （２） ； ３）ｆｏｒ ｊ ＝ １：ｆ－１ ①重复步骤 １ 中 １）、２）； ② 将 Ｈ （２） 与 Ｈ （１） 合 并 存 入 矩 阵 Ｈ （３） 中， Ｈ （３）＝ ［Ｈ （２） Ｈ （１） ］。 ③利用 ＰＣＡ 对 Ｈ （３）进行特征提取，得到矩阵记 为 Ｈ （２） ； 循环结束； ４）构造全一矩阵 １∈Ｒ ｎ×１ ，将最终获取的数据 Ｈ （２）＝ ［１，Ｈ （２） ］利用 ＦＣＲ 框架进行切换回归。 ＣＨＳ⁃ＦＣＲ 算法将基于 ＰＣＡ 的压缩 ＥＬＭ 隐空间 单隐层学习结构改造为多隐层学习结构。 假设从第 二层开始，每个隐含层中随机生成的 ＥＬＭ 隐节点数 都是 Ｔ，由前一层 ＰＣＡ 压缩后得到的隐节点数为 Ｔ′，易得隐节点总数为 Ｌ ＝ （Ｔ ＋ Ｔ′） × （ｆ － １） ＋ Ｔ （１１） 其中随机生成的 ＥＬＭ 隐节点总数为 ＬＥＬＭ ＝ Ｔ × ｆ （１２） 经过多次隐空间压缩，噪声信息被过滤，同时会 发生相应的信息损失；但是每个混合层中新生成的 ＥＬＭ 隐节点信息弥补了这些丢失的信息，因此本文 的堆叠隐空间结构能得到更好的学习效果。 ３ 实验研究与分析 ３．１ 实验平台以及算法性能的评价指标 本文在表 １ 中实验平台上进行所有实验并且采 用式（１３）和（１４）所示的指标来评价各算法的性能。 ＪＲＲＳＥ ＝ １ Ｎ∑ Ｎ ｉ ＝ １ （ｙｉ ′ － ｙｉ） ２ ／ １ Ｎ∑ Ｎ ｉ ＝ １ （ｙｉ － ｙ － ） ２ （１３） ＪＳＣＣ ＝ Ｎ∑ Ｎ ｉ ＝ １ ｙｉ ′·ｙ ( ｉ) ２ Ｎ∑ Ｎ ｉ ＝ １ （ｙｉ ′） ２－ （∑ Ｎ ｉ ＝ １ ｙｉ） ２ [ ]· Ｎ∑ Ｎ ｉ ＝ １ （ｙｉ） ２－（∑ Ｎ ｉ ＝ １ ｙｉ） ２ [ ] （１４） 式中：Ｎ 表示测试样本数，ｙｉ 表示测试样本第 ｉ 次输 入的输出，ｙｉ ′表示测试样本第 ｉ 次输入的模糊系统 输出， ｙ － ＝ １ Ｎ∑ Ｎ ｉ ＝ １ ｙｉ 。 式（１３）和（１４）所示的指标数值 分别越接近于 ０ 和 １，则算法的性能越好。 表 １ 实验平台 Ｔａｂｌｅ １ Ｅｘｐｅｒｉｍｅｎｔａｌ ｐｌａｔｆｏｒｍ 结构 配置 ＣＰＵ Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ） ｉ５－４５９０ ３．３０ＧＨｚ 内存 ８．００ ＧＢ 操作系统 ６４ｂｉｔ Ｗｉｎｄｏｗｓ７ 软件平台 Ｍａｔｌａｂ Ｒ２０１２ａ ３．２ 鲁棒性实验 本实验中，基于文献［５］的模拟回归数据集，通 过分别加入噪声点和离群点来比较 ＦＣＲ 以及 ＣＨＳ⁃ ＦＣＲ 算法的鲁棒性。 实验中，ＦＣＲ 算法和 ＣＨＳ⁃ＦＣＲ 算法的模型个数 ｃ ＝ ２，模糊指数 ｍ ＝ ２，ＣＨＳ⁃ＦＣＲ 隐 空间压缩次数 ｆ ＝ ５，ＰＣＡ 特征提取后的维数 ｐ ＝ ３。 ３．２．１ 离群点实验 在切换回归分析中，离群点主要是指不符合任 一模型的数据，它主要是在收集数据的过程中出现 误操作或异常情况而引入的。 本实验中基于式 （１５）和（１６）生成 ２ 个回归数据集，并分别加入离群 点（１６，８）。 实验数据集分布如图 ４ 所示。 Ａ： ｙ１ ＝ １８ － ｘ ＋ ０．０３１ ２５ｘ ２ ｙ２ ＝ － ２ ＋ ｘ － ０．０３１ ２５ｘ { ２ （１５） Ｂ： ｙ１ ＝ １７２ － ２６ｘ ＋ ｘ ２ ｙ２ ＝ ３６４ － ３８ｘ ＋ ｘ { ２ （１６） 图 ５ 和图 ６ 给出了加入离群点之前模糊 Ｃ 均值 回归算法（ｆｕｚｚｙ Ｃ ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ， ＦＣＲ）和堆叠 隐空 间 模 糊 Ｃ 回 归 算 法 （ ｃａｓｃａｄｅｄ ｈｉｄｄｅｎ ｓｐａｃｅ ＦＣＲ， ＣＨＳ⁃ＦＣＲ）的回归结果，图 ７ 和图 ８ 给出了加 入离群点之后两算法的回归结果。 从中可以看出， 加入离群点之前，ＦＣＲ 和 ＣＨＳ⁃ＦＣＲ 这 ２ 个算法均可 以得到理想的结果。 加入离群点之后，ＦＣＲ 的拟合 效果明显受到离群点的影响；但是 ＣＨＳ⁃ＦＣＲ 仍然能 得到令人满意的拟合结果。 可见，压缩隐空间方法 的引入使本文所提的 ＣＨＳ⁃ＦＣＲ 算法对离群点具有 更好的鲁棒性。 （ａ）数据集 Ａ 第 ５ 期 刘欢，等：堆叠隐空间模糊 Ｃ 回归算法及其在发酵数据多模型建模中的应用 ·６７３·
674 智能系统学报 第11卷 80 。原数据集 60 0 CHS-FCR算法实验结果 % 吃 40 30 20 20 10 10 8.e 0 0 12 14 16 18 20 22 1416182022 (b)数据集B (b)数据集B 图4加入离群点后的数据及分布 图6CHS-FCR算法原数据集测试结果 Fig.4 Data distribution after adding outliers Fig.6 CHS-FCR algorithm test results of original dataset 12 13 6 。带高群点数据集 11 12 一FCR算法实验结果 11 10 10 9 。原数据集 8 CHS-FCR算法实验结果 7 7 6 5 5 10 12 141618202224 8 10 1214 1618202224 (a)数据集A (a)数据集A 光 80r d 。原数据集 70 ·带高群点数据集 一CHS-FCR算法实验结果 60 FCR算法实验结果 吃 50 ,40 .40 30 30 a 20 20 6 10 100a。。0o61900.00o00 0 0 12 1416 1820 22 10 12 14 16 18 20 22 (b)数据集B (b)数据集B 图5FCR算法原数据集测试结果 图7FCR算法在离群点数据集上的测试结果 Fig.5 FCR algorithm test results of original dataset Fig.7 FCR algorithm test results of outliers dataset 12 12 。带高群点数据集 11 CHS-FCR算法实验结果 10 10 9 。原数据集 9 一CHS-FCR算法实险结果 7 7 6 6 5 r 5 1012141618202224 1012141618202224 (a)数据集A (a)数据集A
（ｂ）数据集 Ｂ 图 ４ 加入离群点后的数据及分布 Ｆｉｇ．４ Ｄａｔａ ｄｉｓｔｒｉｂｕｔｉｏｎ ａｆｔｅｒ ａｄｄｉｎｇ ｏｕｔｌｉｅｒｓ （ａ）数据集 Ａ （ｂ）数据集 Ｂ 图 ５ ＦＣＲ 算法原数据集测试结果 Ｆｉｇ．５ ＦＣＲ ａｌｇｏｒｉｔｈｍ ｔｅｓｔ ｒｅｓｕｌｔｓ ｏｆ ｏｒｉｇｉｎａｌ ｄａｔａｓｅｔ （ａ）数据集 Ａ （ｂ）数据集 Ｂ 图 ６ ＣＨＳ⁃ＦＣＲ 算法原数据集测试结果 Ｆｉｇ．６ ＣＨＳ⁃ＦＣＲ ａｌｇｏｒｉｔｈｍ ｔｅｓｔ ｒｅｓｕｌｔｓ ｏｆ ｏｒｉｇｉｎａｌ ｄａｔａｓｅｔ （ａ）数据集 Ａ （ｂ）数据集 Ｂ 图 ７ ＦＣＲ 算法在离群点数据集上的测试结果 Ｆｉｇ．７ ＦＣＲ ａｌｇｏｒｉｔｈｍ ｔｅｓｔ ｒｅｓｕｌｔｓ ｏｆ ｏｕｔｌｉｅｒｓ ｄａｔａｓｅｔ （ａ）数据集 Ａ ·６７４· 智 能 系 统 学 报 第 １１ 卷