D01:10.13374j.isml00103x2006.08.019 第28卷第8期 北京科技大学学报 Vol.28 Na 8 2006年8月 Journal of University of Science and Technology Beijing Aug.2006 基于最小二乘支持向量机对偶优化 问题的核偏最小二乘 郭辉刘贺平王玲 北京科技大学信息工程学院，北京100083 摘要提出了一种基于对偶优化的核最小二乘(KPLS方法，把KPLS用最小二乘支持向量机的 形式表示.推导了KPLS对偶优化形式的公式，且使其具有最小二乘支持向量机的风格.在初始 空间中构造优化问题.应用核技术在特征空间中解对偶问题.这种解与非线性的KPLS具有相似 性.实验验证了这种方法的效果，表明了该方法的有效性和优越性. 关键词优化问题：偏最小二乘：最小二乘支持向量机：核偏最小二乘 分类号TP30L.5 Vapnik在1995年提出一种新型统计学习方 中设计的线性学习算法.通过引入核函数，非线 法-支持向量机(support vector machines,SVM), 性PLS可以发展为核偏最小二乘(KPLS).KPLS 支持向量机具有完备的统计学习理论基础和出色 首先把初始输入映射到高维特征空间，然后在高 的学习性能已成为机器学习界的研究热点，并在 维特征空间中计算主元匀，但是这种核方法不含 很多领域都得到了成功的应用，如人脸检测、手写 有正则化表示. 体数字识别、文本自动分类等1②.近年， 本文提出了一种简单可行的方法，把KPLS Suy Kens提出最小二乘支持向量机方法(LS- 用最小二乘支持向量机的形式表示.推导出 SV)【3」，这种方法采用最小二乘线性系统作为 KPLS对偶优化形式的公式，并且具有最小二乘 损失函数，求解过程变成求解一组等式方程，求解 支持向量机的风格.在初始空间中构造优化问 速度相对加快并应用到模式识别和非线性函数 题应用核技术在特征空间中解对偶问题这种解 估计中，取得了较好的效果 与非线性的KPLS具有相似性.过实验验证了这 偏最小二乘(PLS)是一种新型的多元统计数 种方法的可行性得到较好的效果. 据分析方法，近十几年来它的理论、方法和应用 都得到了迅速地发展，能较好地处理基于传统最 1偏最小二乘 小二乘回归方法难以解决的问题？粤.偏最小二 偏最小二乘回归适用于多自变量和多因变量 乘回归集多元线性回归分析、典型相关分析和主 系统.该方法最早应用在化学领域由Wold山和 成分分析的基本功能为一体，将建模类型的预测 Albano等人于1983年首次提出.近年来在理论、 分析方法与非模型式的数据内涵分析方法有机地 方法和应用上都取得了很大的发展.基本做法 结合起来：一方面通过数据分析寻找因变量和自 是：首先在自变量集中提取第一成分1(1是 变量之间的函数关系，建立模型进行预测：另一方 xx2,:xm的线性组合，其中x是输入向量 面，通过数据分析简化数据结构，观察变量间的相 且尽可能多地提取原自变量集中的变异信息)：同 互关系烈列.核函数方法是当前一个十分活跃的研 时在因变量集中也提取第一成分w1,w1是输出 究领域这个方法就是用非线性变换(·)将m 变量，并要求1与w1相关程度达最大.然后建 维矢量x映射到高维特征空间，在高维特征空间 立因变量y1,y2,,p,与v1的回归，如果回归 收稿日期：2005-04-25修回日期：200509-22 方程已达到满意的精度，则算法终止：否则继续对 基金项目：国家“863计划资助项目(Na.2002AA412010-10)和 第二成分的提取，直到能达到满意的精度为止. 国家科技部攻关项目(Na2003EG113016) 作者简介：郭辉(1973一）男，博士研究生：刘贺平(1951一)， 偏最小二乘是在连续线性组合(”，x)与(% 男.教授，博士 y之间寻找具有最大的协方差.可以用下面的方
基于最小二乘支持向量机对偶优化 问题的核偏最小二乘 郭 辉 刘贺平 王 玲 北京科技大学信息工程学院, 北京 100083 摘 要 提出了一种基于对偶优化的核最小二乘( KPLS) 方法, 把 KPLS 用最小二乘支持向量机的 形式表示.推导了 KPLS 对偶优化形式的公式, 且使其具有最小二乘支持向量机的风格.在初始 空间中构造优化问题, 应用核技术在特征空间中解对偶问题, 这种解与非线性的 KPLS 具有相似 性.实验验证了这种方法的效果, 表明了该方法的有效性和优越性. 关键词 优化问题;偏最小二乘;最小二乘支持向量机;核偏最小二乘 分类号 TP301.5 收稿日期:2005 04 25 修回日期:2005 09 22 基金项目:国家“ 863 计划”资助项目( No .2002 AA412010-10) 和 国家科技部攻关项目( No.2003EG113016) 作者简介:郭 辉( 1973—) 男, 博士研究生;刘贺平( 1951—) , 男, 教授, 博士 Vapnik 在 1995 年提出一种新型统计学习方 法-支持向量机( support vector machines, SVM ) , 支持向量机具有完备的统计学习理论基础和出色 的学习性能, 已成为机器学习界的研究热点, 并在 很多领域都得到了成功的应用, 如人脸检测、手写 体数 字 识 别、 文 本 自 动 分 类 等[ 1 2] .近 年, SuyKens 提出最小二乘支持向量机方法( LS - SVM) [ 3 4] , 这种方法采用最小二乘线性系统作为 损失函数, 求解过程变成求解一组等式方程, 求解 速度相对加快, 并应用到模式识别和非线性函数 估计中, 取得了较好的效果. 偏最小二乘( PLS) 是一种新型的多元统计数 据分析方法, 近十几年来, 它的理论、方法和应用 都得到了迅速地发展, 能较好地处理基于传统最 小二乘回归方法难以解决的问题 [ 7 8] .偏最小二 乘回归集多元线性回归分析、典型相关分析和主 成分分析的基本功能为一体, 将建模类型的预测 分析方法与非模型式的数据内涵分析方法有机地 结合起来:一方面通过数据分析寻找因变量和自 变量之间的函数关系, 建立模型进行预测;另一方 面, 通过数据分析简化数据结构, 观察变量间的相 互关系[ 9] .核函数方法是当前一个十分活跃的研 究领域, 这个方法就是用非线性变换 ( ·) 将 m 维矢量x 映射到高维特征空间, 在高维特征空间 中设计的线性学习算法 .通过引入核函数, 非线 性PLS 可以发展为核偏最小二乘( KPLS) .KPLS 首先把初始输入映射到高维特征空间, 然后在高 维特征空间中计算主元[ 5] , 但是这种核方法不含 有正则化表示 . 本文提出了一种简单可行的方法, 把 KPLS 用最小二乘支持向量机的形式表示 .推导出 KPLS 对偶优化形式的公式, 并且具有最小二乘 支持向量机的风格.在初始空间中构造优化问 题, 应用核技术在特征空间中解对偶问题, 这种解 与非线性的 KPLS 具有相似性.过实验验证了这 种方法的可行性, 得到较好的效果 . 1 偏最小二乘 偏最小二乘回归适用于多自变量和多因变量 系统.该方法最早应用在化学领域, 由 Woldh 和 Albano 等人于 1983 年首次提出.近年来在理论 、 方法和应用上都取得了很大的发展.基本做法 是:首先在自变量集中提取第一成分 v1 ( v1 是 x 1, x2, …, xm 的线性组合, 其中 x 是输入向量, 且尽可能多地提取原自变量集中的变异信息) ;同 时在因变量集中也提取第一成分 w1, w1 是输出 变量, 并要求 v1 与 w1 相关程度达最大.然后建 立因变量 y1, y2, …, yp , 与 v1 的回归, 如果回归 方程已达到满意的精度, 则算法终止;否则继续对 第二成分的提取, 直到能达到满意的精度为止. 偏最小二乘是在连续线性组合( v, x ) 与( w, y)之间寻找具有最大的协方差 .可以用下面的方 第 28 卷 第 8 期 2006 年 8 月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol .28 No.8 Aug.2006 DOI :10.13374/j .issn1001 -053x.2006.08.019
Vol.28 No.8 郭辉等：基于最小二乘支持向量机对偶优化问题的核偏最小二乘 791。 程表示6周： 3n=r、i (8) max cov(vx,wy)=vCow V.w s.t.lly ll=1=llw ll. (1) 头-0-8=%1p (9) 其中Cw=xy,是pXp的样本协方差矩阵. 引入拉格朗日乘子，得到拉格朗日方程，解优 头=0→e=v(x)=L,p(10) 化方程可以得到： aL Cnp=入y,Cx=w (2) =01=w）i=1p(1山 其中C是正定的、对称的，v和m是最大特征值 对应的具有最大方差的特征向量.从维度减少的 在消去变量。”，心，并且定义入=之可 观点看，偏最小二乘可以看作是以最小二乘方式 以得到下面的对偶问题： 搜索最适度空间.偏最小二乘的最小二乘损失函 r0n2]「a吲 = (12) 数表示为： go=是(x-m+p 其中， 0=x)(x以，0.2=(). w2+-wwT方I2) (3 在特征空间中用非线性主元构造线性模型， 可见，偏最小二乘是在于优化系数向量”， 定义k(x,y)=Φ(x)T(y以，从上面推导的优化 w,同时分别在样本输入x空间、输出y空间搜索 条件，可以得到KPLS回归模型： 数据点的最大映射，并且保持二者具有最大协方 fx)=wTx)十b= 差矩阵. 2核偏最小二乘的对偶优化问题 空呵空+b 核函数方法用于偏最小二乘，提出了基于核 空十b (13) 的偏最小二乘方法(KPLS),从而将原本用于线性 相关分析的PL$方法扩展到了非线性相关分析 s是成分个数，其中a= 的领域.通过简化式3)，把数据映射到特征空 3 实验与分析 间中，并且加入正则化参数Y,得到下面的最小二 乘优化公式： 设计两个实验进一步分析核偏最小二乘的对 偶优化表示问题：M ackey-Glass时间序列问题和 标准数据集测试. 约束条件： 3.1 Mackey-Glass时间序列分析 e=v(x),r:=w(y,i=1,;p(4) 混沌是自然界与人类社会普遍存在的运动形 其中正则化参数D0,e:和r:是误差项.给出的 式对于混沌动力学系统的研究己成为动力系统 优化问题具有相应的对偶公式。现在引进拉格朗 研究的中心内容之一，并常常用来检验非线性系 日乘子，B,根据目标函数及约束条件建立拉格 统模型的性能.在实验中对M ackey-Glass时间序 朗日方程为： 列进行预测.Mackey-Glass时间序列由差分延迟 L(v,w,ei,ri,ai,B)=Y 方程产生，该方程定义如下： -加0+心： dt (14) 会时一l 5 其中：a=02,b=0.L,ta是延迟时间，t是当前 利用拉格朗日优化方法，极值应满足下面条件： 时间.当>17时，动力学系统变为混沌状态，因 来0 含o 此选择=30.实验任务是使用已知x在t点的 (6) 值预测将来x在1+τ的值.从x(501)~x(700) 是=0=名w (7) 抽取200个数据构成训练数据集，从x(701)~ x(1000)取300个数据构成测试数据集.为了使
程表示 [ 6 8] : max v, w cov( v T x , w T y ) =v T Cxyw s.t .‖v ‖ =1 =‖w ‖ . ( 1) 其中 Cxy =x T y, 是 p ×p 的样本协方差矩阵. 引入拉格朗日乘子, 得到拉格朗日方程, 解优 化方程可以得到 : Cxyw =λv, Cy xv =λw ( 2) 其中 C 是正定的、对称的, v 和 w 是最大特征值 对应的具有最大方差的特征向量 .从维度减少的 观点看, 偏最小二乘可以看作是以最小二乘方式 搜索最适度空间 .偏最小二乘的最小二乘损失函 数表示为 : J ( v, w) = ∑ p i =1 ( ‖xi -vv T xi ‖ 2 +‖v T xi - w T yi ‖ 2 +‖ yi -ww T yi ‖ 2 ) ( 3) 可见, 偏最小二乘是在于优化系数向量 v, w, 同时分别在样本输入 x 空间、输出 y 空间搜索 数据点的最大映射, 并且保持二者具有最大协方 差矩阵. 2 核偏最小二乘的对偶优化问题 核函数方法用于偏最小二乘, 提出了基于核 的偏最小二乘方法( KPLS) , 从而将原本用于线性 相关分析的 PLS 方法扩展到了非线性相关分析 的领域[ 4] .通过简化式( 3), 把数据映射到特征空 间中, 并且加入正则化参数 γ, 得到下面的最小二 乘优化公式: maxJ PLS( v , e) =γ∑ n i =1 eiri - 1 2 v T v - 1 2 w T w 约束条件 : ei =v T ( xi), ri =w T ( yi), i =1, …, p ( 4) 其中正则化参数 γ>0, ei 和 ri 是误差项.给出的 优化问题具有相应的对偶公式, 现在引进拉格朗 日乘子 αi , βi , 根据目标函数及约束条件建立拉格 朗日方程为: L( v , w, ei , ri , αi , βi) =γ∑ p i =1 eiri - 1 2 v T v - 1 2 w T w - ∑ n i =1 αi[ ei -v T ( xi)] - ∑ n i =1 βi[ ri -w T ( yi)] ( 5) 利用拉格朗日优化方法, 极值应满足下面条件 : L v =0 ※v = ∑ p i =1 αi ( xi) ( 6) L w =0 ※w = ∑ p i =1 βi ( yi) ( 7) L ei =0 ※αi =γri i =1, …, p ( 8) L ri =0 ※βi =γei i =1, …, p ( 9) L αi =0 ※ei =v T ( xi) i =1, …, p ( 10) L βi =0 ※ri =w T ( yi) i =1, …, p ( 11) 在消去变量 e, r, v , w, 并且定义 λ= 1 γ , 可 以得到下面的对偶问题: 0 Ψc, 2 Ψc, 1 0 αi βi =λ I 0 0 I αi βi ( 12) 其中, Ψc, 1 i, j = ( xi) T ( xj), Ψc, 2 i, j = ( yi) T ( yj) . 在特征空间中用非线性主元构造线性模型, 定义 k ( x, y ) =Υ( x ) T Υ( y), 从上面推导的优化 条件, 可以得到 KPLS 回归模型: f( x ) =w T ( x ) +b = ∑ s j =1 wj ∑ n i =1 α ( n) ij k ( xi , x) +b ∑ s i =1 α′ik( xi , xj) +b ( 13) s 是成分个数, 其中 α′i = ∑ S j =1 wjα( m) ij . 3 实验与分析 设计两个实验进一步分析核偏最小二乘的对 偶优化表示问题 :M ackey-Glass 时间序列问题和 标准数据集测试. 3.1 Mackey-Glass 时间序列分析 混沌是自然界与人类社会普遍存在的运动形 式, 对于混沌动力学系统的研究已成为动力系统 研究的中心内容之一, 并常常用来检验非线性系 统模型的性能 .在实验中对 M ackey-Glass 时间序 列进行预测 .Mackey-Glass 时间序列由差分延迟 方程产生, 该方程定义如下: d x ( t) d t =-bx ( t) + ax ( t -t d) 1 +x 10 ( t -t d) for t d >τ ( 14) 其中:a =0.2, b =0.1, t d 是延迟时间, t 是当前 时间.当 τ>17 时, 动力学系统变为混沌状态, 因 此选择 τ=30 .实验任务是使用已知 x 在t 点的 值预测将来x 在 t +τ的值 .从 x ( 501) ～ x ( 700) 抽取 200 个数据构成训练数据集, 从 x ( 701) ～ x ( 1 000)取 300 个数据构成测试数据集 .为了使 Vol.28 No.8 郭辉等:基于最小二乘支持向量机对偶优化问题的核偏最小二乘 · 791 ·
。792· 北京科技大学学报 2006年第8期 最小二乘支持向量机选取最优参数，用交叉验证 误差(MSE)小于KPLS,说明这种对偶优化表示 方法，得到优化的参数值，采用高斯核函数，通过 能得到比较好的结果 5折交叉检验，得到0=17.2，Y=15.采用高斯 表1数据集描述 函数作为KPLS的核函数这是由于在实验中这 Table I Data sets description 种核函数效果最好.用标准均方误差(NMSE)作 数据集合 尺寸 维数 训练集 测试集 为评价准则，定义如下： 波士顿房屋 506 13 471 35 计算机属性 8192 21 7500 692 MSE= 身体肥胖 253 14 200 53 其中x,分别为第n个时间序列实际值和预测 空间群 3108 7 2000 1108 值.用S-KPLS表示对偶优化的KPLS.从图1 嘧啶胺 75 27 70 5 和图2来看对偶优化的KPLS的MSE误差小于 鲍鱼 4177 9 3000 1177 KPLS的MSE,且变化趋于平缓，模型精度较好， 三嗪基 187 36 100 87 具有很好的泛化性能， 0.10 表2三种方法的均方误差的比较 Table 2 Comparison of normalized mean square error among the 0.05 帆 three methods 102 数据集合 LSSVM KPLS S-KPLS 波士顿房屋 9.1 11.0 87 -0.1900506065070070800850900950T000 计算机属性 29.2 384 29.8 时间 身体肥胖 311 5.96 205 图1KPLS的均方误差 空间群 125 260 129 Fig.I Mean square error of KPIS 嘧啶胺 224 457 215 鲍鱼 184 35.0 184 0.10 三嗪基 1.40 5.66 L28 0.05 误差平均值 10.85 1649 1091 0.05 4结论 -0.19005060607t07i08085090950100 时间 本文提出了一种基于对偶优化的KPLS方 法，推导出的公式具有最小二乘支持向量机的风 图2对偶优化的KPHS(S-KLS)的均方误差 格，并通过实验验证了这种方法.从实验中可以 Fig.2 Mean square error of dual optimization KPLS 看出，最小二乘支持向量机与对偶优化的KPLS 3.2标准数据集 方法的均方误差(M$E)很接近，而与单独采用 采用UCI机器学习数据库中的数据集进行 KPLS方法相比，能得到较好的效果. 实验，它提供了大量的、可被重复验证和对比的、 参考文献 目前公认的真实数据.实验数据集的描述和测试 方法如表1所示.在所有的数据集中均采用高斯 【刂Vapnik V N.统计学习理论的本质.张学工，译.北京：清 华大学出版社，2000 核函数最小二乘支持向量机选取最优参数，通过 [2 Burges C JC.A tutorial on support vector machines for pt- 5折交叉检验，得到核宽度参数σ=9.2Y=12. tern recognition.Data Min Knowl Discovery.1998.2(2): 用与上面相同的MSE作为评价准则，比较了最 121 小二乘支持向量机、KPLS、对偶优化的KPLS三 3 Johan S A K.Nonlinear modeling and support vector machines 种方法的MSE.表2为得到的结果，其中对偶优 /IEEE Instnumentation and Measurement Technology Com ference.Budapest,2001 化的KPLS方法用S-KPLS表示.从表2中可以 [4 Suykens A K.Vandew alle.Least squares support vector ma 看出，最小二乘支持向量机与对偶优化KPL$方 chine clssifiers.Neural Process Lett.1999.9(3):293 法的均方误差(MSE很接近，而S一KPLS的均方 [5 Trejo R.Kernel partial least squares regression in wpmducing
最小二乘支持向量机选取最优参数, 用交叉验证 方法, 得到优化的参数值, 采用高斯核函数, 通过 5 折交叉检验, 得到 σ=17.2, γ=15 .采用高斯 函数作为 KPLS 的核函数, 这是由于在实验中这 种核函数效果最好 .用标准均方误差( NMSE) 作 为评价准则, 定义如下: MSE = 1 k ∑ k i =1 ( xi - x i) 2 . 其中 xi , xi 分别为第n 个时间序列实际值和预测 值.用 S -KPLS 表示对偶优化的 KPLS .从图 1 和图 2 来看对偶优化的 KPLS 的 MSE 误差小于 KPLS 的 MSE, 且变化趋于平缓, 模型精度较好, 具有很好的泛化性能 . 图 1 KPLS 的均方误差 Fig.1 Mean square error of KPLS 图 2 对偶优化的 KPLS( S-KPLS) 的均方误差 Fig.2 Mean square error of dual optimization KPLS 3.2 标准数据集 采用 UCI 机器学习数据库中的数据集进行 实验, 它提供了大量的、可被重复验证和对比的、 目前公认的真实数据 .实验数据集的描述和测试 方法如表 1 所示 .在所有的数据集中均采用高斯 核函数, 最小二乘支持向量机选取最优参数, 通过 5 折交叉检验, 得到核宽度参数 σ=9.2, γ=12 . 用与上面相同的 MSE 作为评价准则, 比较了最 小二乘支持向量机、KPLS 、对偶优化的 KPLS 三 种方法的 M SE.表 2 为得到的结果, 其中对偶优 化的 KPLS 方法用 S-KPLS 表示 .从表 2 中可以 看出, 最小二乘支持向量机与对偶优化 KPLS 方 法的均方误差( MSE) 很接近, 而 S-KPLS 的均方 误差( MSE) 小于 KPLS, 说明这种对偶优化表示 能得到比较好的结果 . 表 1 数据集描述 Table 1 Data sets description 数据集合 尺寸 维数 训练集 测试集 波士顿房屋 506 13 471 35 计算机属性 8 192 21 7 500 692 身体肥胖 253 14 200 53 空间群 3 108 7 2 000 1 108 嘧啶胺 75 27 70 5 鲍鱼 4 177 9 3 000 1 177 三嗪基 187 36 100 87 表 2 三种方法的均方误差的比较 Table 2 Comparison of normalized mean square error among the three methods 10 2 数据集合 LSSVM KPLS S-KPLS 波士顿房屋 9.1 11.0 8.7 计算机属性 29.2 38.4 29.8 身体肥胖 3.11 5.96 2.05 空间群 12.5 26.0 12.9 嘧啶胺 2.24 4.57 2.15 鲍鱼 18.4 35.0 18.4 三嗪基 1.40 5.66 1.28 误差平均值 10.85 16.49 10.91 4 结论 本文提出了一种基于对偶优化的 KPLS 方 法, 推导出的公式具有最小二乘支持向量机的风 格, 并通过实验验证了这种方法 .从实验中可以 看出, 最小二乘支持向量机与对偶优化的 KPLS 方法的均方误差( MSE ) 很接近, 而与单独采用 KPLS 方法相比, 能得到较好的效果. 参 考 文 献 [ 1] Vapnik V N .统计学习理论的本质.张学工, 译.北京:清 华大学出版社, 2000 [ 2] Burges C J C .A tutorial on support vector machines for patt ern recognition.Data Min Knowl Discovery, 1998, 2 ( 2 ) : 121 [ 3] Johan S A K .Nonlinear modeling and support vector machines ∥IEEE Instrumentation and Measurement Technology Conf erence .Budapest, 2001 [ 4] Suykens A K, Vandew alle .Least squares support vector machine classifiers.Neural Process Lett, 1999, 9( 3) :293 [ 5] Trejo R.Kernel partial least squares regression in reproducing · 792 · 北 京 科 技 大 学 学 报 2006 年第 8 期
Vol.28 No.8 郭辉等：基于最小二乘支持向量机对偶优化问题的核偏最小二乘 ·793。 kernel Hilbert pace.J Mach Learning Res.2001,2:97 [7]HAoskuldsson A.PIS regression methods.J Chemometrics. [6]RAannar B.Lindgren J.GeladiS.et al.A PLS kernel algo 1988.2:211 rithm for data sets with many variables and fewer objects. [8 Barker B E,Rayens I M.Partial least squares for discrimina Chemometrics Intell Lab Syst,1994.8:111 tion.J Chemometrics 2003.17:166 Kernel partial least squares based on least squares support vector machine pri- mal-dual optimization problem GUO Hui,LIU Heping,WANG Ling Irfomation Engineering School.University of Science and Technology Beijing.Beijng 100083.China ABSTRACT A kemel partial least squares(KPLS)method based on dual optimization was proposed, which was expressed by least squares support vector machine.The KPLS formulae in the fom of dual opti- mization were deduced,which had the style of least squares support vector machine.The optimization prob- lem was constructed in a prime space,the dual problem was solved in a eigenspace by the kemel skill and the solut ions were the same as nonlinear KPLS.The model was illustrated with some examples.The results show that the proposed method is effective and superior. KEY WORDS optimization problem;partial least squares (PLS);least squares support vector machines (LS-SVM);kernel partial least squares KPLS) Microstructure of flow pattern defects in boron-doped Czochralski-grown silicon LIU Caichi,HAO Qiuyan,ZHANG Jianfeng",TENG Xiooyun,Sun Shilong,Qigang Zhou2,WANGJing2,XIAO Qinghua? 1)Institute of Infomation Functional Material.Hebei University of Technology,Tianjin 300130 China 2)General Research Institute of Norferrous Metals.Beijing 100088.China ABSTRACT The morphology and microstructure of flow pattern defects(FPDs)in lightly boron-doped Czochralskigrown silicon(Cz Si)crystals were investigated using optical microscopy and atomic force mi- croscopy.The experimental results show ed that the morphology of FPDs was parabola-like with several steps.Single-type and dual-type voids were found on the tip of FPDs and two heaves exist on the left and right sides of the void.All the results have proved that FPDs were void-ty pe defects.These results are very useful to investigate FPDs in Cz Si w afers further and explain the annihilation of FPDs during high-tem- perature annealing. KEY WORDS flow pattern defects;grow n-in defects;atomic force microscopy:Czochralski-grown silicon 【摘自Rare Metals,2006,25(4):389
kernel Hilbert space.J Mach Learning Res, 2001, 2:97 [ 6] R annar B, Lindgren J, Geladi S , et al.A PLS kernel algorithm for dat a sets w ith many variables and f ew er objects. Chemometri cs Intell Lab Syst, 1994, 8:111 [ 7] H oskuldsson A.PLS regression methods.J Chemometri cs, 1988, 2:211 [ 8] Barker B E, Rayens I M .Partial least squares f or discrimination.J Chemometrics, 2003, 17:166 Kernel partial least squares based on least squares support vector machine primal-dual optimization problem GUO Hui, LIU Heping , WANG Ling Inf ormation Engineering School, Universit y of Science and Technology Beijing, Beijing 100083, China ABSTRACT A kernel partial least squares ( KPLS ) method based on dual optimization w as proposed, w hich w as expressed by least squaressupport vecto r machine .The KPLS formulae in the fo rm of dual optimization were deduced, w hich had the style of least squares support vecto r machine.The optimization problem w as constructed in a prime space, the dual problem w as solved in a eigenspace by the kernel skill and the solutions w ere the same as nonlinear KPLS .The model wasillustrated with some examples .The results show that the proposed method is effective and superio r. KEY WORDS optimization problem ;partial least squares ( PLS) ;least squares support vector machines ( LS -SVM) ;kernel partial least squares ( KPLS) Microstructure of flow pattern defects in boron-doped Czochralski-g rown silicon LIU Caichi 1) , HAO Qiuyan 1) , ZHANG J ianfeng 1) , TENG X iaoyun 1) , S un Shilong 1) , Qigang Zhou 2) , WANG Jing 2) , X IAO Qinghua 2) 1) Institut e of Inf ormation Functional Materials, Hebei University of Technology, Tianjin 300130, China 2) General Research Institute of Non-f errous Met als, Beijing 100088, China ABSTRACT The morphology and microstructure of flow pattern defects ( FPDs) in lightly bo ron-doped Czochralski-g row n silicon ( Cz-Si) crystals were investigated using optical microscopy and atomic force microscopy .The experimental results show ed that the morphology of FPDs w as parabola-like with several steps .Single-ty pe and dual-type voids w ere found on the tip of FPDs and two heaves exist on the left and right sides of the void .All the results have proved that FPDs w ere void-ty pe defects.These results are very useful to investigate FPDs in Cz-Si w afers further and explain the annihilation of FPDs during high-temperature annealing . KEY WORDS flow pattern defects ;g row n-in defects ;atomic force microscopy ;Czochralski-g row n silicon [ 摘自 Rare Metals, 2006, 25( 4) :389] Vol.28 No.8 郭辉等:基于最小二乘支持向量机对偶优化问题的核偏最小二乘 · 793 ·