基于样条函数的光滑支持向量机模型

D0L:10.13374.issn1001-053x.2012.06.019 第34卷第6期 北京科技大学学报 Vol.34 No.6 2012年6月 Journal of University of Science and Technology Beijing Jun.2012 基于样条函数的光滑支持向量机模型 张晓丹 邵帅刘钦圣 北京科技大学数理学院，北京100083 ☒通信作者，Emai:bkdzxd(@163.com 摘要应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型.提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数：基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型. 关键词支持向量机：样条：分类：数值方法收敛性 分类号TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan,SHAO Shuai,LIU Qin-sheng School of Mathematics and Physics,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:bkdzxd@163.com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine (SVM)model using a smooth function,and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model.A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method.These two spline functions are proved that their approximation accuracy is better than any other smooth functions,and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models. KEY WORDS support vector machines:splines:classification:convergence of numerical methods 支持向量机(support vector machine,SVM)是在 的部分，首次构造了用于分类问题的光滑支持向量 统计学习理论①基础上发展起来的一种新的机器 机模型(smooth support vector machine,SSVM).此 学习方法.它可以自动寻找对分类有较好区分能力 后，学者们不断地寻找新的光滑函数，以提高光滑函 的支持向量，且由其构成的分类器还可以最大化类 数的逼近精度以及光滑支持向量机模型的解与最优 与类之间的间隔，在解决小样本、非线性和高维数的 解的逼近精度.目前比较完善的方法是熊金志 模式识别问题中表现出了许多特有的优势.学者们 等-则提出的多项式光滑的支持向量机一般模型 先后提出了SMO算法a、SVMlight算法、SOR算 (polynomial smooth support vector machine,PSSVM). 法W及LS-SVM囚等算法改进支持向量机模型的形 2007年，袁玉波等构造了一个满足二阶光滑条 式，简化计算过程，以便求解支持向量机问题.由于 件的三次样条函数作为光滑函数，提出了三次样条 无约束条件的支持向量机模型的目标函数是不光滑 函数光滑的支持向量机模型回，其逼近精度和数值 函数，因此许多经典的快速算法不能用来求解支持 试验结果比以往的光滑支持向量机模型有了进一步 向量机的优化问题.2001年，Lee和Mangasarian因 的改善。同时，作为光滑支持向量机的新的研究方 使用已有的光滑技术，采用Sigmoid函数的积分函 向，样条函数光滑支持向量机的研究处于起步阶段， 数作为光滑函数，来逼近支持向量机模型中不可微 有三个主要问题需要解决：(1)是否存在其他形式 收稿日期：20110501

第 34 卷 第 6 期 2012 年 6 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 6 Jun． 2012 基于样条函数的光滑支持向量机模型 张晓丹 邵 帅 刘钦圣 北京科技大学数理学院，北京 100083 通信作者，E-mail: bkdzxd@ 163． com 摘 要 应用光滑函数改进支持向量机模型，得到无约束条件、可微的二次规划问题，从而可以采用快速的最优化算法求解 光滑支持向量机模型． 提出了一种广义三弯矩方法，用这个方法构造出新的五次样条光滑函数和七次样条光滑函数． 证明了 上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数; 基于上述两个样条函数的光滑支持向量机模型的收敛精度 也高于已有的各种光滑支持向量机模型． 关键词 支持向量机; 样条; 分类; 数值方法收敛性 分类号 TP181 Smooth support vector machine model based on spline functions ZHANG Xiao-dan ，SHAO Shuai，LIU Qin-sheng School of Mathematics and Physics，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: bkdzxd@ 163． com ABSTRACT Differentiable and unconstrained quadratic programming can be constructed by improving a support vector machine ( SVM) model using a smooth function，and thus a lot of fast optimization algorithms can be applied to solve the smooth SVM model． A new five-order spline function and a new seven-order spline function were constructed by a general three-moment method． These two spline functions are proved that their approximation accuracy is better than any other smooth functions，and the convergence accuracy of the spline function SVM model based on the five-order spline or seven-order spline is higher than any other smooth SVM models． KEY WORDS support vector machines; splines; classification; convergence of numerical methods 收稿日期: 2011--05--01 支持向量机( support vector machine，SVM) 是在 统计学习理论［1］基础上发展起来的一种新的机器 学习方法． 它可以自动寻找对分类有较好区分能力 的支持向量，且由其构成的分类器还可以最大化类 与类之间的间隔，在解决小样本、非线性和高维数的 模式识别问题中表现出了许多特有的优势． 学者们 先后提出了 SMO 算法［2］、SVMlight 算法［3］、SOR 算 法［4］及 LS--SVM［5］等算法改进支持向量机模型的形 式，简化计算过程，以便求解支持向量机问题． 由于 无约束条件的支持向量机模型的目标函数是不光滑 函数，因此许多经典的快速算法不能用来求解支持 向量机的优化问题． 2001 年，Lee 和 Mangasarian ［6］ 使用已有的光滑技术，采用 Sigmoid 函数的积分函 数作为光滑函数，来逼近支持向量机模型中不可微 的部分，首次构造了用于分类问题的光滑支持向量 机模型( smooth support vector machine，SSVM) ． 此 后，学者们不断地寻找新的光滑函数，以提高光滑函 数的逼近精度以及光滑支持向量机模型的解与最优 解的 逼 近 精 度． 目前比较完善的方法是熊金志 等［7 － 8］提出的多项式光滑的支持向量机一般模型 ( polynomial smooth support vector machine，PSSVM) ． 2007 年，袁玉波等构造了一个满足二阶光滑条 件的三次样条函数作为光滑函数，提出了三次样条 函数光滑的支持向量机模型［9］，其逼近精度和数值 试验结果比以往的光滑支持向量机模型有了进一步 的改善． 同时，作为光滑支持向量机的新的研究方 向，样条函数光滑支持向量机的研究处于起步阶段， 有三个主要问题需要解决: ( 1) 是否存在其他形式 DOI:10.13374/j.issn1001-053x.2012.06.019

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·719· 的、性能更好的样条光滑函数：(2)如果存在，如何 这种修正对原问题的影响很小，然而这种修正 寻找和构造这些样条光滑函数：(3)以这些样条光 却能导出目标函数的强凸性等优良特性四，在 滑函数为基础构造的样条函数光滑支持向量机模型 式(3)中，令松弛变量y为如下形式： 的解的收敛性、分类性能如何.本文将对以上几个 y=(e-D(Aw-ey)）+· (4) 问题进行一些探讨.通过广义三弯矩法构造新的样 这里，(·)+为正号函数，(x),:=((x)+, 条函数作为光滑函数，在此基础上建立基于样条函 (x2)+,…,(xm,)T,其中(x),=max{0,x:},i=1, 数的支持向量机模型(spline function smooth support 2,,m.将式(3)目标函数中的y用式(4)代替，就 vector machine,SPSSVM),并对光滑函数和模型的 可以得到无约束的优化问题： 性能进行研究. (e-D(do-ey).+(oo+y). 1光滑支持向量机模型 (5) 式中，(e-D(Aw-ey))+不可微，因此目标函数不 给定R"中m个点a1,a2,…,am,用矩阵Amxn表 光滑.所以，需要引入光滑的函数对正号函数部分 示，目标是将a1,a2,…,am分为A+和A两类.若 进行逼近，得到目标函数可微的二次优化问题 a:属于类A*,记为1；若a属于类Aˉ，记为-1.则 正号函数和一般光滑函数的图像如图2所示 可以用一个m×m的对角阵D来表示分类情况，其 中，D的对角元素为1或-1.此问题标准的支持向 量机模型为：对于某个v>0, 1 veyw (w.y.y)cRa+1om (1) s.t.D(Aw-ey）+y≥e,y≥0. 在这个优化问题中，ω是如下的边界面的法向量： [xω-y=1, (2) Ix"@-y=-1. 图2光滑函数（虚线）在区间[-大]逼近x, 式中：y决定了边界面到原点的距离；e为分量全部 为1的列向量：y为松弛变量，当类A*和类Aˉ是严 g2 wh fnc inae,n【-大，大] 格线性可分时，y=0;xw-y=1和xw-y=-1 Lee和Mangasarian提出使用Sigmoid函数的 分别为类A*和类Aˉ的边界，此时分类的超平面为 积分函数 xw=y,该平面处于式(2)描述的两个水平面之间， 如图1所示.如果类A+和类A不是严格线性可分 p,)=x+g1+e),k>0 (6) 的，则有：(1)若x=A:,d:=1,则xw-y+y:≥1； 作为光滑函数逼近式(5)中的正号函数，得到光滑 支持向量机模型： (2)若xT=A,d=-1,则xw-y+y:≤-1. minvllp(e-D(Ao-ey),k i(ww+y). (7) xw-y+1 在文献9]中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， Axa-Y-】 ro=y S (x,k)= 分类超平面 3+2+L1 图1线性可分支持向量机分类示意图 6 2x +2+6 、1 ≤x<0, (8) Fig.1 Strictly linearly separable SVM k2 6 + 2 11 1 +宁+0≤≤石 对式(1)的标准目标函数进行修正，可以得到 得到基于三次样条函数的光滑支持向量机模型： 如下的修正模型： ty). minl(e-D(Aw-ey）,)I+ (3) s.t.D(Aw-ey）+y≥e,y≥0. i0w+y). (9)

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 的、性能更好的样条光滑函数; ( 2) 如果存在，如何 寻找和构造这些样条光滑函数; ( 3) 以这些样条光 滑函数为基础构造的样条函数光滑支持向量机模型 的解的收敛性、分类性能如何． 本文将对以上几个 问题进行一些探讨． 通过广义三弯矩法构造新的样 条函数作为光滑函数，在此基础上建立基于样条函 数的支持向量机模型( spline function smooth support vector machine，SPSSVM) ，并对光滑函数和模型的 性能进行研究． 1 光滑支持向量机模型 给定 Rn 中 m 个点 a1，a2，…，am，用矩阵 Am × n表 示，目标是将 a1，a2，…，am 分为 A + 和 A － 两类． 若 ai 属于类 A + ，记为 1; 若 ai 属于类 A － ，记为 － 1． 则 可以用一个 m × m 的对角阵 D 来表示分类情况，其 中，D 的对角元素为 1 或 － 1． 此问题标准的支持向 量机模型为: 对于某个 υ ＞ 0， min ( ω，γ，y) ∈Rn + 1 + m υeT y + 1 2 ωT ω， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 1) 在这个优化问题中，ω 是如下的边界面的法向量: xT ω － γ = 1， xT { ω － γ = － 1． ( 2) 式中: γ 决定了边界面到原点的距离; e 为分量全部 为 1 的列向量; y 为松弛变量，当类 A + 和类 A － 是严 格线性可分时，y = 0; xT ω － γ = 1 和 xT ω － γ = － 1 分别为类 A + 和类 A － 的边界，此时分类的超平面为 xT ω = γ，该平面处于式( 2) 描述的两个水平面之间， 如图 1 所示． 如果类 A + 和类 A － 不是严格线性可分 的，则有: ( 1) 若 xT = Ai，dii = 1，则 xT ω － γ + yi≥1; ( 2) 若 xT = Ai，dii = － 1，则 xT ω － γ + yi≤ － 1． 图 1 线性可分支持向量机分类示意图 Fig． 1 Strictly linearly separable SVM 对式( 1) 的标准目标函数进行修正，可以得到 如下的修正模型: min ( ω，γ，y) ∈Rn + m + 1 υ 2 yT y + 1 2 ( ωT ω + γ2 ) ， s． t． D( Aω － eγ) + y≥e，y≥0 { ． ( 3) 这种修正对原问题的影响很小，然而这种修正 却能导 出 目 标 函 数 的 强 凸 性 等 优 良 特 性［4］． 在 式( 3) 中，令松弛变量 y 为如下形式: y = ( e － D( Aω － eγ) ) + ． ( 4) 这里，( ·) + 为 正 号 函 数，( x) + ∶ = ( ( x1 ) + ， ( x2 ) + ，…，( xm ) + ) T ，其中( xi ) + = max{ 0，xi} ，i = 1， 2，…，m． 将式( 3) 目标函数中的 y 用式( 4) 代替，就 可以得到无约束的优化问题: min ω，γ 1 2 υ‖( e － D( Aω － eγ) ) + ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 5) 式中，( e － D( Aω － eγ) ) + 不可微，因此目标函数不 光滑． 所以，需要引入光滑的函数对正号函数部分 进行逼近，得到目标函数可微的二次优化问题． 正号函数和一般光滑函数的图像如图 2 所示． 图 2 光滑函数( 虚线) 在区间 [ － 1 k ，1 k ] 逼近 x + Fig． 2 Smooth function approximates x + [ in － 1 k ，1 k ] Lee 和 Mangasarian ［6］提出使用 Sigmoid 函数的 积分函数 p( x，k) = x + 1 k lg( 1 + e － kx ) ，k ＞ 0 ( 6) 作为光滑函数逼近式( 5) 中的正号函数，得到光滑 支持向量机模型: min ω，γ 1 2 υ‖p( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 7) 在文献［9］中，采用了具有二阶光滑性的三次 样条函数作为光滑函数， S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， － 1 k ≤x ＜ 0， － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ， ( 8) 得到基于三次样条函数的光滑支持向量机模型: min ω，γ 1 2 υ‖S1 ( e － D( Aω － eγ) ，k) ‖2 2 + 1 2 ( ωT ω + γ2 ) ． ( 9) ·719·

·720· 北京科技大学学报 第34卷 式中，k>1. 四阶样条光滑函数(m=4) 2样条光滑函数的构造与分析 S3(x,k)= 2.1广义三弯矩法构造样条光滑函数 x33-+2k2 4t 2t、 定义1设(·)，为正号函数，k>1,在区间 13 1 2+28K' -下≤x<0; [-云]上.以(-0)0)和()为 (12) 6 36 3K5 x6+ 2、 4 32+ 插值点，y1为y轴上的某一点，若样条光滑函数 1 3 0≤x≤下 1 [So (x), <0 2+28, S(x)= s(x), 0≤≤ 证明 (1)m=2时，由文献9]的结论，显然成立，且 逼近正号函数时，满足如下条件： 应用下面的广义三弯矩法可以求出式(10). 1)s0（-）=0,d=1,2,,m,k>0, (2)m=3时，采用构造式的证明方法.本文给 出了一种广义三弯矩法来证明此结论. s(-)=0: 设函数S(x)为满足三阶光滑条件的五次样条 2)s() =0,d=2,…,m,k>0, 函数以s)在点(-0小、0，)和（六） 处的四阶导数值S④(x,)=M,(i=0,1,2)为未知量 s()=1s)-=: 表示5).其中，气=-太=0≤= .由于 (3)S8(x1+0)=S®(x1-0),d=1,2,…,m, S(x1+0)=S1(x1-0),x1=0. s)为在区间-太0]和[0，]上的五次多项 则称函数S(x)满足m阶光滑条件 式，故s(x)在每个区间上都可以表示为线性 定理1在区间[-]上，选取(-六 函数. 0)小，0)和（仁）为插值点，其中，为)轴正 其中，在区间[-0]中的部分，可得 半轴上某一点，k>1.对于给定的正整数m(m=2, S0国=+ (x-x= 3,4),存在逼近正号函数x+,且满足定义1的m阶 ho h 光滑样条函数，形式如下. -c+M5(c+) 二阶光滑样条函数(m=2) S1(x,k)= 对该式逐次积分可得 2 k -x<0: Sg(x)+a1=- + 2*+6 “些✉+ 2 3 k 2 6t°+ 11 1 2+2+6 0≤x≤k (10) 国+答aa- 三阶光滑样条函数(m=3) S2(x,k)= 紫++ 5+ ++ 1,3 t+ 根据(-0)点处的三阶光滑条件，可解得 10 2 20k 、1 1×M。 M。2M。 ≤x<0: 41=-2k s-,,2323!/2’3s (11) 4 5k34 1 M。 4M。 10 4x+ 2t￥ 2t+ 20k 0≤x≤k 同理，对于区何[0，]上的部分，可得

北 京 科 技 大 学 学 报 第 34 卷 式中，k ＞ 1． 2 样条光滑函数的构造与分析 2. 1 广义三弯矩法构造样条光滑函数 定义 1 设( ·) + 为正号函数，k ＞ 1， [ 在区间 － 1 k ，1 ] k 上，以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为 插值点，y1 为 y 轴上的某一点，若样条光滑函数 S( x) = S0 ( x) ， － 1 k ≤x ＜ 0 S1 ( x) ， 0≤x≤ { 1 k 逼近正号函数时，满足如下条件: ( 1) S( d ( ) － 1 ) k = 0，d = 1，2，…，m，k ＞ 0， ( S － 1 ) k = 0; ( 2) S( d ( ) 1 ) k = 0，d = 2，…，m，k ＞ 0， ( S' 1 ) k = 1， ( S 1 ) k = 1 k ; ( 3) S( d) 0 ( x1 + 0) = S( d) 1 ( x1 － 0) ，d = 1，2，…，m， S0 ( x1 + 0) = S1 ( x1 － 0) ，x1 = 0． 则称函数 S( x) 满足 m 阶光滑条件． 定理 1 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正 半轴上某一点，k ＞ 1． 对于给定的正整数 m( m = 2， 3，4) ，存在逼近正号函数 x + ，且满足定义 1 的 m 阶 光滑样条函数，形式如下． 二阶光滑样条函数( m = 2) S1 ( x，k) = k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， － 1 k ≤x ＜ 0; － k 2 6 x 3 + k 2 x 2 + 1 2 x + 1 6k ， 0≤x≤ 1 k { ． ( 10) 三阶光滑样条函数( m = 3) S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， － 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 11) 四阶样条光滑函数( m = 4) S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， － 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． ( 12) 证明 ( 1) m = 2 时，由文献［9］的结论，显然成立，且 应用下面的广义三弯矩法可以求出式( 10) ． ( 2) m = 3 时，采用构造式的证明方法． 本文给 出了一种广义三弯矩法来证明此结论． 设函数 S( x) 为满足三阶光滑条件的五次样条 函数． 以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的四阶导数值 S( 4) ( xi ) = Mi ( i = 0，1，2) 为未知量 表示 S( x) ． 其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ． 由于 S( x) 为在区间 [ － 1 k ， ] 0 和 [ 0，1 ] k 上的五次多项 式，故 S( 4) ( x) 在每个区间上都可以表示为线性 函数． 其中，在区间 [ － 1 k ，0 ] 中的部分，可得 S( 4) 0 ( x) = M0 ( x1 － x) h0 + M1 ( x － x0 ) h1 = － M0 kx + M1 ( k x + 1 ) k ， 对该式逐次积分可得 S0 ( x) + a1 = － M0 kx 2 2 + M1 k ( 2 x + 1 ) k 2 ，  S0 ( x) + a1 x 3 3! + a2 x 2 2 + a3 x + a4 = － M0 k 5 5! + M1 k 5 ( ! x + 1 ) k 5 ． 根据 ( － 1 k ，0 ) 点处的三阶光滑条件，可解得 a1 = － M0 2k = － 1 × M0 2! k ，a2 = － M0 3k 2 = － 2M0 3! k 2，a3 = － M0 8k 3 = － 3M0 4! k 3，a4 = － M0 30k 4 = － 4M0 5! k 2 ． 同理，对于区间 [ 0，1 ] k 上的部分，可得 ·720·

第6期 张晓丹等：基于样条函数的光滑支持向量机模型 ·721· 4 2 Mc+M,(卡-x小， 3 13 1 k+x+28 -≤x<0: S3(x,k)= 对该式逐次积分，有 6些学小 6,3k26+3kx55B4+ 72 4 +2x 3 .13 x+2+287 0≤r≤ s(a)++4 2.2样条光滑函数的性质分析 3!+2+6x+6= 前面已经说明通过广义三弯矩法可以求出三次 层-小 样条光滑函数，并且构造了满足三阶光滑条件的五 次样条函数和满足四阶光滑条件的七次样条函数. 根据点（信）处的光滑条件，可以求得 那么，满足定义1条件的二阶光滑、三阶光滑和四阶 光滑的样条函数是不是唯一存在的？这个问题对研 6费-04 2M2 究样条光滑函数的进一步推广是十分重要的，本节 3=31 重点讨论这个问题 M, 3M2 M, 4M2 6-0-1--=0= 定理2 在区间[-名]上，选取(~名 这样，就得出了带有参数M。、M,和M2的五次样条 光滑函数 0小0，)和（会）为插值点，其中%为y轴正 再应用点(0，y)处的光滑条件，可得出如下矩 半轴上某一点，k>1,满足二阶光滑条件的三次样条 阵方程： 函数是唯一存在的. 「1 0 1 证明采用反证法 M 8K3 12k3 8k3 假设在区间[-太]上存在另一个三次样 1 2k 2k 条函数，是以(-冬0）、(0)和()为插值 方程系数矩阵的行列式不为0，因此，此矩阵方程有 点、且对正号函数的逼近满足二阶光滑条件 唯一解最后，可求得具有三阶光滑的五次样条函 数的形式为 设力=neR.显然，满足二阶光滑条件的 1 3 三次样条函数，必然满足三次样条插值函数的自然 10 4x+ 2x+2x+ 20k 1 边界条件.设点(-0）、0，)和（片）处的 -F≤x<0; S2(x,k)= 二阶导数值为S”(x)=M(i=0,1,2).其中，x1= k 4 x+ 1 3 +2+20k 1 2 斤=0，名=下 0≤x≤下 1 根据求解带有自然边界条件的三次样条插值函 (3)m=4时.在定义1的基础上，加上两个边 数的三弯矩法，得M。=0,M2=0.2M1=d1 界点的五阶光滑条件，采用广义三弯矩法.设函数 d=6时o]=3k1-月） S(x)为满足四阶光滑条件的七次样条函数.以 则 s(在点(-0)小0)和()处的六阶 M=2(1-是) 导数值S6(x:)=M:(i=0,1,2)为未知量表示 S(x),并通过点(0，y1)处的光滑条件，可以证明存 在如下形式的满足四阶光滑条件(m=4)的七次样 条光滑函数：

第 6 期 张晓丹等: 基于样条函数的光滑支持向量机模型 S( 4) 1 ( x) = M1 ( x2 － x) h1 + M2 ( x － x1 ) h2 = M2 kx + M1 ( k 1 k － ) x ， 对该式逐次积分，有 S1 ( x) + b1 = M2 kx 2 2 － M1 k ( 2 1 k － ) x 2 ，  S1 ( x) + b1 x 3 3! + b2 x 2 2 + b3 x + b4 = M2 k 5 5! + M1 k 5 ( ! 1 k － ) x 5 ． 根据点 ( 1 k ，1 ) k 处的光滑条件，可以求得 b1 = M2 2k = 1 × M2 2! k ，b2 = － M2 3k 2 = － 2M2 3! k 2， b3 = M2 8k 3 － 1 = － 3M2 4! k 3 － 1，b4 = － M2 30k 4 = － 4M2 5! k 2 ． 这样，就得出了带有参数 M0、M1 和 M2 的五次样条 光滑函数． 再应用点( 0，y1 ) 处的光滑条件，可得出如下矩 阵方程: 1 0 1 1 8k 3 － 1 12k 3 － 1 8k 3 1 2k 1 k － 1 2              k  M0 M1 M          2  = 0 － 1        0  ． 方程系数矩阵的行列式不为 0，因此，此矩阵方程有 唯一解． 最后，可求得具有三阶光滑的五次样条函 数的形式为 S2 ( x，k) = － k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， － 1 k ≤x ＜ 0; k 4 10 x 5 － k 3 4 x 4 + k 2 x 2 + 1 2 x + 3 20k ， 0≤x≤ 1 k            ． ( 3) m = 4 时． 在定义 1 的基础上，加上两个边 界点的五阶光滑条件，采用广义三弯矩法． 设函数 S( x) 为满足四阶光滑条件的七次样条函数． 以 S( x) 在点 ( － 1 k ， ) 0 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的六阶 导数值 S( 6) ( xi ) = Mi ( i = 0，1，2 ) 为 未 知 量 表 示 S( x) ，并通过点( 0，y1 ) 处的光滑条件，可以证明存 在如下形式的满足四阶光滑条件( m = 4) 的七次样 条光滑函数: S3 ( x，k) = － k 6 7 x 7 － 3k 5 4 x 6 － 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， － 1 k ≤x ＜ 0; k 6 7 x 7 － 3k 5 4 x 6 + 3k 4 2 x 5 － 5k 3 4 x 4 + 3 4 kx 2 + 1 2 x + 3 28k ， 0≤x≤ 1 k            ． 2. 2 样条光滑函数的性质分析 前面已经说明通过广义三弯矩法可以求出三次 样条光滑函数，并且构造了满足三阶光滑条件的五 次样条函数和满足四阶光滑条件的七次样条函数． 那么，满足定义 1 条件的二阶光滑、三阶光滑和四阶 光滑的样条函数是不是唯一存在的? 这个问题对研 究样条光滑函数的进一步推广是十分重要的，本节 重点讨论这个问题． 定理 2 在区间 [ － 1 k ，1 ] k 上，选取 ( － 1 k ， 0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值点，其中 y1 为 y 轴正 半轴上某一点，k ＞ 1，满足二阶光滑条件的三次样条 函数是唯一存在的． 证明 采用反证法． 假设在区间 [ － 1 k ，1 ] k 上存在另一个三次样 条函数，是以 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 为插值 点、且对正号函数的逼近满足二阶光滑条件． 设 y1 = 1 nk ，n∈R + ． 显然，满足二阶光滑条件的 三次样条函数，必然满足三次样条插值函数的自然 边界条件． 设点 ( － 1 k ，0 ) 、( 0，y1 ) 和 ( 1 k ，1 ) k 处的 二阶导数值为 S″( xi ) = Mi ( i = 0，1，2) ． 其中，x1 = － 1 k ，x2 = 0，x3 = 1 k ． 根据求解带有自然边界条件的三次样条插值函 数的三弯矩法，得 M0 = 0，M2 = 0． 2M1 = d1 ． d1 = 6f［x0，x1，x2］= 3 ( k 1 － 2 ) n ， 则 M1 = 3 2 ( k 1 － 2 ) n ． S0 ( x) = 3 2 ( k 1 － 2 ) ( n x + 1 ) k 3 6 k + ·721·

·722· 北京科技大学学报 第34卷 可以得到满足定义1的七次样条函数.因此，满足 四阶光滑条件的七次样条函数不唯一. 2.3k次样条光滑函数逼近精度分析 引理1回设x∈R,S,(x,k)由式(10)定义，x+ 好(1-品)(x-广+（经-4）(x+) 是正号函数，则： 8刘层 (1)S,(x,k)在x∈R上满足定义1的二阶光 滑条件： 6 (2)S1(x,k)≥x+: (3)对任意的x∈R,k>1,S1(x,k)2-x2≤ 61 24k2 证明过程见文献⑨] (-品)（食'+（俘-）+ 定理4设x∈R,S2(x,k)由式(11)定义，x+是 正号函数，则： (品-)卡 (1)S2(x,k)在x∈R上满足定义1的三阶光 滑条件： 显然，上述三次样条函数满足除一阶边界条件外的 (2)S2(x,k)≥x+, 其他条件.这里，一阶边界条件为S(-)=0, (3)对任意的x∈R,k>1,S2(x,k)2-x2≤ 1 s()=1 30k2- 下面，通过选取n的取值，使上面的三次样条函 证明 数满足逼近正号函数的一阶边界条件.对上式求一 (1)根据三阶光滑样条函数的构造过程，可以 阶导数 直接验证结论成立 S(x)= (-品)+)°+京-宁 (2)）当≥和x≤-时，结论显然成立 -(1-品)(-)+(-) 当xe(-0）时，s9=-6d(2+)≥0， 若满足s(-)=0,S()=1,则可求得n=6 则有s在区间x∈(-，0）上单调递增：由于 使两个条件均成立 那么，可以得出结论，满足逼近正号函数且满足 sg9(-)=0,则s9≥0：同理S≥0，则在区间 二阶光滑条件的三次样条函数必经过点(0，众)， (-0)上S(x,)≥，得证同理可证，在 即满足二阶光滑条件的样条光滑函数，是以(-， 区间x∈(0，)上，(x,)≥x,成立.综上，结论 (2)成立. 0小(0，)和（片）为插值点，且满足自然边界 (3)当x≥和x≤-时，结论显然成立 条件的三次样条插值函数.由三次样条插值函数的 性质可知，这样的插值函数是唯一存在的 当xe(-名0）时，(x,)2-= 定理3在定理2的条件下，满足三阶光滑条 S,(x,k)2.由定理4中结论(2)的证明可知，S,(x, 件的五次样条函数是唯一存在的. 证明过程同定理2. )在xe(-0）时是严格递增的，有S(x,)≤ 对于满足四阶光滑的七次样条函数，由定理1 中第3个结论的证明过程可知，在应用广义三弯矩 ,0,=≤0·则结论成立 法时，增加了边界点的五阶光滑条件.因此，若不采 用边界点五阶光滑条件，而适当增加其他条件，仍然 当xe(0)时，2-2=(-

北 京 科 技 大 学 学 报 第 34 卷 [ 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] x + 1 k 1 k = 1 4 k ( 2 1 － 2 ) ( n x － 1 ) nk 3 + ( 3 2n － ) ( 1 4 x + 1 ) k ， S1 ( x) = 3 2 ( k 1 － 2 ) ( n 1 k － ) x 3 6 k [ + 1 nk － 3 2 ( k 1 － 2 ) n 1 k 2 6 ] 1 k － x 1 k + 1 k x 1 k = 1 4 k ( 2 1 － 2 ) ( n 1 k － ) x 3 + ( 5 4 － 3 2 ) n x ( + 3 2n － ) 1 4 1 k ． 显然，上述三次样条函数满足除一阶边界条件外的 其他条件． 这里，一阶边界条件为 S ( ' － 1 ) k = 0， S ( ' 1 ) k = 1． 下面，通过选取 n 的取值，使上面的三次样条函 数满足逼近正号函数的一阶边界条件． 对上式求一 阶导数 S'( x) = 3 4 k ( 2 1 － 2 ) ( n x + 1 ) k 2 + 3 2n － 1 4 ， － 3 4 k ( 2 1 － 2 ) ( n 1 k － ) x 2 + ( 5 4 － 3 2 ) n { ． 若满足 ( S' － 1 ) k = 0， ( S' 1 ) k = 1，则可求得 n = 6 使两个条件均成立． 那么，可以得出结论，满足逼近正号函数且满足 二阶光滑条件的三次样条函数必经过点 ( 0，1 6 ) k ， 即满足二阶光滑条件的样条光滑函数，是以 ( － 1 k ， ) 0 、( 0，1 6 ) k 和 ( 1 k ，1 ) k 为插值点，且满足自然边界 条件的三次样条插值函数． 由三次样条插值函数的 性质可知，这样的插值函数是唯一存在的． 定理 3 在定理 2 的条件下，满足三阶光滑条 件的五次样条函数是唯一存在的． 证明过程同定理 2． 对于满足四阶光滑的七次样条函数，由定理 1 中第 3 个结论的证明过程可知，在应用广义三弯矩 法时，增加了边界点的五阶光滑条件． 因此，若不采 用边界点五阶光滑条件，而适当增加其他条件，仍然 可以得到满足定义 1 的七次样条函数． 因此，满足 四阶光滑条件的七次样条函数不唯一． 2. 3 k 次样条光滑函数逼近精度分析 引理 1 ［9］ 设 x∈R，S1 ( x，k) 由式( 10) 定义，x + 是正号函数，则: ( 1) S1 ( x，k) 在 x∈R 上满足定义 1 的二阶光 滑条件; ( 2) S1 ( x，k) ≥x + ; ( 3) 对任意的 x∈R，k ＞ 1，S1 ( x，k) 2 － x 2 + ≤ 1 24k 2 ． 证明过程见文献［9］． 定理 4 设 x∈R，S2 ( x，k) 由式( 11) 定义，x + 是 正号函数，则: ( 1) S2 ( x，k) 在 x∈R 上满足定义 1 的三阶光 滑条件; ( 2) S2 ( x，k) ≥x + ， ( 3) 对任意的 x∈R，k ＞ 1，S2 ( x，k) 2 － x 2 + ≤ 1 30k 2 ． 证明 ( 1) 根据三阶光滑样条函数的构造过程，可以 直接验证结论成立． ( 2) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立． 当 x∈ ( － 1 k ， ) 0 时，S( 3) 2 = － 6k 3 ( kx 2 + x) ≥0， 则有 S( 2) 2 在区间 x∈ ( － 1 k ，0 ) 上单调递增; 由于 S( 2) 2 ( － 1 ) k = 0，则 S( 2) 2 ≥0; 同理 S' 2 ≥0，则在区间 x∈ ( － 1 k ，0 ) 上 S2 ( x，k) ≥x + 得证． 同理可证，在 区间 x∈ ( 0，1 ) k 上，S2 ( x，k) ≥x + 成立． 综上，结论 ( 2) 成立． ( 3) 当 x≥ 1 k 和 x≤ － 1 k 时，结论显然成立． 当 x ∈ ( － 1 k ，0 ) 时，S2 ( x，k) 2 － x 2 + = S2 ( x，k) 2 ． 由定理 4 中结论( 2) 的证明可知，S2 ( x， k) 在 x∈ ( － 1 k ，0 ) 时是严格递增的，有 S2 ( x，k) ≤ S0 ( 0，k) = 9 400k 2≤ 1 30k 2，则结论成立． 当 x∈ ( 0，1 ) k 时，S2 ( x，k) 2 － x 2 + = ( － k 4 10 x 5 － ·722·