71非线性SVM ■由于目标函数和判决函数都只涉及内积 因此定义核函数: (x)*(x2)=∑(x)2(x)=K(x,x) k 核函数
7.1 非线性SVM 由于目标函数和判决函数都只涉及内积， 因此定义核函数： ( ) ( ) ( ) ( ) ( , ). 1 2 1 2 1 2 z x z x z x z x K x x k k k ∗ = ∑ = 核函数
71非线性SVM 非线性SVM: 优化函数(二次规划): max5小2之aK(x,x) 1,J= St.0≤a1≤C, n判决函数: 8(x)=∑ayK(x,x)+b
7.1 非线性SVM 非线性SVM： 优化函数（二次规划）： 判决函数： ( , ). 21 max 1 , 1 ∑ ∑ = = − n i j i j i j i j ni i α y y α α K x x α s.t. 0 C, i 1,2, ,n. ≤αi ≤ = L 0. 1 ∑ = = n i i i α y g(x) y K(x , x) b. n = ∑α + i 1 i i i =
71非线性SVM SVM结构: Via yna K(xI, x) K(x, x)
7.1 非线性SVM SVM结构： y L L L 1 x 2 x 1α 1 y d x ( , ) 1 K x x n n y α b K ( x , x ) n
71非线性SVM ■核涵数可以表示为内积的条件: a mercer定理( Mercer1909) 对称核函数K(x,y)具有Hibe空间中内积 形式的充要条件是: K(x, yg(x)g(y)dxdy20 对任何平方可积函数g成立
7.1 非线性SVM 核函数可以表示为内积的条件： Mercer定理(Mercer 1909): 对称核函数 具有Hilbert空间中内积 形式的充要条件是： 对任何平方可积函数 成立。 K( x, y) ∫ K( x, y)g(x)g( y)dxdy ≥ 0. g
71非线性SVM 例:K(x,y)=(x*y) K(r,yg(x)g(y)dxdy ∫②xyg(xy) ∑ x1x2…y1y2…g(x)g(y)ddy 万++=P h2…(P-一F2…) ∑∫ xx2…g(x)x20 (p-r
7.1 非线性SVM p 例： K(x, y) = (x ∗ y) ( ( )) 0 ! ! ( )! ! ( ) ( ) ! ! ( )! ! ( ) ( ) ( ) ( , ) ( ) ( ) 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 1 2 1 2 1 2 1 2 1 2 ≥ − − = − − = = ∑ ∫ ∑ ∫ ∫ ∑ ∫ + + = + + = = x x g x dx r r p r r p x x y y g x g y dxdy r r p r r p x y g x g y dxdy K x y g x g y dxdy r r r r r p r r r r r r r p p d i i i d d L L L L L L L L L