6.0引言 Soft margin损失函数 L(y, f(x,0)=y-f(x, 0) y-f(x,b)y-f(x,6)>0 else Hard margin损失函数: L(y, f(x, 0)=h(y-f(x, 0) y-f(x,b)>0 o else ■误分类数损失函数: L(y,f(x,6)=h(-yf(x,)
6.0 引言 Soft Margin损失函数： Hard Margin损失函数： 误分类数损失函数： { else y f x y f x L y f x y f x 0 ( , ) ( , ) 0 ( , ( , )) | ( , ) | − − > = = − + θ θ θ θ { else y f x L y f x h y f x 0 1 ( , ) 0 ( , ( , )) ( ( , )) − > = = − θ θ θ L ( y , f ( x , θ )) = h ( − yf ( x , θ ))
6.0引言 ■例:最小平方误差准则线性分类器。 训练数据:x∈9,y∈{-1,+1} 学习函数集:f(x)=x+b 0={w,b},w∈,b∈咒,=“×只 损失涵数: L(y,f(x,⊙)=(y-f(x,6)=(y-x-b)
6.0 引言 例：最小平方误差准则线性分类器。 训练数据： 学习函数集： 损失函数： = { , }, ∈ℜ , ∈ℜ, Θ = ℜ ×ℜ. d d θ w b w b ∈{−1,+1}. i y f (x, ) w x b. T θ = + ( , ( , )) ( ( , )) ( ) . 2 2 L y f x y f x y w x b T θ = − θ = − − , d i x ∈ℜ
6.0引言 ■学习:从学习函数集中挑一个“最优”的 什么是“最优”? 统计推断:期望风险最小化(RM) 期望风险 R(O)=R((.6)=1(y(x)F(xy) X,Y的分布函数
6.0 引言 学习：从学习函数集中挑一个“最优”的。 什么是“最优”？ 统计推断：期望风险最小化( RM ) 期望风险 ∫ = • = ∆ R(θ ) R( f ( ,θ )) L( y, f (x,θ ))dF(x, y) X ,Y的分布函数
6.0引言 基于最小错误率的 Bayes决策:条件错误率的 数学期望 P(e)=p(e,x)dx ∫P(elx)x)dx=」Peld(x) E(P(elx))
6.0 引言 基于最小错误率的Bayes决策：条件错误率的 数学期望 ( ( | )). ( | ) ( ) ( | ) ( ) ( ) ( , ) E P e x P e x p x dx P e x dP x P e P e x dx = = = = ∫ ∫ ∫
6.0引言 ■经验风险 Rm/(O)=Rmn((,0)=∑l(,f(x,) 经验风险最小化(ERM)原则:用经验风 险来逼近期望风险
6.0 引言 经验风险 经验风险最小化( ERM )原则：用经验风 险来逼近期望风险。 ( , ( , )). 1 ( ) ( ( , )) 1 ∑ = ∆ = • = n i emp emp i i L y f x n R θ R f θ θ