北京大学：《模式识别》课程教学资源（课件讲义）第八章 正则化网络

第八章正则化网络 80引言 n8.1正则化理论( Regularization Theory) .8.2 Reproducing Kernel hilbert space (RKHS) n8.3正则化网络( Regularization Networks)

第八章 正则化网络 „ 8.0 引言 „ 8.1 正则化理论(Regularization Theory) „ 8.2 Reproducing Kernel Hilbert Space (RKHS) „ 8.3 正则化网络(Regularization Networks)

8.0引言 ■模式识别中的学习问题: 训练数据集(X,Y) (x1,n1)(x2y2)…,(xn2yn)2 x∈羽,y∈{,2,…K 随机变量X的独 x的类别标 立同分布样本 随机变量Y的独 立同分布样本

8.0 引言 „ 模式识别中的学习问题： „ 训练数据集 ( X, Y ) ( , ),( , ), ,( , ), 1 1 2 2 n n x y x y L x y y {1,2, ,K} xi ∈ℜd , i ∈ L xi 的类别标识， 随机变量 的独 立同分布样本。 Y 随机变量 的独 立同分布样本。 X

8.0引言 学习函数集: 目标空间 f∈T 损失函数: L(y’,f(x)

8.0 引言 „ 学习函数集： „ 损失函数： 目标空间 f ∈Τ L( y, f (x))

8.0引言 平方误差损失函数: L,f(x)=(y-f(x)2 ■E不敏感损失函数: Lo,f(d=y-f(x) 0 y-f(x)k ly-f(x)|其他

8.0 引言 „ 平方误差损失函数： „ 不敏感损失函数： 2 L(y, f (x)) = (y − f (x)) { | ( )| 其他 0 | ( )| ( , ( )) | ( )| y f x y f x L y f x y f x − − ≤ = = − ε ε ε

8.0引言 a Soft margin损失函数: L(, f(x=ly- f(x) y-f(x y-f(x)>0 Ise a Hard margin损失函数: L(y, f(x)=h(y-f(x) f(x)>0 o else ■误分类数损失函数: L(y, f(x)=h(-yf(x)

8.0 引言 „ Soft Margin损失函数： „ Hard Margin损失函数： „ 误分类数损失函数： { else y f x y f x L y f x y f x 0 ( ) ( ) 0 ( , ( )) | ( ) | − − > = = − + { elsey f x L y f x h y f x 0 1 ( ) 0 ( , ( )) ( ( )) − > = = − L ( y , f ( x )) = h ( − yf ( x ))