8.0引言 ■经验风险最小化 Rm(0= ASL(i,f(xi) 如Rmn(O)=∑(y-f(x)2
8.0 引言 经验风险最小化 2 1 1 ( 1 ( ) ( , ( )) 1 ( ) 如 ∑（ ）） ∑ = = = − = n i emp i i n i emp i i y f x n R f L y f x n R f
8.0引言 ■模式识别中的“学习的过程通常是 posed 问题: 般没有唯一解: 解在很多时候是不稳定的( overfitting
8.0 引言 模式识别中的“学习”的过程通常是illposed 问题： 一般没有唯一解； 解在很多时候是不稳定的(overfitting)
8.0引言 ■解决的办法: " Ockham' s razor(定性) 正则化方法(定量): 对函数集的复杂度加惩罚(与SM的思想类 似)
8.0 引言 解决的办法： Ockham’s razor （定性）; 正则化方法（定量）： 对函数集的复杂度加惩罚（与SVM的思想类 似）
8.1正则化理论简介
8.1 正则化理论简介
8.1正则化理论简介 ■线性插值问题:假设在R~和R之间存 在线性映射 ■已知训练数据集和损失函数: (x,y1)(x2y2)…,(xn,y 4=∑(-∑4/)2 =(4)nN,4=x x1=(x1,x2…x),y=(y,y2…yn)
8.1 正则化理论简介 线性插值问题：假设在 和 之间存 在线性映射: 已知训练数据集和损失函数： x 0 y = f • N R R ij n N ij ij n i N j i ij j n n A A A x Af y A f x y x y x y ( ) , , ( ) ( , ),( , ), ,( , ) 1 1 2 2 1 1 2 2 L = = − = − × = = y ∑ ∑ T n T i i i iN x (x , x , x ) , ( y , y , y ) = 1 2 L y = 1 2 L