北京大学：《模式识别》课程教学资源（课件讲义）第六章 统计学习理论

6.0引言 ■ERM原则的例子: 最小平方误差准则线性分类器: Rm/(O)=∑l(,f(x,6)=∑(0-x-b) 密度估计的最大似然方法: Rom(e) ∑lnP(

6.0 引言 „ ERM原则的例子： „ 最小平方误差准则线性分类器： „ 密度估计的最大似然方法： ( ) . 1 ( , ( , ) 1 ( ) 1 2 1 ∑ ∑ = = = = − − n i i T i n i emp i i y w x b n L y f x n R θ θ ln ( , ) 1 ( ) 1 ∑ = = − n i emp i P x n R θ θ

6.0引言 n关于经验风险最小化( Empirical risk Minimization)的问题: 致性( consistency); a泛化能力( generalization ability))→收敛速度 泛化能力的控制:结构风险最小化

6.0 引言 „ 关于经验风险最小化(Empirical Risk Minimization)的问题： „ 一致性(consistency)； „ 泛化能力(generalization ability) 收敛速度； „ 泛化能力的控制：结构风险最小化

6.1一致性与一致收敛

6.1 一致性与一致收敛

61一致性与一致收敛 ■渐进性质—一致性: ERM估计与RM估计 BR(n)=argmin Rmp(0)=argmin-2L(,f(,e) 8=argminR(0)=argmin L(y,f(x, 0)dF(, y) 6∈⊙ 6∈⊙

6.1一致性与一致收敛 „ 渐进性质—一致性： „ ERM估计与RM估计： ( , ( , )). 1 ( ) argmin ( ) argmin ˆ 1 ∑ = ∈Θ ∈Θ = = n i R emp i i L y f x n n R emp θ θ θ θ θ argmin ( ) argmin ( , ( , )) ( , ). ˆ ∫ ∈Θ ∈Θ = R = L y f x dF x y θ R θ θ θ θ

61一致性与一致收敛 致性; 解收敛 R(a(n)-R(A)-2>0 风险值收敛: Rm2(n(m)-R(O)”>0.P

6.1一致性与一致收敛 „ 一致性； „ 解收敛： „ 风险值收敛： ) 0. ˆ ( )) ( ˆ ( − n →→∞ R R R R n emp θ θ ) 0. ˆ ( )) ( ˆ ( − n →→∞ Remp θ Remp n R θ R P P