第六章统计学习理论 60引言 61一致性与一致收敛 62 Vapnik- Chervonenkis(VC)理论 63结构风险最小化( Structural risk Minimization)
第六章 统计学习理论 6.0 引言 6.1 一致性与一致收敛 6.2 Vapnik-Chervonenkis (VC)理论 6.3 结构风险最小化(Structural Risk Minimization)
6.0引言
6.0 引言
6.0引言 ■模式识别中的学习问题: 训练数据集(X,Y) (x,n)(x2y2)…,(xn2yn)2 x∈羽,y∈{12…,K} 随机变量X的独 x的类别标识, 立同分布样本。 随机变量Y的独 立同分布样本
6.0 引言 模式识别中的学习问题： 训练数据集 ( X, Y ) ( , ),( , ), ,( , ), 1 1 2 2 n n x y x y L x y y {1,2, ,K} i ∈ L i x 随机变量 的独 立同分布样本。 Y , d i x ∈ℜ 随机变量 的独 立同分布样本。 X 的类别标识
6.0引言 学习函数集: 参数参数空间 {f(x,):6∈ 损失函数: L(y’,f(x,)
6.0 引言 学习函数集： 损失函数： { f (x,θ ):θ ∈Θ} 参数 参数空间 L( y, f (x,θ ))
6.0引言 ■平方误差损失函数: L(y,f(x()=(y-f(x,0)2 ■E不敏感损失函数: LO,(,0)=y-f(x, 0) 0|y-f(x,) ly-f(x,0)其他
6.0 引言 平方误差损失函数： 不敏感损失函数： 2 L(y, f (x,θ)) = (y − f (x,θ)) { | ( , )| 其他 0 | ( , )| ( , ( , )) | ( , )| θ θ ε θ θ ε y f x y f x L y f x y f x − − ≤ = = − ε