Ch05.非参数方法Part 1Parzen窗估计
Ch 05. 非参数方法 Part 1 Parzen窗估计
模式分类的途径·途径1：估计类条件概率密度p(xo)。通过p(x「)和P(α)，利用贝叶斯规则计算后验概率P(の「x)，然后通过最大后验概率做出决策·两种方法·方法1a：概率密度参数估计基于对p(x|の)的含参数的描述方法1b：概率密度非参数估计基于对p(xの)的非参数的描述途径2：直接估计后验概率P(o/x)：不需要先估计p(x1)·途径3：直接计算判别函数·不需要估计p(×/)或者P( /x)
模式分类的途径 • 途径1：估计类条件概率密度 • 通过 和 ，利用贝叶斯规则计算后验概率 ，然后 通过最大后验概率做出决策 • 两种方法 • 方法1a：概率密度参数估计 基于对 的含参数的描述 • 方法1b：概率密度非参数估计 基于对 的非参数的描述 • 途径2：直接估计后验概率 • 不需要先估计 • 途径3：直接计算判别函数 • 不需要估计 或者
参数估计可能存在的问题·概率密度函数的形式未知，经典的密度函数往往不能很好的描述现实数据·经典密度函数的参数形式一般都是单模的，现实数据往往是多模的·有些复杂数据很难用参数形式建模·解决办法：非参数方法（non-parametricmethod)
参数估计可能存在的问题 • 概率密度函数的形式未知 • 经典的密度函数往往不能很好的描述现实数据 • 经典密度函数的参数形式一般都是单模的 • 现实数据往往是多模的 • 有些复杂数据很难用参数形式建模 • 解决办法：非参数方法（non-parametric method）
非参数方法能处理任意的概率密度·不必假设密度函数的参数形式· No Free Lunch!·非参数方法取得较好结果所需训练样本一般远远大于参数化方法
非参数方法 • 能处理任意的概率密度 • 不必假设密度函数的参数形式 • No Free Lunch! • 非参数方法取得较好结果所需训练样本一般远远大于参 数化方法
非参数密度估计假设x的概率密度为p(x)，则任一x落入区域R的概率为P= [p(x) dxR·非参数密度估计的基本思想。通过估计x周围一个小区域R的概率来估计p(x)假设n个i.i.d.样本，其中k个样本落入R中的概率Pk =(P)pk (1 - P)n-k二项分布k的期望值E[k] = nP当数据量n很大时，P在nP附近有非常显著的高峰，可以用k的观察值代替E(k)E[k] kPnn
非参数密度估计 • 假设x的概率密度为p(x)，则任一x 落入区域R的概率为 • 非参数密度估计的基本思想 • 通过估计x周围一个小区域R的概率来估计p(x) • 假设n个i.i.d.样本，其中k个样本落入R中的概率 • k的期望值 • 当数据量n很大时，Pk在nP附近有非常显著的高峰，可以 用k的观察值代替E(k) 二项分布