第五章参数估计与非参数估计 参数估计与监督学习 参数估计理论 非参数估计理论
第五章 参数估计与非参数估计 • 参数估计与监督学习 • 参数估计理论 • 非参数估计理论
§5-1参数估计与监督学习 贝叶斯分类器中只要知道先验概率,条件概率或后验概 概率P(,)P(xo1),P(01(x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(O),P(xo) P(0x) 参数估计与非参数估计 参数估计:先假定研究的问题具有某种数学模型,如 正态分布,二项分布,再用已知类别的学习 样本估计里面的参数 非参数估计:不假定数学模型,直接用已知类别的学习 样本的先验知识直接估计数学模型
§5-1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi ),P(x/ωi ), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi ),P(x/ωi ), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型
监督学习与无监督学习 监督学习:在已知类别样本指导下的学习和训练, 参数估计和非参数估计都属于监督学习 无监督学习:不知道样本类别,只知道样本的某些 信息去估计,如:聚类分析
二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析
§5-2参数估计理论 .最大似然估计 假定: ①待估参数θ是确定的未知量 ②按类别把样本分成M类X,X2,Ⅹ3,…,XM 其中第i类的样本共N个 X=(X1X2X)并且是独立从总体中抽取的 ③X中的样本不包含(有)的信息,所以可以对每 类样本独立进行处理 ④第类的待估参数=(6102bn) 根据以上四条假定,我们下边就可以只利用第i类学习样 本来估计第类的概率密度,其它类的概率密度由其它类 的学习样本来估计
§5-2参数估计理论 一．最大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1 ，X2 ，X3 ，… XM 其中第i类的样本共N个 Xi = (X1 ,X2 ,… XN ) T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。 ( , ,... ) 1 2 n i T = j
1.一般原则: 第类样本的类条件概率密度: P(Xo1)=P(X(o1·6)=P(X/) 原属于类的学习样本为X=(X1,X2XN)12,M 求0的最大似然估计就是把P(X)看成的函数,求 出使它最大时的θ值。 ∴学习样本独立从总体样本集中抽取的 P(X|o1:0)=P(X|)=∏P(Xk|0 k N个学习样本出现概率的乘积 取对数:bgIP(k|)=∑bgP(xklO) k=1
1.一般原则： 第i类样本的类条件概率密度： P(Xi /ωi )= P(Xi /ωi﹒θ i ) = P(Xi /θi ) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN ,)T i=1,2,…M 求θ i的最大似然估计就是把P(Xi /θi )看成θ i的函数，求 出使它最大时的θ i值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 ： = = = N k i P X k i P X i P X i i i 1 ( | . ) ( | ) ( | ) = = = N k i k i k N k X P X P 1 1 log ( | ) log ( | )