ch03.参数估计 最大似然估计&贝叶斯估计
Ch 03. 参数估计 最大似然估计 & 贝叶斯估计
Part1最大似然估计
Part 1 最大似然估计
模式分类的途径 途径1:估计类条件概率密度px|o) ·通过px)和P(ω),利用贝叶斯规则计算后验概率P(o|x),然后 通过最大后验概率做出决策 ·两种方法 方法1a:概率密度参数估计 基于对p(X∞)的含参数的描述 方法1b:概率密度非参数估计 基于对p(X|a)的非参数的描述 途径2:直接佔计后验概率P(o|x) 不需要先估计p(x1o) 途径3:直接计算判别函数 ·不需要估计p(x|o)或者P(a1|x)
模式分类的途径 • 途径1：估计类条件概率密度 • 通过 和 ，利用贝叶斯规则计算后验概率 ，然后 通过最大后验概率做出决策 • 两种方法 • 方法1a：概率密度参数估计 基于对 的含参数的描述 • 方法1b：概率密度非参数估计 基于对 的非参数的描述 • 途径2：直接估计后验概率 • 不需要先估计 • 途径3：直接计算判别函数 • 不需要估计 或者
概率密度函数估计与参数估计 参数估计基于对px用已知函数形式的参数化表 小 ·估计未知概率密度函数p(xω的问题被简化为估计 已知函数形式中的未知参数 p(x|)中的所有未知参数可以写成向量形式,称为 参数向量,含有未知参数的概率密度函数p(x|a) 可以表示为p(x|a,8) 斯密度函数中的参数向量 81=(p,2)
概率密度函数估计与参数估计 • 参数估计基于对 用已知函数形式的参数化表 示 • 估计未知概率密度函数 的问题被简化为估计 已知函数形式中的未知参数 • 中的所有未知参数可以写成向量形式，称为 参数向量 ，含有未知参数的概率密度函数 可以表示为 • 高斯密度函数中的参数向量
贝叶斯决策中的参数估计 ·贝叶斯决策为最优决策(最小总风险、最小误差 概率) ·前提条件 已知先验概率P(a) ·已知类条件概率密度p(X|O) 不幸的是 ·多数情况下,先验概率和类条件概率密度未知 我们可利用的 ·有关模式识别问题的一些模糊而笼统的知识 些设计样本(训练样本),构成待分类的模式的一个 特定的子集,作为该模式的代表
贝叶斯决策中的参数估计 • 贝叶斯决策为最优决策（最小总风险、最小误差 概率） • 前提条件 • 已知先验概率 • 已知类条件概率密度 • 不幸的是…… • 多数情况下，先验概率和类条件概率密度未知 • 我们可利用的…… • 有关模式识别问题的一些模糊而笼统的知识 • 一些设计样本（训练样本），构成待分类的模式的一个 特定的子集，作为该模式的代表 ( ) P i ( | )i p x