3.0引言 ■概率密度估计的两种主要思路: 参数估计: 根据对问题的一般性的认识,假设随机 变量服从某种分布,分布函数的参数通过训 练数据来估计。 非参数估计: 不用模型,而只利用训练数据本身对概 率密度做估计
6 3.0 引言 概率密度估计的两种主要思路： 参数估计： 根据对问题的一般性的认识，假设随机 变量服从某种分布，分布函数的参数通过训 练数据来估计。 非参数估计： 不用模型，而只利用训练数据本身对概 率密度做估计
3.1参数估计
7 3.1 参数估计
3.1参数估计 ■估计随机变量X的概率密度: 给定某类训练数据一样本 1,2,yn5 ∈9 假设已知所服从的分布形式,待佔计的参 数为O。例如,假定X服从正态分布N(42, 待估参数是O=(A∑)
8 3.1 参数估计 估计随机变量 的概率密度： 给定某类训练数据 — 样本 假设已知 所服从的分布形式，待估计的参 数为 。例如，假定 服从正态分布 ， 待估参数是 X , , , , 1 2 n x x L x , d i x ∈ℜ X θ X N(µ,∑) θ = (µ,∑)
3.1参数估计 n最大似然估计( Maximum likelihood 把待估计的参数看作“数”,与后面将要讲 到的 Bayes估计中把θ看作随机变量有区别。 为了描述概率密度函数p(x)与参数的依 赖关系,用p(x;6)表示
9 3.1 参数估计 最大似然估计(Maximum Likelihood): 把待估计的参数 看作“数”，与后面将要讲 到的Bayes估计中把 看作随机变量有区别。 为了描述概率密度函数 与参数 的依 赖关系，用 表示。 θ θ p(x) θ p(x;θ )
3.1参数估计 似然函数:∏p(x:0) 等价 对数似然函数:∑lnp(x;) 最大似然估计量bn: 0an= argmax∑lnp(x;O)
10 3.1 参数估计 似然函数： 对数似然函数： 最大似然估计量 ： ∏ = n i i p x 1 ( ;θ ) ∑ = n i i p x 1 ln ( ;θ ) θ ML ˆ ∑ = = n i ML i p x 1 argmax ln ( ; ) ˆ θ θ θ 等价