统计学习理论及应用 第八讲 数据表示-含参模型 编写：文泉、陈娟 电子科技大学 计机科学与工程学院
统计学习理论及应用 第八讲 数据表示-含参模型 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院
目录 ·例2 概率密度估计 最大后验概率估计 2 最大似然估计 ·例3 。例1 贝叶斯估计 ·均值和方差的无偏与有 偏估计 。例4 ·什么是高斯分布ML的 期望最大化EM 全局最优？ ●EM在高斯混合模型中 ·二元函数局部最优条件 的应用 1/56
目录 1 概率密度估计 2 最大似然估计 例 1 均值和方差的无偏与有 偏估计 什么是高斯分布 ML 的 全局最优？ 二元函数局部最优条件 例 2 3 最大后验概率估计 例 3 4 贝叶斯估计 例 4 5 期望最大化 EM EM 在高斯混合模型中 的应用 1 / 56
8.1.概率密度估计(Density Estimation) 一些基本概念 Density estimation:estimating the probability density function p(x)based on a given set of training samples D={x1,x2,,Xw}. Estimated density:denoted by p(x). Training samples are i.i.d.and distributed according to p(x): Parametric estimation:parameter vector 0 of p(x; Non-parametric estimation:a function p:F->R O Finite number of training samples meaning that there will be some errors in the function (density)estimation 2/56
8.1. 概率密度估计 (Density Estimation) 一些基本概念 1 Density estimation: estimating the probability density function p(x) based on a given set of training samples D = {x1, x2, ..., xN}. 2 Estimated density: denoted by pˆ(x). 3 Training samples are i.i.d. and distributed according to p(x). 4 Parametric estimation: parameter vector θ of p(x; θ) 5 Non-parametric estimation: a function p : F −→ R 6 Finite number of training samples meaning that there will be some errors in the function (density) estimation. 2 / 56
含参模型估计概率是已知总体分布形式（即函数形式） 但实际情况，我们对分布其实是一无所知的，不含参模 型可以应用于任何概率分布的场合，无需假定概率分布的 形式是已知。 3/56
含参模型估计概率是已知总体分布形式 (即函数形式) 但实际情况，我们对分布其实是一无所知的，不含参模 型可以应用于任何概率分布的场合，无需假定概率分布的 形式是已知。 3 / 56
8.2.最大似然估计Maximun Likelihood 给定一个M类(w1,w2,,w)的分类任务和一个用特征向 量x表示的样本，生成M个条件概率P(w,x),其中： p(wix)=e(xhp( p(x), px)=∑pxhw,lpw,) 如果： p(wlx)>p(wlx),≠i 则x属于w,类。称为贝叶斯决策(Bayes Decision Rule)。 它强调了后验概率。 4/56
8.2. 最大似然估计 Maximun Likelihood 给定一个 M 类 (w1,w2, ..., wM) 的分类任务和一个用特征向 量 x表示的样本，生成 M 个条件概率 P(wi |x), 其中： p(wi |x) = p(x|wi)p(wi) p(x) , p(x) = P M i=1 p(x|wi)p(wi) 如果： p(wi |x) > p(wj |x), ∀j ̸= i 则 x 属于 wi 类。称为贝叶斯决策（Bayes Decision Rule）。 它强调了后验概率。 4 / 56