3.1参数估计 ■似然函数给出了从总体样本中抽出n个样 本 xn的概率。 假设样本是独立抽取的,并且不同类别 的参数是相互独立的 ■最大似然估计就是根据已经抽取的n个样 本 ,xn,来估计这组样本“最可能 2 152 来自哪个密度函数。(“最似哪个密度 函数)
11 3.1 参数估计 似然函数给出了从总体样本中抽出n个样 本 的概率。 假设样本是独立抽取的，并且不同类别 的参数是相互独立的。 最大似然估计就是根据已经抽取的n个样 本 ，来估计这组样本“最可能” 来自哪个密度函数。（“最似”哪个密度 函数） n x , x , , x 1 2 L n x , x , , x 1 2 L
最大似然估计示意图 plx In p(r; p) 6 12
12 最大似然估计示意图 θ θ ˆ p ( x;θ) θ ˆ θ ln p ( x;θ )
3.1参数估计 ■参数求解:必要条件是梯度为0。 V∑mnp(x;0)=0
13 3.1 参数估计 参数求解：必要条件是梯度为0。 ( ln ( ; )) 0 1 ∇ ∑ = = n i i θ p x θ
3.1参数估计 ■正态分布假设下的最大似然参数估计: p(x;,∑) d/2 exp(-(x1-1)∑(x1-) (2) d/2 2
14 3.1 参数估计 正态分布假设下的最大似然参数估计： ( ) ( )) 21 exp( (2 ) 1 ( ; , ) 1 / 2 / 2 µ µ π µ − − ∑ − ∑ = ∑ − i T d i d i x x p x
3.1参数估计 ■似然函数 ∑lp(x;A∑) l n(2z)∑) ∑(x-)∑(x1-A) 2 15
15 3.1 参数估计 似然函数： ( ) ( ). 21 ln((2 ) ) 2 ln ( ; , ) 1 1 1 ∑ ∑ = − = = − ∑ − − ∑ − ∑ n i i T i d n i i x x n p x π µ µ µ