→由大数定理:N-112[m] E(a[ml) = A+ A2, when N → 8Nn=0因此:A→A(一致估计)一→线性化得到:N-1112Z?[n] - (A +A2)A~AN1A+12n=0E(A) = A(渐近无偏)
由大数定理: 因此: (一致估计) 线性化得到: (渐近无偏)
渐近方差为:N-J122a[m]varvarN1A+2n=C1-4N(A +) ar(2[ml)1-4N(A +)2A2N(A+)这就是CRLB一渐近有效估计A具有高斯的PDR
渐近方差为: 这就是CRLB-渐近有效估计 具有高斯的PDF
MLE的求解标量参数的MLE定义为对于固定的x,使p(x;)最大的值,也就是使似然函数最大的①值,最大化是在0允许的范围内求得的。一如果有效估计存在,那么通过最大似然方法一定可以得到一→最大似然函数方法不仅可以求得渐进有效的估计量,而且有时还能求得有限数据记录的有效估计量(例7.4)
最大似然函数方法不仅可以求得渐进有效的估计量 ,而且有时还能求得有限数据记录的有效估计量(例7.4 ) 。 如果有效估计存在,那么通过最大似然方法一定可以得到 MLE的求解 MLE θ θ θ θ 标量参数的 定义为对于固定的x,使p(x; )最大 的 值,也就是使似然函数最大的 值,最大化是在 允许的范围内求得的
例7.4白高斯噪声中的DC电平设接收的数据为r[(n] = A + w[n]n=0,1,..,N-1其中A是待估计的未知电平,w[n]是已知方差为2的WGN,其PDF为N-11.12 (a - A)lp(x; A) =(2元g2)expn=o取对数似然函数关于A的导数,得N-1 In p(x; A)1Z(a[n] - A)g28An=0令它等于零,得MLEN-11AZa/nlNn=0但是,我们已经看到了样本均值是一个有效估计量(参见例3.3),因此,MLE是有效估计量。一般而言,此结论都是正确的,如果一一个有效估计量存在,那么使用最大似然估计方法就可以求出它,证明思路请参见习题7.12
例7.4 白高斯噪声中的DC电平
MLE的性质1一渐进特性定理7.1:MLE的渐近特性:如果数据x的PDF P(x;0)满足某些正则条件,那么对于足够多的数据记录,未知参数的MLE渐近服从 ~ N(0, I-1(0))其中I()是在未知参数真值处计算的Fisher信息正则条件要求对数似然函数的导数存在,也就是要求Fisher信息非零根据渐进分布,MLE可视为渐进无偏的和渐进达到CRLB,因此它是渐进有效的,因此也是渐进最佳的。当然,实际上运用其渐进特性的主要问题一直是N必须取多大?幸好在很多感兴趣的情况中,数据记录长度基本满足要求
定理7.1:MLE的渐近特性:如果数据x的PDF 满足 某些正则条件,那么对于足够多的数据记录 对于足够多的数据记录,未知参数的 MLE渐近服从 其中 是在未知参数真值处计算的Fisher信息 正则条件要求对数似然函数的导数存在,也就是要求Fisher 信息非零 MLE的性质1-渐进特性 根据渐进分布,MLE可视为渐进无偏的和渐进达到CRLB,因此它是渐 进有效的,因此也是渐进最佳的。当然,实际上运用其渐进特性的主 要问题一直是N必须取多大?幸好在很多感兴趣的情况中,数据记录 长度基本满足要求