Cramer-Rao下限一般而言，未知参量对概率密度函数的影响越大，所得的估计就越好。假设一个信号抽样的观测值为：x[0]=A+w[0]，w[0]~N(0,")，当方差很小时，我们期望得到一个好的估计值。当把PDF作为未知参数的函数时（x固定），我们称其为似然函数。直观地看，似然函数的“尖锐”程度决定了我们估计未知参数的精度。考虑由对数似然函数在其峰值处的负二阶导数来度量“尖锐”性，即对数似然函数的曲率。Pi ([0] = 3: A)P2(r[0] = 3; A)A365356(a)01=1/3(b)02=1
一般而言，未知参量对概率密度函数的影响越大，所得的估计就 越好。 假设一个信号抽样的观测值为：x[0]=A+w[0], ，当方 差很小时，我们期望得到一个好的估计值。 当把PDF作为未知参数的函数时（x固定），我们称其为似然函数。 直观地看，似然函数的“尖锐”程度决定了我们估计未知参数的精 度。考虑由对数似然函数在其峰值处的负二阶导数来度量“尖锐” 性，即对数似然函数的曲率。 Cramer-Rao下限
Cramer-Rao下限(r[0] - A)2p(r[0]; A)X20212元1ln p(α[0]; A) = -ln V2元g2c[0] - A)2202ln p(ar[0]; A)1ro-AOA:12 In p(r[0]; A)020A21方差随曲率的增加而减少82 In p(r[0]:A)0A2a2inp(z[0];A))-E，它度量了曲率更一般的度量是0A2对数似然函数的平均曲率
Cramer-Rao下限 曲率更一般的度量是 ，它度量了 对数似然函数的平均曲率。 方差随曲率的增加而减少
Cramer-Rao定理定理3.1CRLB一标量参数假设pdfp(x;0)满足正则条件aln p(x; 0)=0对于所有的θEa0数学期望是对p(x;①)求取的。那么，任何无偏估计量的方1差必须满足var(0) >a? In p(x;0)-E002其中导数是在θ的真值处计算的，数学期望是对p(x;の)求取的。而且对于某个函数g,I，当且仅当下式成立时，对所有θ达到下限的无偏估计量就可以求得。aln p(x;) = I(0)(g(x) - 0)00该估计量是=g(x)，它是MVU估计量，最小方差是1/I()
定理3.1 CRLB－标量参数 假设pdf 满足正则条件 数学期望是对 求取的。那么，任何无偏估计量 的方 差必须满足 其中导数是在θ的真值处计算的，数学期望是对 求取的。 而且对于某个函数 ，当且仅当下式成立时，对所有θ 达到 下限的无偏估计量就可以求得。 p(x; ) Cramer-Rao定理 θ ln (x; ) 0 p E θ θ θ ⎡ ⎤ ∂ = ⎢ ⎥ ⎣ ⎦ ∂ 对于所有的 ˆ θ 2 2 1 ˆ var( ) ln (x; ) p E θ θ θ ≥ ⎡∂ ⎤ − ⎢ ⎥ ⎣ ∂ ⎦ p(x; ) θ g I, ln (x; ) ( )( (x) ) p I g θ θ θ θ ∂ = − ∂ ˆ 该估计量是 ，它是 θ = g(x) MVU估计量，最小方差是 1/ ( ) I θ p(x; ) θ
Cramer-Rao定理一例3.3E.g 1. DC level in white Gaussian noise:α[n] = A+ w[n], n = 0, 1,...,N-1N-11II2[n] - A)2p(x,A)2n=0N-111Z(a[ml - A)2)2g2(2元g2）n=0N-10ln p(x, A)1Z(r[n] - A)福920An=0NA)XS
Cramer-Rao定理－例3.3
Cramer-Rao定理一例3.3Na? ln p(x, A)920A292varN可以看到，样本均值估计量达到了下限，因此肯定是MVU估计量，且最小方差为α2N
Cramer-Rao定理－例3.3 可以看到，样本均值估计量达到了下限，因此肯定 是MVU估计量，且最小方差为