有效性>方差衡量了估计量的性能>估计量的有效性可以通过比较θ与所有无偏估计的最小误差方差的大小来进行评价>如果Var（é,）<Var（é,）并且E（）=E（é,）,那么，.的有效性比é的有效性好>如果一个估计值是无偏的并且达到了C一R的下限那它被称为有效的>两个基于观测值的估计值T,和T,的相对有效性为：Var(T,(N)Var(T(N))
¾ 方差衡量了估计量的性能 ¾ 估计量的有效性可以通过比较 与所有无偏估计的最小 误差方差的大小来进行评价 ¾ 如果Var（ ）< Var（ ）并且E（ ）=E（ ）, 那么， 的有效性比 的有效性好 ¾ 如果一个估计值是无偏的并且达到了 如果一个估计值是无偏的并且达到了C—R的下限那它 被称为有效的 ¾ 两个基于观测值的估计值T1和T2的相对有效性为: ˆ θ 1 ˆ θ 1ˆ 2 θ ˆθ 2ˆθ 2 ˆ 1 θ ˆ θ 2 1 ( ( )) ( ( )) Var T N Var T N 有效性
MSE:meansquareerror最小均方误差准则MSE = E[(-)?]>最佳的估计准则：MSE = E([(-E(①))+(E(①)-0)})= Var(0)+ bias?(0)>E.g. 对于 x[n] = A + w[n],n = 0,1... N - 1令=αx[n] 为均值样本估计值N我们试图找一个a，使MSE最小
¾最佳的估计准则： 2 ˆ MSE E = − （ ） [ ] θ θ 2 2 ˆˆ ˆ {[( ( )) ( ( ) ] } ˆ ( ) ( ) MSE E E E Var bias θ θ θθ θ θ = −+− = + ） ¾ E.g. 对于 xn A wn n N [ ] [ ], 0,1 1 = += − " 1 0 1 [ ] Nn A a x N −= = ∑ n 令 为均值样本估计值 我们试图找一个a，使MSE最小。 最小均方误差准则 MSE: mean square error
最小均方误差准则E(A)=aA, Var(A) = α’2 / N我们得到：α22+ (a -1)2 A2MSE(A) =N对MSE求导，令其导数为零，可得到A?>不可实现的aoptA?+2/ N
对MSE求导，令其导数为零，可得到： 2 2 2 / opt A a A N σ = ⎯⎯→ + 不可实现的 最小均方误差准则 2 2 Var A a N () / = σ 我们得到： 2 2 2 2 ( ) ( 1) a M SE A a A Nσ = +− E A aA () , =
MVU:Minimumvarianceunbiased最小方差无偏估计>一般来说，MSE最小的估计量是不可实现的>当 A是一个未知的确定性参数时，使MSE最小的估计量是一个典型的有偏估计量。>从实际的观点来看，需要放弃最小MSE估计。另一种方法就是约束偏差为零，从而求出使方差最小的估计量一最小方差无偏(MVU)估计量。>或者在允许较小偏差情况下运用MSE准则。允许较小偏差可以有效地减小MSE。>一个使MSE最小的无偏估计量也是一个最小方差估计量
¾ 一般来说，MSE最小的估计量是不可实现的 ¾ 当 是一个未知的确定性参数时，使MSE最小的估计 量是一个典型的有偏估计量 。 ¾ 从实际的观点来看，需要放弃最小MSE估计。另一种方法 就是约束偏差为零，从而求出使方差最小的估计量－最小 方差无偏(MVU)估计量。 ¾ 或者在允许较小偏差情况下运用MSE准则。允许较小偏 差可以有效地减小MSE。 ¾ 一个使MSE最小的无偏估计量也是一个最小方差估计量。 ˆ θ 最小方差无偏估计 MVU: Minimum variance unbiased
最小方差无偏估计>无偏估计量：例子：白色高斯白噪声中DC电平的无偏估计量x[n]= A+ w[n],n =O,1,... N -1 ， A是要估计的参数，w[nj是WGN-8<A<8—→A=1ZNx[n]N》有偏估计量：例子：E(A)± AN-ZAx[n]n=02N
¾ 无偏估计量： 例子：白色高斯白噪声中DC电平的无偏估计量 ， A是要 估计的参数，w[n]是WGN ¾ 有偏估计量： 例子： xn A wn n N [ ] [ ], 0,1, 1 = + = .− 1 0 1 ˆ [ ] Nn A A xn N −= −∞ < < ∞ ⎯⎯→ = ∑ ( ) EA A ˆ ≠ 1 0 1 ˆ [ ] 2 Nn A x n N −= = ∑ 最小方差无偏估计