§62估计量的评价标准 621无偏估计 定义6,2设6=b(x1x2,x)是参数O的估计量,如果 (6.3) 则称θ是θ的无偏估计(量)。 如果有O的一列估计n=6(X1,X2…,X)(n=12,满足关系式 lim EG)=0 (64) 则称θ是θ的渐近无偏估计(量)。 个估计量6如果不是无偏估计量,就称这个估计量是有偏的,且称E()-0 估计量6的偏差。无偏性虽然是评价估计量的一个重要标准,而且在许多场合是 合理的,必要的。然而,有时一个参数的无偏估计可能不存在。例如,设总体X~ N(,,则就没有无偏估计。有时无偏估计可能明显不合理。例如,设X是来 自泊松总体P(a)的一个样本,可以证明(-2)是e2的无偏估计,但这个无偏估 计明显不合理,因为当X1取奇数值时,估计值为负数,用一个负数估计e24明 显不合理,有时对同一个参数可以有而后内多个无偏估计,如上例。这些说明仅 有无偏性要求是不够的 于是,人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小 表明该估计量的取值(即估计值)围绕着待估参数的波动就越小,也就是更为理 想的估计量。为此,引入最小方差无偏估计 622小方差无偏估计 定义6.3设和62均为O的无偏估计量,若对任意样本容量n有 (e,) <D(e) 65) 则称θ比θ2有效。如果存在θ的一个无偏估计量O,使对θ的任意无偏估计量θ, 都有 66)
§ 6.2 估计量的评价标准 6.2.1 无偏估计 定义 6.2 设θ ˆ = θ ˆ(X1, X 2 ,..., X n )是参数θ 的估计量，如果 (θ ) = θ E ˆ （6.3） 则称θ ˆ是θ 的无偏估计（量）。 如果有θ 的一列估计 ( ) n n X X X n , ..., ˆ ˆ θ = θ 1 2, (n = 1,2,...), 满足关系式 (θ ) = θ →∞ n n E ˆ lim （6.4） 则称θ ˆ n 是θ 的渐近无偏估计（量）。 一个估计量θ ˆ如果不是无偏估计量，就称这个估计量是有偏的，且称 (θ )−θ E ˆ 估计量 的偏差。无偏性虽然是评价估计量的一个重要标准，而且在许多场合是 合理的，必要的。然而，有时一个参数的无偏估计可能不存在。例如，设总体 θ ˆ X ～ N(θ,1),则 θ 就没有无偏估计。有时无偏估计可能明显不合理。例如，设 X1是来 自泊松总体 P(λ)的一个样本，可以证明( ) 1 2 X − 是 的无偏估计，但这个无偏估 计明显不合理，因为当 X 取奇数值时，估计值为负数，用一个负数估计 明 显不合理，有时对同一个参数可以有而后内多个无偏估计，如上例。这些说明仅 有无偏性要求是不够的。 −2λ e 1 −2λ e 于是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。 表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理 想的估计量。为此，引入最小方差无偏估计。 6.2.2 小方差无偏估计 定义 6.3 设θ ˆ 1和θ ˆ 2均为θ 的无偏估计量，若对任意样本容量n有 ( ) 1 ˆ D θ ( ) 2 ˆ < D θ ( ) 6.5 则称θ ˆ 1 比θ ˆ 2 有效。如果存在θ 的一个无偏估计量θ ˆ 0 ，使对θ 的任意无偏估计量 ， 都有 θ ˆ (θ ) (θ ) ˆ ˆ D 0 ≤ D ( ) 6.6 1
则称θ是θ的最小方差无偏估计(量),缩写为MUE。 定理6,1(Rao- Cramer不等式)设H是实数轴上的一个开区间,总体x的 分布密度为p(x:),6∈H,(x,X2,Xn)是来自总体X一个样本, 6=x1,x2,xn是参数O的一个无偏估计量,且满足条件: )集合Sarp(x,)≠0}与O无关 ap(x: 0) 存在且对H中一切O有 0Cp(0=0厂,xO -「(x,x2,…,x)DL(Ox,d 其中L()=∏px.) aIn plx; e (6.7) 则对一切B∈H,有 nle (68) 不等式(68)的右端项称为罗一克拉美下界,(0)称为 Fisher信息量,还可 证明 ()的又一表达式为 () aiN plx: 0) (69) 式(69)有时比式(67)更易于计算,但必须满足()>0 值得注意的是,对于离散总体情形,设总体X的分布律为 PIX 且满足类似上述定理的条件,则罗一克拉美不等式依然成立。满足罗一克拉 美不等式成立的条件的估计称为正规估计。从而,若为正规估计且D)达到罗
则称θ ˆ 0 是θ 的最小方差无偏估计（量），缩写为 MVUE 。 定理 6.1 (Rao −Cramer不等式) 设 H 是实数轴上的一个开区间，总体 X 的 分布密度为 p(x;θ ) ， θ ∈ H ， ( ) X Xn X , ,..., 1 2 是来自总体 X 一个样本， ⎟ ⎟ 是参数 ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = X X X n , ,..., ˆ ˆ θ θ 1 2 θ 的一个无偏估计量，且满足条件： （1）集合 S def {x p( ) x;θ ≠ 0} 与θ 无关； （2） ( ) θ θ ∂ ∂p x; 存在且对 H 中一切θ 有 ( ) ( ) ( ) ( ) = ∂ ∂ = ∂ ∂ = ∂ ∂ ∫ ∫ ∫ ∫ +∞ −∞ +∞ −∞ +∞ =∞ +∞ −∞ n L dx dxn dx x x x p x p x dx , ,..., ... ˆ ... ; ; θ 1 2 θ 1 θ θ θ θ θ ( ) ( ) n L dx dxn x , x ,..., x ... ˆ ... 1 2 θ 1 θ θ ∂ ∂ ∫ ∫ +∞ −∞ +∞ −∞ 其中 L( ) θ ∏ ( = = n i p x 1 ;θ )； (3) I( ) θ def ( ) 0 ln ; 2 ⎟ > ⎠ ⎞ ⎜ ⎝ ⎛ ∂ ∂ θ p x θ E （6.7） 则对一切θ ∈ H ，有 ( ) (θ ) θ nI D 1 ˆ ≥ （6.8 ） 不等式（6.8） 的右端项称为罗—克拉美下界， I(θ ) 称为 Fisher 信息量，还可 证明 I(θ )的又一表达式为 I( ) θ ( ) ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ∂ ∂ = − 2 2 ln ; θ p X θ E (6.9) 式(6.9)有时比式（6.7）更易于计算，但必须满足 I(θ ) > 0 值得注意的是，对于离散总体情形，设总体 X 的分布律为 P{X = x }= p(x;θ ) 且满足类似上述定理的条件，则罗—克拉美不等式依然成立。满足罗—克拉 美不等式成立的条件的估计称为正规估计。从而，若θ ˆ为正规估计且 (θ ) D ˆ 达到罗 2
克拉美下界,即DG=1m1()则6必为的最小方差无偏估计 623有效估计 定义6.4设θ是θ的任一无偏估计量,称 eG) der (nl( 为估计量6的效率 显然θ的任一无偏估计量O的效率 e(e) (6.11) 则称θ为O的有效估计(量),如果 lime(e)=1 (6.12) 则称θ为θ的渐近有效估计(量) 由式(6.10)和式(6.11)可知,如果b为的有效估计,则它也是最小方差 无偏估计。但反之却不一定成立 624相合估计(一致估计) 我们不仅要求一个估计量是无偏的,且有较小的方差,还希望当样本容量 充分大时,估计量能在某种意义下收敛于被估计参数,这就是所谓相合性(或 致性)概念 定义66设On=n(x1,X2,xn)是未知参数O的估计序列,如果依概率收敛 于b,即对任意E>0,有 p-<=1(m-2e}=) 则称θ是θ的相合估计(量)(或一致估计量)。 定理6.2设是θ的一个估计量,若 lmnE)=a且 lim d(e 则O是O的相合估计(或一致估计) 证明由于
—克拉美下界，即 (θ ) D ˆ =1/[ ( )]则 必为θ 的最小方差无偏估计。 X2 nI θ θ ˆ 6.2.3 有效估计 定义 6.4 设θ ˆ是θ 的任一无偏估计量，称 (θ )ˆ e ( ) ( ) θ θ ˆ 1 D nI def ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ （6.10） 为估计量θ ˆ的效率。 显然θ 的任一无偏估计量θ ˆ的效率 ( ) 1 ˆ e θ = （6.11） 则称θ ˆ为θ 的有效估计（量），如果 ( ) 1 ˆ lim = →∞ e θ n (6.12) 则称θ ˆ为θ 的渐近有效估计（量）。 由式（6.10）和式（6.11）可知，如果θ ˆ为θ 的有效估计，则它也是最小方差 无偏估计。但反之却不一定成立。 6.2.4 相合估计（一致估计） 我们不仅要求一个估计量是无偏的，且有较小的方差，还希望当样本容量 n 充分大时，估计量能在某种意义下收敛于被估计参数，这就是所谓相合性（或一 致性）概念。 定义 6.6 设 n n ( ) Xn 是未知参数θ 的估计序列，如果 依概率收敛 于 θ n ˆ θ ，即对任意ε > 0，有 X , ,..., ˆ ˆ θ = θ 1 { } 1 ˆ lim − < = →∞ θ θ ε n n P ( { } 0) ˆ lim − ≥ = →∞ θ θ ε n n P 则称θ ˆ n 是θ 的相合估计（量）（或一致估计量）。 定理 6.2 设θ ˆ n 是θ 的一个估计量，若 (θ ) = θ →∞ n n E ˆ lim 且 ( ) 0 ˆ lim = →∞ n n D θ 则θ ˆ n 是θ 的相合估计（或一致估计）。 证明 由于 3
0≤ P{问 -6≥E}≤ (e-B) 1En-E{)+E,)- l)+()-l) 令n→∞且有定理的假设,得 lim 0 即b是b的相合估计。 例6,2设总体X的一阶和二阶矩存在分布是任意的记E(X)=,D(X)=a2, 则样本均值X是μ的无偏估计样本方差S2是82的渐进无偏估计修正样本方差 Sn是δ2无偏估计 证明由式(57)知E(x)=,E(S2)=n=1a2,E O 所以,X和S均为无偏估计量而 lim E(S2)=lim n-102=02 故S2是2的渐进无偏估计 例63设总体X服从区间0,0上的均匀分布、(X1,X2…Xn)是总体X的一个 样本试证:参数是矩估计量O1=2X是O的无偏估计;的最大似然估计 0=maxX1=Xm是b的渐进无偏估计 ≤i≤n 证明E(1)=E(2X)=2E(X)=2E(X)=2x=0,故的矩估计1是无偏估 计量.由例5.4知 n n-I 0≤X≤b P 其他 于是 E(OL)=E(Xm)=xpxon,(x)dx
0 ≤ P{ θ ˆ n −θ ≥ ε } ( ) 2 2 ˆ 1 θ θ ε ≤ E n − [ ] ( ) ( ) 2 2 ˆ ˆ ˆ 1 θ θ θ θ ε = E n − E n + E n − = ( ) ( ) ( ( ))( ( ) ) ( ( ) ) ⎥⎦ ⎤ ⎢⎣ ⎡ θ − θ + θ − θ θ −θ + θ −θ ε E n E n n E n E n E n ˆ ˆ ˆ ˆ 2 ˆ ˆ 1 2 2 = ( ) ( ( ) ) ⎥⎦ ⎤ ⎢⎣ ⎡ + − 2 2 ˆ ˆ 1 θ θ θ ε D n E n 令 n → ∞ 且有定理的假设，得 { } 0 ˆ lim − ≥ = →∞ θ θ ε n n P 即θ ˆ n是θ 的相合估计。 例 6.12 设总体 X 的一阶和二阶矩存在,分布是任意的,记 E(X ) = µ , , 则样本均值 2 D(X ) = σ X 是µ 的无偏估计,样本方差 是 的渐进无偏估计,修正样本方差 是 无偏估计. 2 n S 2 δ 2 ∗ Sn 2 δ 证明 由式（5.7）知 E ( X ) = µ , 2 1 2 ( ) σ n n E Sn − = , 2 ( ) 2 = σ ∗ E Sn 所以, X 和 均为无偏估计量,而 2 ∗ Sn 2 1 2 2 lim ( ) lim σ = σ − = → ∞ →∞ n n E S n n n 故 是 的渐进无偏估计. 2 Sn 2 σ 例 6.13 设总体 X 服从区间[0,θ ]上的均匀分布, ) (X1 , X 2 ,"X n 是总体 X 的一个 样本,试证 ：参数θ 是矩估计量 1=2 ˆθ X 是θ 的无偏估计；θ 的最大似然估计 θ ˆ L = = 是 i n Xi 1≤ ≤ max X (n) θ 的渐进无偏估计. 证明 θ θ θ = = = = × = 2 ) (2 ) 2 ( ) 2 ( ) 2 ˆ ( E 1 E X E X E X ，故θ 的矩估计 是无偏估 计量. 由例 5.4 知 1 ˆθ ⎪⎩ ⎪ ⎨ ⎧ ≤ ≤ = − 0 其他 0 1 ( ) θ θ x x n p n n X n 于是 ∫ +∞ −∞ E = E X = xp x dx L n X n ) ( ) ( ) ˆ (θ ( ) ( ) 4
6≠6 所以θ是θ的有偏估计量,但是 imE(61)=lm-,b=6 n 即是的渐进无偏估计 虽然θ是θ的有偏估计量,但只要修正为 那么θ2也是θ的无偏估计量 由此可知,一个未知参数可能有不止一个无偏估计量其实,由O1和O2还可以 构造出无穷多个无偏估计量,例如,设a1和a2为满足a1+a2=1的任意常数,则 aB1+a2O2+都是无偏估计量 例64设总体X服从区间00]上的均匀分布(X1,X2,…Xn)是总体X的一个样 本由例6.13知矩估计1=2X和修正的最大似然估计2=-,X(m)均为b的无 n+1 偏估计,6和O2哪个更有效? 解D6)=D(2X)=4D(X)=AD(X)402 D(62)=D(X() (n+1) D(X (n E(X(n)-(E(X(m)2 由例613知 (X(n) 于是,得 D(2)= 6 2(m+1) n(n+2)
θ θ θ θ ≠ + = = ∫0 n 1 n x dx n n n 所以θ ˆ L 是θ 的有偏估计量,但是 θ θ = θ + = →∞ →∞ 1 lim ( ˆ ) lim n n E n L n 即θ ˆ L 是θ 的渐进无偏估计. 虽然θ ˆ L 是θ 的有偏估计量,但只要修正为 2 ( ) 1 ˆ 1 ˆ L X n n n n n + = + θ = θ 那么θ ˆ 2 也是θ 的无偏估计量. 由此可知,一个未知参数可能有不止一个无偏估计量.其实,由 和 还可以 构造出无穷多个无偏估计量, 例如, 设 1 ˆθ 2 ˆθ α1和α 2为满足 1 α1 +α 2 = 的任意常数,则 +都是无偏估计量. 1 1 2 2 ˆ ˆ α θ +α θ 例 6.14 设总体 X 服从区间[0,θ ]上的均匀分布(X1 , X 2 ,"X n ) 是总体 X 的一个样 本.由例 6.13 知,矩估计θ ˆ 1 = 2X 和修正的最大似然估计 2 ( ) 1 ˆ X n n n + θ = 均为θ 的无 偏估计,θ ˆ 1和θ ˆ 2 哪个更有效？ 解 n n n D X D D X D X 12 3 ( ) 4 ) (2 ) 4 ( ) 4 ˆ ( 2 2 1 θ θ θ = = = = = = + = + = ( ) ( 1) ) 1 ) ( ˆ ( 2 ( ) 2 2 (n) D X n n n X n n D θ D [ ( ) ( ( )) ] ( 1) 2 ( ) 2 2 ( ) 2 E X n E X n n n − + 由例 6.13 知 θ 1 ( ) ( ) + = n n E X n 而 2 0 1 ( ) 2 ( ) 2 ( ) ( ) θ θ θ + = = = ∫ ∫ + +∞ −∞ n n x dx n E X xp x dx n n X n n 于是,得 2 2 2 2 2 2 2 2 ( 2) 1 ] 2 ( 1) [ ( 1) ) ˆ (θ θ θ θ + = + − + + = n n n n n n n n D 5