《概率论与数理统计 Probability Theory and Mathematical Statistics》课程教学资源（电子教案）第六章 参数估计

X=X 1(x,-X)2 看来,对于正态分布总体来说,μ,σ2的矩估计与MLE是相同的。矩估计与MLE相 同的情形还有很多,如例6.4的问题中,容易验证,事件A发生的频率也是其概率P(A)的M LE.我们有更进一步的例子。 Example6.9设有k个事件A1,A2,…,Ak两两互斥,其概率P1,P2…P4之和为1.做n 次重复独立试验,则各事件发生的频率为各相应概率的MLE.事实上,设样本X1,X2…,X 记录了每次试验中所发生的事件,以n1表示n次试验中事件A(=1,2,…,k)发生的次数, 此样本出现的概率(似然函数)为 L(P) P P 于是 hL(p)=∑nhP+nl(1-∑p) 得似然方程 ahL(P)="-n="-n=0 P pi pk P 即 h,Pk=PPk,j=1,2,…k-1 将上述k-1个等式相加,注意到∑n=n∑P1=1及 (n-nkp=n(1-Pr 得到 pk 右边即为事件A4发生的频率,显然事件A4与其它事件A,地位是相同的,故类似可得到 需注意到,并非每个MLE问题都可通过解似然方程得到,如 Example6.10同例6.3,求均匀分布U[1,O2]中参数B1,O2的ME 先写出似然函数 L(a,2)={02 若61≤x≤Xm≤B2 (6.3) 其他 本例似然函数不连续,不能用似然方程求解的方法,只有回到极大似然估计的原始定义 由式(6.3),注意到最大值只能发生在

71   = =  = − = = = n i i n i i X X S n X X n 1 2 2 2 1 ) ˆ ( 1 ˆ 1   看来，对于正态分布总体来说，  ， 2  的矩估计与ＭＬＥ是相同的。矩估计与ＭＬＥ相 同的情形还有很多，如例 6.4 的问题中，容易验证，事件Ａ发生的频率也是其概率 P(A) 的Ｍ ＬＥ．我们有更进一步的例子。 Example 6.9 设有 k 个事件 A A Ak , , , 1 2  两两互斥，其概率 p p pk , , , 1 2  之和为1.做 n 次重复独立试验，则各事件发生的频率为各相应概率的ＭＬＥ．事实上，设样本 X X Xn , , , 1 2  记录了每次试验中所发生的事件，以 i n 表示 n 次试验中事件 A (i 1,2, ,k) i =  发生的次数，则 此样本出现的概率（似然函数）为 k i n k i i k i n L p pi p       −         =   − = − = 1 1 1 1 ( ) 1 于是 ln ( ) ln ln(1 ) 1 1 1 1   − = − = = + − k i k i k i L p ni pi n p 得似然方程 0 1 ln ( ) 1 1 = − = − = −    − = k k j j k i i k j j j p n p n p n p n p L p 即 n j pk = p jnk , j = 1,2,  , k −1 将上述 k −1 个等式相加，注意到 , 1 1 1  =  = = = k i i k i ni n p 及 ( ) (1 ) n − nk pk = nk − pk 得到 n n p k ˆ k = 右边即为事件 Ak 发生的频率，显然事件 Ak 与其它事件 Aj 地位是相同的，故类似可得到 ˆ = , j = 1,2, , k −1 n n p j j  需注意到，并非每个 MLE 问题都可通过解似然方程得到，如 Example 6.10 同例 6.3，求均匀分布 [ , ] U 1  2 中参数 1 2  , 的 MLE ． 先写出似然函数               − = 其他 若 0, , 1 ( , ) 1 (1) ( ) 2 2 1 1 2       n n X X L （6.3） 本例似然函数不连续，不能用似然方程求解的方法，只有回到极大似然估计的原始定义， 由式（6.3），注意到最大值只能发生在

6≤Xa≤X(m)≤62 (6.4) 时:而欲L(XO1,O2)最大,只有使O2-1最小,即使62尽可能小,日1尽可能大,但在式(6.4) 的约束下,只能取61=X,2=X(m 和矩估计的情形一样,有时虽能给出似然方程,也可以证明它有解,但得不到解的解析 表达式 Example6.11同例6.6,求柯西分布中b的ME.我们可得似然方程为 aIn l(e) 2(X1-6) 0 1+(X1-6) 这个方程只能求数值解。 §6.2估计量的评价准则( Evaluation rule of estimator) 对于同一参数,用不同方法来估计,结果是不一样的。如例6.3与例6.10就表明了对于 均匀分布U[O1,O2],参数的,O2的矩估计与极大似然估计是不一样的,甚至用同一方法也可 能得到不同的统计量。 Example6.12设总体X服从参数为A的泊松分布,即 PIX=k ,k=0,1,2, 则易知E(X)=,D(X)=λ,分别用样本均值和样本方差取代E(X)和D(X),于是得到 λ的两个矩估计量A1=x,2=S2 既然估计的结果往往不是唯一的,那么究竟孰优孰劣?这里首先就有一个标准的问题。 无偏性( Unbiased) Definition6.1设b=6(1X2,…,Xn)是O的一个估计量,若对任意的b∈,都有 E0()=,则称是的无偏估计量( Unbiased estimator),如果 im(E6(X12X2,…,Xn)-6)mbn()=0 则称θ是的渐近无偏估计量( Approximation unbiased estimator),其中bn()称为是6 的偏差(afet)。( Suppose 8=(X1,X2…,Xn) is 6 estimator, if for any 8∈白 there is Eo(0)=6, then 8 is called a unbiased estimator of 6; i m(EB(X1,X2,…,Xn)-6)△mnbn()=0 8 is called asymptotically unbiased estimator of 0, where b,(0) is called affect of 0.) 无偏性反映了估计量的取值在真值θ周围摆动,显然,我们希望一个量具有无偏性 Example6.13X是总体期望值E(X)=p的无偏估计,因为 E(X) x|=∑E(x)=mH=H Example6.14S2不是总体方差D(X)=a2的无偏估计,因为注意到 DX)=D∑X) ∑ D(X,)

72  1  X（1） X(n)   2 （6.4） 时；而欲 ( ; , ) L X 1  2 最大，只有使  2 −1 最小，即使 2 ˆ  尽可能小， 1 ˆ  尽可能大，但在式（6.4） 的约束下，只能取 1 ˆ  = X(1) ， 2 ˆ  = X (n) ． 和矩估计的情形一样，有时虽能给出似然方程，也可以证明它有解，但得不到解的解析 表达式。 Example 6.11 同例 6.6，求柯西分布中  的 MLE ．我们可得似然方程为 0 1 ( ) ln ( ) 2( ) 1 2 = + − − = −   = n i i i X L X     这个方程只能求数值解。 §6.2 估计量的评价准则(Evaluation Rule of Estimator) 对于同一参数，用不同方法来估计，结果是不一样的。如例 6.3 与例 6.10 就表明了对于 均匀分布Ｕ[ 1 2  , ]，参数 1 2  , 的矩估计与极大似然估计是不一样的，甚至用同一方法也可 能得到不同的统计量。 Example 6.12 设总体 X 服从参数为  的泊松分布，即 , 0,1,2, ! { = } = = − k k P X k e k   则易知 E(X ) =  ，D(X ) =  ，分别用样本均值和样本方差取代 E(X ) 和 D(X ) ，于是得到  的两个矩估计量 2 1 2 ˆ , ˆ  = X  = S ． 既然估计的结果往往不是唯一的，那么究竟孰优孰劣？这里首先就有一个标准的问题。 一、无偏性(Unbiased) Definition 6.1 设  ˆ = ( , , , ) ˆ  X1 X2  Xn 是  的一个估计量，若对任意的   ，都有  ) = ˆ E ( ，则称  ˆ 是  的无偏估计量(Unbiased estimator)，如果 lim ( ( 1 , 2 , , ) − )lim ( ) = 0 →  →    n  n n n E X X  X b 则称  ˆ 是  的渐近无偏估计量(Approximation unbiased estimator)，其中 ( ) bn 称为是  ˆ 的偏差(affect)。(Suppose  ˆ = ( , , , ) ˆ  X1 X2  Xn is  a estimator, if for any   there is  ) = ˆ E ( , then  ˆ is called a unbiased estimator of  ; if lim ( ( 1 , 2 , , ) − )lim ( ) = 0 →  →    n  n n n E X X  X b  ˆ is called asymptotically unbiased estimator of  ，where ( ) bn is called affect of  ˆ .) 无偏性反映了估计量的取值在真值  周围摆动，显然，我们希望一个量具有无偏性。 Example 6.13 X 是总体期望值 E(X ) =  的无偏估计，因为  = =  =       =   = = n n E X n X n E X E n i i n i i 1 ( ) 1 1 ( ) 1 1 Example 6.14 2 S 不是总体方差 2 D(X) =  的 无 偏 估 计 ， 因 为 注 意 到 n n n D X n X n D X D n i i n i i 2 2 2 1 2 1 1 ( ) 1 ) 1 ( ) (  =  =  =  = = = ．故