第六章 参数估计 总体是由总体分布来刻画的， 总体分布类型的判断一在实际问题中，我们根据问题本身的专业知识或以往的经 验或适当的统计方法，有时可以判断总体分布的类型， 总体分布的未知参数的估计一总体分布的参数往往是未知的，需要通过样本来估 计.通过样本来估计总体的参数，称为参数估计，它是统计推断的一种重要形式， 本章讨论： 1.参数估计的常用方法 2.估计的优良性准则 3.若干重要总体的参数估计问题. 6.1点估计 设总体分布的形式已知，但它的一个或多个参数未知，借助于从这个总体中抽取 的一些样本来估计这些未知参数或者其函数的值，这种问题称为参数估计问题。 例如假设设总体分布F(x)的形式已知，0为待估参数，X1,·,Xn为从此总体中 抽取的一个样本，而x1,·,xn为样本的观察值.为此，构造适当的统计量(X1,·,Xn)( 称其为0的估计量，Estimator),在有了样本的观察值后，带入到0(X1,·,Xn)得到0的 估计值(Estimate)(x1,·,xn) 常见的参数估计方法有： (1)矩估计法 (2)极大似然法 (3)贝叶斯方法 这里我们主要介绍前面两种方法。 6.1.1矩估计方法 矩是基于一种简单的“替换”思想建立起来的一种估计方法.其基本思想是用样本 矩估计总体矩.由大数律，如果未知参数和总体的某个（些）矩有关系，我们很自然的构 造未知参数的估计。 1
18Ÿ ÎÍO oN¥doN©Ÿ5èx. oN©Ÿa.‰3¢SØK•, ·Çä‚ØK ;í£½± ² ½·⁄Oê{, kû屉oN©Ÿa.. oN©ŸôÎÍOoN©ŸÎÍ ¥ô,IáœL 5 O. œL 5OoNÎÍ, °èÎÍO, ߥ⁄Ỏò´á/™. Ÿ?ÿ: 1. ÎÍO~^ê{. 2. O`˚5OK. 3. eZáoNÎÍOØK. 6.1 :O oN©Ÿ/™Æßßòá½ıáÎÍôß/œul˘áoN•ƒ ò 5O˘ ôÎͽˆŸºÍäߢ´ØK°èÎÍOØK" ~XboN©ŸFθ(x)/™ÆßθèñÎÍßX1, · · · , XnèldoN• ƒòá ß x1, · · · , xnè * ä. èdßE·⁄O˛ˆθ(X1, · · · , Xn)( °ŸèθO˛, Estimator)ß3k * äßë\ˆθ(X1, · · · , Xn)θ Oä(Estimate) ˆθ(x1, · · · , xn)" ~ÑÎÍOê{k: (1) ›O{ (2) 4åq,{ (3) ìdê{ ˘p·ÇÃá0 c°¸´ê{. 6.1.1 ›Oê{ ›¥ƒuò´{¸/OÜ0géÔ·Â5ò´Oê{. Ÿƒ gé¥^ ›OoN›. dåÍÆßXJôÎÍ⁄oN,á( )›k'Xß·ÇÈg, EôÎÍO" 1
2 第六章参数估计 同以前的记法： 样本k阶矩： u=∑xm=2x- 总体阶矩：a4=EXk Hk=E(X-EX)2 因此在阶矩存在的情况下，有 akak,mka以 从而我们可以使用ak,mk分别估计ak,k。设总体F包含k个未知参数01，·，0：F(x;01,·,0), 若方程组 a1=f1(01,…,0k) ag=f(01,·,0k) 可以反解得到 01=91(a1,·,ak) 0k=gk(a1,·,ak) 由大数律，我们可以得到参数01，·，0的一个估计： 01=g1(a1,·,ak) 0k=9k(a1,·,ak) 这里我们用的都是原点矩，当然也可以使用中心矩，或者两个都使用。在这 种情况下，只需要把相应的总体矩换成样本矩。我们称这种估计方法为矩估计法，得 到的估计量称为矩估计量。矩估计方法应用的原则是：能用低阶矩处理的就不用高阶 矩。 矩估计法的优点是简单易行，并不需要事先知道总体是什么分布.缺点是，当总体 类型已知时，没有充分利用分布提供的信息.一般场合下，矩估计量不具有唯一性 例6.1.设X1,·,Xn为从总体X心B(n,p)中抽取的样本，求参数p的矩估计量。 解：由于EX=np,因此p的一个矩估计量为 p=. 例6.2.设X1,·,Xn为从总体X~N(a,o2)中抽取的样本，求参数a,o2的矩估计量
2 18Ÿ ÎÍO ”±cP{µ k ›: ak = 1 n Xn i=1 Xk i mk = 1 n Xn i=1 (Xi − X¯) k oNk ›: αk = EXk µk = E(X − EX) 2 œd3k ›3ú¹eßk ak a.s → αk, mk a.s → µk l ·Ç屶^ak, mk©OOαk, µk"oNFù¹káôÎÍθ1, · · · , θkµF(x; θ1, · · · , θk)ß eêß| α1 = f1(θ1, · · · , θk) . . . αk = fk(θ1, · · · , θk) å±á) θ1 = g1(α1, · · · , αk) . . . θk = gk(α1, · · · , αk) dåÍÆß·Çå±ÎÍθ1, · · · , θkòáO: ˆθ1 = g1(a1, · · · , ak) . . . ˆθk = gk(a1, · · · , ak) ˘p·Ç^—¥:›αkß,è屶^•%›µkß½ˆ¸á—¶^"3˘ ´ú¹eßêIárÉAoN›Ü§ ›"·Ç°˘´Oê{è›O{ß O˛°è›O˛"›Oê{A^K¥µU^$ ›?n“ÿ^p ›" ›O{`:¥{¸¥1,øÿIáØkoN¥üo©Ÿ. ":¥ßoN a.Æûßvkø©|^©ŸJ¯&E. òÑ|‹e, ›O˛ÿ‰kçò5. ~6.1. X1, · · · , XnèloNX ∼ B(n, p)•ƒ ߶ÎÍp›O˛" ): duEX = npßœdpòá›O˛è pˆ = X. ¯ ~6.2. X1, · · · , XnèloNX ∼ N(a, σ2 )•ƒ ߶ÎÍa, σ2›O˛
6.1点估计 3 解：由于 EX =a,D(X)=o2 所以a,g2的一个矩估计量为 a=,2=m2= X-X)2 i=1 我们知道ES2=2,因此，σ2的另一个矩估计量为2=S2.口 6.1.2极大似然估计方法(MLE) 这种方法是基于如下的看法： 定义6.1.1.设样本X(不一定是简单样本)有概率函数f(x,0),这里参数0∈日，而当固 定x时把f(x,)看成为0的函数，称为似然函数。 当固定参数时，f(x,)可以看成是得到样本观察值x的可能性，这样，当把参数0 看成变动时，也就得到了”在不同的值下能观察到x的可能性大小”：由于我们已经观 察到了x,所以我们要寻求在哪一个0的值下，使得能观察到x的可能性最大。这个的 值我们称为极大似然估计值。即 定义6.1.2.设X1,·,Xn为从具有概率函数f的总体中抽取的样本，x=(c1,…,工n)为 样本的观察值。若0=(X1,·,Xn)为一个统计量，满足 f(,0)=sup f(x,0) 0e日 则称0为参数0的极大似然估计量(MLE。若待估参数为0的函数g(0),则g()的极大似 然估计量为g(0)。 求极大似然估计量相当于求似然函数的极大值。我们称 L(0)=f(x1,…,xn;0) 为似然函数。在简单样本的情况下， L(0) Πf(,0) i-1 而把似然函数的对数称为对数似然函数：（在一些情况下，处理对数似然函数更方便） 1(0)=logL(0) 当似然函数为非单调函数时，我们可以求其聚点： d(0) do =0(或者L(@ 二0
6.1 :O 3 ): du EX = a, D(X) = σ 2 §±a, σ2òá›O˛è aˆ = X, ¯ σˆ 2 = m2 = 1 n Xn i=1 (Xi − X¯) 2 ·ÇES2 = σ 2ßœdßσ 2,òá›O˛èσˆ 2 = S 2 . 6.1.2 4åq,Oê{(MLE) ˘´ê{¥ƒuXew{: ½¬ 6.1.1. X(ÿò½¥{¸ )kV«ºÍf(x, θ)ߢpÎÍθ ∈ Θß ½xûrf(x, θ)w§èθºÍß°èq,ºÍ" ½ÎÍθûßf(x, θ)å±w§¥ * äxåU5ߢßrÎÍθ w§Cƒûßè“ ”3ÿ”θäeU* xåU5唶du·ÇƲ* xߧ±·Ç᜶3=òáθäe߶U* xåU5Åå"˘áθ ä·Ç°è4åq,Oä"= ½¬ 6.1.2. X1, · · · , Xnèl‰kV«ºÍfoN•ƒ ßx = (x1, · · · , xn)è * ä"eˆθ = ˆθ(X1, · · · , Xn)èòá⁄O˛ß˜v f(x, ˆθ) = sup θ∈Θ f(x, θ) K°ˆθèÎÍθ4åq,O˛(MLE)"eñÎÍèθºÍg(θ)ßKg(θ) 4åq ,O˛èg( ˆθ)" ¶4åq,O˛Éu¶q,ºÍ4åä"·Ç° L(θ) = f(x1, · · · , xn; θ) èq,ºÍ"3{¸ ú¹e, L(θ) = Yn i=1 f(xi , θ) rq,ºÍÈÍ°èÈÍq,ºÍ:(3ò ú¹eß?nÈÍq,ºÍçêB) l(θ) = logL(θ) q,ºÍèö¸NºÍûß·Ç屶Ÿ‡:: dl(θ) dθ = 0 (½ˆ dL(θ) dθ = 0)
第六章参数估计 然后判断此聚点是否是最大值点。简单总结为 求极大似然估计(LE)的一般步骤是： (1)由总体分布导出样本的联合概率函数（或联合密度）： (2)把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作 自变量，得到似然函数L(0): (3)求似然函数L(0)的最大值点（常常转化为求lnL(0)最大值点），即得MLE: (④)在最大值点的表达式中，用样本值代入就得参数的极大似然估计值 例6.3.设X1,·,Xn为从总体X~N(a,o2)中抽取的样本，求参数a,o的极大似然估 计量。 解：易得对数似然函数为 a,=e-22a4-02-2 n log(o2) i=1 令 a(a,g2）=0 0a aag2）=0 8o2 得到 a=元=员∑2-1c o2=-2 =1 容易验证此聚点是唯一的最大值点，因此得到α，σ的极大似然估计量： a=X 2=(x-2 n 例6.4.设X1,·,Xn为从具有如下形式密度的总体中抽取的样本： f(x;a,b)={ exp{-云}，x>a 0 x≤a 求参数a,b的极大似然估计量. 解：易得似然函数为 a.=faia,=cl-若∑,-o 1
4 18Ÿ ÎÍO ,‰d‡:¥ƒ¥Ååä:"{¸o(è ¶4åq,O(MLE)òÑ⁄½¥µ (1) doN©Ÿ— È‹V«ºÍ(½È‹ó›); (2) r È‹V«ºÍ(½È‹ó›)•gC˛w§Æ~Í, rÎÍwä gC˛, q,ºÍL(θ); (3) ¶q,ºÍL(θ)Ååä:(~~=zè¶lnL(θ)Ååä:)ß=MLE; (4) 3Ååä:Là™•, ^ äì\“ÎÍ4åq,Oä. ~6.3. X1, · · · , XnèloNX ∼ N(a, σ2 )•ƒ ߶ÎÍa, σ24åq, O˛" ): ¥ÈÍq,ºÍè l(a, σ2 ) = c − 1 2σ 2 Xn i=1 (xi − a) 2 − n 2 log(σ 2 ) - ( ∂l(a,σ2 ) ∂a = 0 ∂l(a,σ2 ) ∂σ2 = 0 a = ¯x = 1 n Pn i=1 xi σ 2 = 1 n Pn i=1 (xi − a) 2 N¥yd‡:¥çòÅåä:ßœda, σ24åq,O˛: aˆ = X¯ σˆ 2 = 1 n Pn i=1 (Xi − X¯) 2 . ~6.4. X1, · · · , Xnèl‰kXe/™ó›oN•ƒ : f(x; a, b) = ( 1 b exp{−x−a b } , x > a 0 x ≤ a ¶ÎÍa, b4åq,O˛. ): ¥q,ºÍè L(a, b) = Yn i=1 f(x1; a, b) = 1 b n exp{−1 b Xn i=1 (xi − a)}Ix(1)>a
6.1点估计 5 在固定b时，显然似然函数为a的单调增函数，因此L(a)的聚点为à=x再令%D= 0,得到b=是∑(：-x口)，容易验证此解是最大值点。从而得到a,b的极大似然估计 TL i=1 量 a=X(1) =a∑(X-X 1=1 ▣ 例6.5.设X1,·,Xn为从如下分布中抽取的简单样本，求0的MLE. 2-0(1-0)2-+02-1-8)1,x=0,120e0, 1 f(x)= 解：由题设知f(x)为离散型，其分布律为 0 1 2 P [(1-0)2+2]20(1-0) 2[(1-0)2+21 若直接从此分布出发，则不能得到的MLE的显式表达。为此，我们重新参数化， 记n=20(1-0).则由题设知n>1/2。则 0 2 (1-) (1-) 再记n=#{X1,…,Xn中等于的个数}，i=0,1,2,则得到似然函数为 L()=(与1-》7（与1-》=(1-》严- 求解并注意n的下界即得到n的MLE为 再由0=1-五得到0的MLE为 6=1-V1-2场 2 ▣ 6.1.3 估计量的评选标准 我们看到对同一个参数，有多个不同的估计量，因此，评选不同估计量的优劣性 是需要考虑的。 1.无偏性
6.1 :O 5 3½bûßw,q,ºÍèa¸NOºÍßœdL(a)‡:èaˆ = x(1)"2-∂L(a,b) ∂b = 0ßb = 1 n Pn i=1 (xi − x(1))ßN¥yd)¥Ååä:"l a, b4åq,O ˛: aˆ = X(1) ˆb = 1 n Pn i=1 (Xi − X(1)). ~6.5. X1, · · · , XnèlXe©Ÿ•ƒ{¸ ߶θMLE. f(x) = 1 x!(2 − x)![θ x (1 − θ) 2−x + θ 2−x (1 − θ) x ], x = 0, 1, 2; θ ∈ (0, 1 2 ) ): dKf(x)èl—.ߟ©ŸÆè X 0 1 2 P 1 2 [(1 − θ) 2 + θ 2 ] 2θ(1 − θ) 1 2 [(1 − θ) 2 + θ 2 ] eÜld©Ÿ—ußKÿUθMLEw™Là" èdß·Ç#ÎÍzß Pη = 2θ(1 − θ). KdKη > 1/2"K X 0 1 2 P 1 2 (1 − η) η 1 2 (1 − η) 2Pni = #{X1, · · · , Xn• uiáÍ}, i = 0, 1, 2, Kq,ºÍè L(η) = (1 2 (1 − η))n0 η n1 ( 1 2 (1 − η))n2 = (1 2 (1 − η))n−n1 η n1 ¶)ø5øηe.=ηMLEè ηˆ = min{ n1 n , 1 2 } 2dθ = 1− √ 1−2η 2 θMLEè ˆθ = 1 − √ 1 − 2ˆη 2 6.1.3 O˛µ¿IO ·ÇwÈ”òáÎÍßkıáÿ”O˛ßœdßµ¿ÿ”O˛`5 ¥Iáƒ" 1. Æ5