目录第六章参数估计186.1点估计1186.1.1矩估计方法$6.1.2极大似然估计方法3点估计的优良准则7$6.1.3i
8 ¹ 18Ù ëêO 1 §6.1 :O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §6.1.1 ÝO{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §6.1.2 4q,O{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §6.1.3 :O`ûOK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 i
第六章参数估计教学目的：1）让学生理解矩估计和极大似然估计方法2）理解置信区间定义3）掌握常见的总体分布下参数的点估计和置信区间的计算设有一个总体，以f(c;01，，0)记其概率密度函数(若总体分布是连续性的)，或其概率函数(若总体分布为离散型的).为叙述方便我们统一称f(ar;01,…·，Ok)为总体的概率函数.参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数．一般假定总体分布形式已知，未知的仅仅是一个或几个参数．利用从总体f（c;1，·，0k)中抽取的一组样本X1,，Xn去对参数1，，的未知值作出估计或估计它们的某个已知函数g(01，.·，0k).86.1点估计设总体X的分布函数形式已知，但它的一个或多个参数为未知，例如参数未知，根据样本X1,***，Xn来估计参数，就是要构造适当的统计量=(X1，**，Xn）.当有了样本X1，.，X的值后，就代入=é(X1,，Xn）中算出一个值，用来作为的估计值.为这样特定目的而构造的统计量叫做的估计量：由于参数0是数轴上的一个点，用估计0.等于用一个点去估计另一个点，所以这样的估计叫做点估计求点估计的方法有多种，下面介绍两种点估计方法86.1.1矩估计方法矩方法追溯到19世纪的KarlPearson.矩方法是基于一种简单的“替换”思想建立起来的一种估计方法其基本思想是用样本矩估计总体矩.由大数律，如果未知参数和总体的某个（些矩有关系，我们很自然的来构造未知参数的估计。回忆一下以前关于矩的记法：12x1(X- X)样本阶矩：ak=mk=n=n=11
18Ù ëêO Æ8: 1) 4Æ)n)ÝOÚ4q,O{. 2) n)&«m½Â. 3) ݺ~oN©Ùeëê:OÚ&«mO. koN, ±f(x; θ1, · · · , θk)PÙVÇݼê(eoN©Ù´ëY5), ½Ù VǼê(eoN©ÙlÑ.). QãB·Ú¡f(x; θ1, · · · , θk)oNV Ǽê. ëêO¯K´|^loNÄ&E5OoN, ëê½öëê , ¼ê. b½oN©Ù/ª®§==´½Aëê. |^lo Nf(x; θ1, · · · , θk)¥Ä| X1, · · · , Xnéëêθ1, · · · , θkÑO½ O§,®¼êg(θ1, · · · , θk). §6.1 :O oNX©Ù¼ê/ª®, §½õëê, ~Xëêθ, â X1, · · · , Xn5Oëêθ, Ò´E·ÚOþˆθ = ˆθ(X1, · · · , Xn). k X1, · · · , Xn,Ò\ˆθ = ˆθ(X1, · · · , Xn)¥Ñ,^5θO. ù A½8 EÚOþˆθθOþ. duëêθ´ê¶þ:, ^ˆθOθ, u^:O,:, ¤±ùO:O. ¦:O{kõ«, e¡0 ü«:O{: §6.1.1 ÝO{ Ý{J19VKarl Pearson. Ý{´Äu«{ü“O”gïáå 5«O{. ÙÄ g´^ ÝOoNÝ. dêƧXJëêÚo N,( )Ýk'X§·ég,5EëêO" £Áe±c'uÝP{µ k Ý: ak = 1 n Xn i=1 Xk i mk = 1 n Xn i=1 (Xi − X¯) k 1
总体阶矩：K=EXkμ=E(X-EX)?因此在阶矩存在的情况下，根据大数律有，从而我们可以使用akm分别估计αk，k。介绍如下：假设总体X包含k个未知参数01，*，k由方程组(α1=fi(01,**,0k):( ak= fk(01,..,Ok)反解得到( 01 = g1(a1,...,ak):(Ok=gk(a1,**,Qk)将其中的总体矩用相应的样本矩代替，则我们可以得到参数1，·，的一个估计0i = gi(ai,...,ak)目( Ow= gk(a1, ,ak)若要估计参数01，**0的某函数g(01，，0），则用g(01，0）去估计它这里我们用的都是原点矩，当然也可以使用中心矩，或者两个都使用。在这种情况下，只需要把相应的总体矩换成样本矩。我们称这种估计方法为矩估计法，得到的估计量称为矩估计量。矩估计方法应用的原则是：能用低阶矩处理的就不用高阶矩。矩估计法的优点是简单易行，并不需要事先知道总体是什么分布.缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下，矩估计量不具有唯一性例6.1.1.投掷一枚硬币，为了解正面出现的概率，现独立重复的投掷n次，用X1，.·，Xn表示投掷结果.显然此时总体X的分布为B(1.p)，p为感兴趣的量.而X1....,X，为样本，则求参数p的矩估计量。解：由于EX=p，而样本均值X收敛到总体均值EX，因此p的一个矩估计量为p=X.例6.1.2.为考察某种考试成绩分布情况，使用正态分布N(a,α2)来作为总体X的分布.现在从中随机调查n个人，即样本为X1,，Xn：试求参数a,α2的矩估计量。2
oNk Ý: αk = EXk µk = E(X − EX) 2 Ïd3k Ý3¹e§âêÆk ak p −→ αk, mk p −→ µk l ·±¦^ak, mk©OOαk, µk"0 Xe: boNX¹këêθ1, · · · , θk, d§| α1 = f1(θ1, · · · , θk) . . . αk = fk(θ1, · · · , θk) ) θ1 = g1(α1, · · · , αk) . . . θk = gk(α1, · · · , αk) òÙ¥oNÝ^A ÝO§K·±ëêθ1, · · · , θkO: ˆθ1 = g1(a1, · · · , ak) . . . ˆθk = gk(a1, · · · , ak) eOëêθ1, · · · , θk,¼êg(θ1, · · · , θk), K^g( ˆθ1, · · · , ˆθk)O§. ùp·^Ñ´:Ýαk§,±¦^¥%ݵk§½öüѦ^"3ù« ¹e§IrAoNݤ Ý"·¡ù«O{ÝO{§ Oþ¡ÝOþ"ÝO{A^K´µU^$ Ý?nÒØ^p Ý" ÝO{`:´{ü´1,¿ØI¯koN´o©Ù. ":´§oNa .®§vk¿©|^©ÙJø&E. |Üe, ÝOþØäk5. ~ 6.1.1. ÝqM1, )¡ÑyVÇ, yÕáEÝng, ^X1, · · · , XnL «Ý(J. w,doNX©ÙB(1, p), pa,þ. X1, · · · , Xn , K ¦ëêpÝOþ" ): duEX = p§ þX¯ÂñoNþEX, ÏdpÝOþpˆ = X. ¯ ~ 6.1.2. ,«Á¤1©Ù¹, ¦^©ÙN(a, σ2 )5oNX©Ù. y 3l¥ÅNn<, = X1, · · · , Xn. Á¦ëêa, σ2ÝOþ" 2
解：由于EX =a, Var(X)=o2所以a,α2的一个矩估计量为1Z(Xi-X)a=X, 2=m2 =na我们知道ES?=2，因此，的另一个矩估计量为?=S286.1.2极大似然估计方法极大似然方法到目前为止应用最广的的点估计方法这种方法是基于如下的看法定义6.1.1.设总体X有概率函数f(a;0)=f(r;01，.,0k)，这里参数0=(01,..，k)E日，而当固定时把f(c;の)看成为0的函数，称为似然函数，常记为L(r;0)或L(0)当固定参数e时，f(r;の)可以看成是得到样本观察值r的可能性，这样，当把参数看成变动时，也就得到“在不同的e值下能观察到r的可能性大小，即L(r;の)"；由于我们已经观察到了，所以我们要寻求在哪一个的值下，使得能观察到r的可能性L(;の)最大。这个0的值即称为极大似然估计值（看上去最有可能的）。我们先看一个例子：例6.1.3.从鱼池里随机捕捞500条鱼，做好记号后重新放入鱼池中，待充分混合后再捕捞1000条鱼，结果发现其中有72条带有记号试问鱼池中可能有多少条鱼解：先将问题一般化.设池中有N条鱼，其中r条做好记号.随机捕捞s条，发现条有记号：用上述信息来估计N用X表示捕捞的s条鱼中带记号鱼的数目，则CN-,CTP(X = r) =CN目前发现在捕捞的s条鱼中有记号的鱼r条，要寻求N取何值时，使得观察到这个事件(X=r)的可能性最大.即是固定的，N是变化的，记p(a;N)=P(X=r).因为N2-N(s+r)+rsp(r; N)(N-s)(N-r)g(N) :=p(r;N-1)-N(N-r-s+a)N2-N(r+s)+Nr3
): du EX = a, V ar(X) = σ 2 ¤±a, σ2ÝOþ aˆ = X, ¯ σˆ 2 = m2 = 1 n Xn i=1 (Xi − X¯) 2 ·ES2 = σ 2§Ïd§σ 2,ÝOþσˆ 2 = S 2 . §6.1.2 4q,O{ 4q,{8cA^2:O{. ù«{´ÄuXew{: ½Â 6.1.1. oNX kVǼêf(x; θ) = f(x; θ1, · · · , θk)§ùpëêθ = (θ1, · · · , θk) ∈ Θ§ ½xrf(x; θ)w¤θ¼ê§¡q,¼ê, ~PL(x; θ)½L(θ). ½ëêθ§f(x; θ)±w¤´ * xU5§ù§rëêθ w ¤Cħғ3ØÓθeU* xU5, =L(x; θ)”¶du·® ²* x§¤±·Ï¦3=θe§¦U* xU5L(x; θ)" ùθ=¡θ 4q,O(wþkU)"·kw~f: ~ 6.1.3. l~³pÅÓM500^~, ÐPÒ#\~³¥, ¿©·Ü2Ó M1000^~, (JuyÙ¥k72^kPÒ. Á¯~³¥Ukõ^~. ): kò¯Kz. ³¥kN^~, Ù¥r^ÐPÒ. ÅÓMs^, uyx^kP Ò. ^þã&E5ON. ^XL«ÓMs^~¥PÒ~ê8, K P(X = x) = C s−x N−rC x r Cs N . 8cuy3ÓMs^~¥kPÒ~x^, ϦNÛ, ¦* ù¯{X = x}U5. =x´½, N´Cz, Pp(x; N) = P(X = x). Ï g(N) := p(x; N) p(x; N − 1) = (N − s)(N − r) N(N − r − s + x) = N2 − N(s + r) + rs N2 − N(r + s) + Nx , 3
当rs>Nr时,g(N)>1;rs<Nr时，g(N)<1.所以P(X=)在N=芸附近达到最大，注意到N只能取正整数，故N的最可能的估计即极大似然估计为N-[]其中「1表示下取整，即小于该值的最大整数.将题目中的数字代入，[500×1000N== 6944.72即鱼池中的总的鱼数为6694条现给出极大似然估计的一般性定义定义6.1.2.设X=(X1.·，Xn)为从具有概率函数f的总体中抽取的样本，0为未知参数或者参数向量：a=(1,.…,an)为样本的观察值。若在给定r时，值=(r)满足下式L(0) = max L(r; 0)aCC则称为参数的极大似然估计值，而(X)称为参数0的极大似然估计量。若待估参数为0的函数g(0)，则g(0)的极大似然估计量为g(0)。求极大似然估计值相当于求似然函数的最大值。在简单样本的情况下，nL(r; 0) = IIf(: 0)i=1而把似然函数的对数1()=logL(①)称为对数似然函数(这是由于在一些情况下，处理对数似然函数更方便当似然函数对变量?单调时，我们可以容易得到其最大值点.反之当似然函数为非单调函数且对变量6可微分时，我们可以求其驻点：令dl(0)dL(0)（或者=0= 0)dodo当为多维时，比如=（01,，%）时令a1(0)=0 (或者L()-0)i=1,...,k00:00然后判断此驻点是否是最大值点。4
rs > Nx, g(N) > 1; rs < Nx, g(N) < 1. ¤±P(X = x)3N = rs x NC, 5 ¿N Uê, NUO=4q,O Nˆ = l rs x m . Ù¥d eL«e, =uTê. òK8¥êi\, Nˆ = 500 × 1000 72 = 6944. =~³¥o~ê6694^. yÑ4q,O5½Â: ½Â 6.1.2. X = (X1, · · · , Xn)läkVǼêfoN¥Ä §θëê ½öëêþ. x = (x1, · · · , xn) * "e3½x, ˆθ = ˆθ(x)÷veª L( ˆθ) = max θ∈Θ L(x; θ) K¡ˆθëêθ4q,O, ˆθ(X)¡ëêθ4q,Oþ"eëêθ ¼êg(θ)§Kg(θ)4q,Oþg( ˆθ)" ¦4q,Ou¦q,¼ê"3{ü ¹e, L(x; θ) = Yn i=1 f(xi ; θ) rq,¼êéêl(θ) = log L(θ)¡éêq,¼ê(ù´du3 ¹e§?né êq,¼êB) q,¼êéCþθüN, ·±N´Ù:. q,¼ê üN¼ê éCþ詧·±¦Ù7:: - dl(θ) dθ = 0 (½ö dL(θ) dθ = 0) θõ, 'Xθ = (θ1, · · · , θk)- ∂l(θ) ∂θi = 0 (½ö ∂L(θ) ∂θi = 0) i = 1, · · · , k ,äd7:´Ä´:" 4