Lec5:点估计（二） 张伟平 September 29,2009 §1极大似然估计 一、引言及定义 极大似然法是在参数分布族场合下常用的参数估计方法.设有一参数分布族多={F。,0∈ 日)，此处日为参数空间.令X=(X1,…,X)为从多中抽取的简单随机样本，f(x,)=f(工，…，xn,)为 样本X的概率函数.即当总体分布为连续型时，f(x,)表示样本X的密度函数；当总体分布为 离散形时，f(x,)为样本X的概率分布，即f(x,)=P(X1=x,·,Xn=xn).首先引入似然 函数的概念 定义1.设f(x,)=f(z,…,x,)为样本X=(X1,…,Xn)的概率函数.当x固定时，把f(x,)看 成9的函数，称为似然函数（亿Likelihood function,记为 L(0,x)=fx,0),0∈Θ，x∈2 (1.1) 此处日为参数空间，②为样本空间.称1ogL(0,x)为对数似然函数，记为l(0,x) 注1.似然函数和概率函数是同一表达式1.1)，但表示两种不同含意.当把0固定，将其看成 定义在样本空间②上的函数时，称为概率函数；当把x固定，将其看成定义在参数空间日上的 函数时，称为似然函数.这是两个不同的概念 为解释极大似然原理，考虑下列一个简单的实例， 例1.设罐子里有许多黑球和红球.假定已知它们的比例是1：3，但不知道是黑球多还是红球 多.也就是说抽出一个黑球的概率或者是1/4或者是3/4.如果有放回地从罐子中抽个球，要 根据抽样数据，说明抽到黑球的概率是1/4，还是3/4. 解将此问题用统计模型来表述.令X:表示第次抽球的结果，即 了1抽出为黑球 X:={0香则. 记每次抽样中抽到黑球的概率为0，此处9只取可能的两个值01=1/4,02=3/4之一.记X= X,则X~bn,9).亦即样本分布族多-{m,F,其中F,为(m,1),F为b(n,2)要根据 1 抽样结果对9作出估计，即9取值为1/4还是3/4？或曰样本来自总体Fa,还是F42?
Lec5: :O() ‹ï² September 29, 2009 §1 4åq,O ò!⁄Û9½¬ 4åq,{¥3ÎÍ©Ÿx|‹e~^ÎÍOê{. kòÎÍ©ŸxF = {Fθ, θ ∈ Θ},d?ΘèÎÍòm. -X = (X1, · · · , Xn)èlF•ƒ{¸ëÅ , f(x, θ) = f(x1 , . . . , xn , θ)è XV«ºÍ. =oN©ŸèÎY.û,f(x, θ)L´ Xó›ºÍ; oN©Ÿè l—/û,f(x, θ)è XV«©Ÿ, =f(x, θ) = Pθ(X1 = x1 , · · · , Xn = xn ). ƒk⁄\q, ºÍVg. ½¬ 1. f(x, θ) = f(x1 , · · · , xn , θ)è X = (X1, · · · , Xn)V«ºÍ. x½û, rf(x, θ)w §θºÍ, °èq,ºÍ(Likelihood function),Pè L(θ, x) = f(x, θ), θ ∈ Θ, x ∈ X (1.1) d?ΘèÎÍòm, X è òm. °log L(θ, x)èÈÍq,ºÍ, Pèl(θ, x). 51. q,ºÍ⁄V«ºÍ¥”òLà™(1.1), L´¸´ÿ”¹ø. rθ½, ÚŸw§ ½¬3 òmX ˛ºÍû, °èV«ºÍ; rx½, ÚŸw§½¬3ÎÍòmΘ˛ ºÍû, °èq,ºÍ. ˘¥¸áÿ”Vg. è)º4åq,n, ƒeòá{¸¢~. ~1. -fpkNıÁ•⁄˘•. b½ÆßÇ'~¥1 : 3,ÿ¥Á•ıÑ¥˘• ı. è“¥`ƒ—òáÁ•V«½ˆ¥1/4½ˆ¥3/4. XJkò£/l-f•ƒná•, á 䂃͂, `²ƒÁ•V«¥1/4, Ñ¥3/4. ) ÚdØK^⁄O .5L„. -XiL´1igƒ•(J,= Xi = 1 ƒ—èÁ• 0 ƒK. Pzgƒ•ƒÁ•V«èθ,d?θ êåU¸áäθ1 = 1/4, θ2 = 3/4Éò. PX = Pn i=1 Xi ,KX ∼ b(n, θ).½= ©ŸxF = {Fθ1 , Fθ2 }, Ÿ•Fθ1èb(n, θ1), Fθ2èb(n, θ2).áä‚ ƒ(JÈθä—O, =θäè1/4Ñ¥3/4? ½ 5goNFθ1Ñ¥Fθ2 ? 1
显然，当样本X给定时，似然函数为 L(0,x)= 0(1-)n-,x=0,1,2,…,n. 为简单计，取n=3.当x=0,1,2,3时似然函数取值如下表： 0 1 2 3 L(01,x) 27/64 27/64 9/64 1/64 L(02,x)1/64 9/6427/6427/64 可见 当x=0,1时，L(01,x)>L(02,x), 当x=2,3时，L(02,x)>L(01,x) 因此我们得出结论：当样本观察值x=∑-1x取值为0,1时认为样本来自总体F,即取 参数0的估计值为91=1/4；当x=2,3时认为样本来自总体Fa2,即取0的估计值为02=3/4. 将此例模型化如下：若样本X=(X1,·,Xn)为从总体多={F6,0∈日}中抽取的简单 随机样本，其中日={01,02}.此即等价地说分布族多中只有两个总体Fa,F2.一旦获得了样 本x,如何用极大似然方法求出真参数的估计值呢？上例表明若 L(01,x)>L(02,x), 则我们倾向于认为样本X来自总体F4,(即真参数0为9)的理由比认为样本X来自总体F2(即 真参数0为2)的理由更充分些.或者说，真参数0为1的“似然性”更大些.这样，我们自然把 “似然性”最大（即看起来最像）的那个值作为真参数的估计值.这正是“极大似然”一词的 由来 更一般，若样本X的分布族多={Fa,0∈日}，参数空间日为R1的有限子集或无限子集.当 样本x给定时，若*使似然函数L(,x)为似然函数的集合{L(0,x),一切0∈Θ}中最大者，即 参数的真值为*的“似然性”比取日中其它值的“似然性”更大，则取“似然性”最大的 作为的估计值，这一方法得到参数的估计，称为“极大似然估计”.将这一直观想法用数学 语言来描述，得到如下定义： 定义2.设X=(X1,…,Xn)是从参数分布族多={Fa,0∈Θ}中抽取的简单随机样本， L(0,x)是似然函数，若存在统计量*(X)=产(X1,·,Xn),满足条件 L(日*(x),x)=supL(0,x),x∈2， (1.2) 0∈日 或等价地使得 1(0*(x),x)=supl(0,x),x∈2， (1.3) 0e日 则称0*(X)为8的极大似然估计(Ma:imum Likelihood Estimation,简记为MLE).若待估函数 是g(0),则定义g(*(x)为g(0)的MLE. 极大似然估计是R.A.Fisher在1912年的一项工作中提出来的.在正态分布这个特殊情况 下，这方法可追溯到Gauss在19世纪初关于最小二乘法的工作.Fisher后来在1922年工作中，尤 其l925年发表的《Theory of Statistical Estimation》一文中对这一估计作了许多研究.因此这 个方法应归功于R.A.Fisher.. 3
w,, Xâ½û, q,ºÍè L(θ, x) = n x θ x (1 − θ) n−x , x = 0, 1, 2, · · · , n. è{¸O, n = 3.x = 0, 1, 2, 3ûq,ºÍäXeL: x 0 1 2 3 L(θ1, x) 27/64 27/64 9/64 1/64 L(θ2, x) 1/64 9/64 27/64 27/64 åÑ x = 0, 1û, L(θ1, x) > L(θ2, x), x = 2, 3û, L(θ2, x) > L(θ1, x). œd·Ç—(ÿ: * äx = P3 i=1 xiäè0, 1 û@è 5goNFθ1 ,= ÎÍθOäèˆθ1 = 1/4;x = 2, 3û@è 5goNFθ2 , =θOäèˆθ2 = 3/4. Úd~ .zXe: e X = (X1, · · · , Xn)èloNF = {Fθ, θ ∈ Θ}•ƒ{¸ ëÅ , Ÿ•Θ = {θ1, θ2}. d= d/`©ŸxF•êk¸áoNFθ1 , Fθ2 . òº x,X¤^4åq,ê{¶—˝ÎÍθOäQ? ˛~L²e L(θ1, x) > L(θ2, x), K·Çñïu@è X 5goNFθ1 (=˝ÎÍθèθ1)nd'@è X5goNFθ2 (= ˝ÎÍθèθ2)ndçø© . ½ˆ`, ˝ÎÍθèθ1/q,50çå . ˘, ·Çg,r /q,50Åå(=wÂ5Åî)@áääè˝ÎÍθOä. ˘¥/4åq,0òc d5. çòÑ, e X©ŸxF = {Fθ, θ ∈ Θ}, ÎÍòmΘèR1kÅf8½ÃÅf8. xâ½û, eˆθ ∗¶q,ºÍL( ˆθ ∗ , x) èq,ºÍ8‹{L(θ, x),òÉ θ ∈ Θ}•Ååˆ, = ÎÍθ˝äèˆθ ∗/q,50'θΘ •Ÿßä/q,50çå, K/q,50Ååˆθ ∗ äèθOä, ˘òê{ÎÍθO,°è/4åq,O0. Ú˘òÜ*é{^ÍÆ äÛ5£„, Xe½¬: ½¬ 2. X = (X1, · · · , Xn)¥lÎÍ©ŸxF = {Fθ, θ ∈ Θ}•ƒ{¸ëÅ , L(θ, x)¥q,ºÍ, e3⁄O˛ˆθ ∗ (X) = ˆθ ∗ (X1, · · · , Xn), ˜v^á L ˆθ ∗ (x), x = sup θ∈Θ L(θ, x), x ∈ X , (1.2) ½ d/¶ l ˆθ ∗ (x), x = sup θ∈Θ l(θ, x), x ∈ X , (1.3) K°ˆθ ∗ (X)èθ 4åq,O (Maximum Likelihood Estimation,{PèMLE). eñºÍ ¥g(θ),K½¬g ˆθ ∗ (x) èg(θ)MLE. 4åq,O¥R.A. Fisher31912còëÛä•J—5. 3©Ÿ˘áAœú¹ e, ˘ê{åJàGauss319V–'uŶ{Ûä. Fisher531922cÛä•, c Ÿ1925cuL5Theory of Statistical Estimation6ò©•È˘òOä NıÔƒ. œd˘ áê{A8ıuR.A. Fisher. 2
二、极大似然估计的求法及例 获得参数的极大似然估计有下列两种方法： 1.用微积分中求极值的方法 若似然函数L(,x)是的连续可微函数，则我们可用微积分中求极值点的方法去求的MLE. 找使L(0,x)达到最大时的值.由于L(0,x)和1ogL(0,x)=l(0,x)具有相同的极值点，我们可 用(0，x)来代替L(0,x).因为L(0,x)一般是若干个函数的乘积，(0，x)为若干个函数之和而较 易于处理 设0=(01，·，0.)为参数向量（特别当k=1,0为参数）.若(0，x)的极大值在参数空间日的 内点处（而非边界点）达到，则此点必为似然方程组 a(0,x=0i=1,2,…,k 08. 的解。 因此求极大似然估计首先求似然方程的解8.但此解是否一定是9的MLE呢？满足似然 方程，只是LE的必要条件，而非充分条件.一般只有满足下列条件：（①）似然函数的极大值 在参数空间日内部达到，()似然方程只有唯一解，则似然方程之解必为的LE. 因此我们求出似然方程（或方程组）的解后，要验证它为的MLE,有时并非易事.但对样 本分布族是指数族的场合，有非常满意的结果，叙述如下： 设X=(X1,·,X)为从某总体中抽取的简单随机样本，X1的分布为指数族，即 f(x,0)=C(0)exp ∑a,T(a)}h(,0∈日 此处日为自然参数空间，日0为日之内点集，这时X的联合密度为 L(0,x刈=Cm(o)exp{∑a:∑T(a)}h(x) 1=1 其中h(x)=Ⅱh(x).对上式取对数得 1(0,x)=logL(0,x)=nlogC(0)+∑8，∑T() 1 定理1.若对任何样本X=(X1,…,Xn),方程组 n0C@=-∑I(X),i=1,2,…,k C(0)08: 在日o内有解，则解必唯一，且为0的MLE. 证明思路由于自然参数空间为一凸集，若方程组有两个不同的解，和1，则构造函数 H(t)=1(t0o+(1-t)91),0≤t≤1. 3
!4åq,O¶{9~ ºÎÍθ4åq,Oke¸´ê{: 1. ^ứ•¶4äê{ eq,ºÍL(θ, x)¥θÎYåáºÍ, K·Çå^ứ•¶4ä:ê{¶θMLE. ȶL(θ, x)àÅåûθä. duL(θ, x)⁄log L(θ, x) = l(θ, x)‰kÉ”4ä:, ·Çå ^l(θ, x)5ìOL(θ, x). œèL(θ, x)òÑ¥eZáºÍ¶», l(θ, x) èeZáºÍÉ⁄ ¥u?n. θ = (θ1, · · · , θk)èÎÍï˛(AOk = 1, θèÎÍ). el(θ, x)4åä3ÎÍòmΘ S:?( ö>.:)à, Kd:7èq,êß| ∂l(θ, x) ∂θi = 0, i = 1, 2, · · · , k ). œd¶4åq,Oƒk¶q,êß)ˆθ.d)¥ƒò½¥θ MLE Q? ˆθ˜vq, êß, ê¥MLE7á^á, öø©^á. òÑêk˜ve^á: (i) q,ºÍ4åä 3ÎÍòmΘS‹à, (ii) q,êßêkçò), Kq,êßÉ)ˆθ7èθMLE. œd·Ç¶—q,êß(½êß|)), áyßèθMLE, kûøö¥Ø. È ©Ÿx¥çÍx|‹, kö~˜ø(J, Q„Xe: X = (X1, · · · , Xn)èl,oN•ƒ{¸ëÅ , X1©ŸèçÍx, = f(x, θ) = C(θ) exp nX k i=1 θiTi(x) o h(x), θ ∈ Θ d?Θèg,ÎÍòm, Θ0èΘÉS:8, ˘ûXÈ‹ó›è L(θ, x) = C n (θ) exp nX k i=1 θi Xn j=1 Ti(xj ) o h(x), Ÿ•h(x) = Qn i=1 h(xi).È˛™ÈÍ l(θ, x) = log L(θ, x) = n log C(θ) +X k i=1 θi Xn j=1 Ti(xj ) ½n 1. eÈ?¤ X = (X1, · · · , Xn),êß| n C(θ) ∂C(θ) ∂θi = − Xn j=1 Ti(Xj ), i = 1, 2, · · · , k 3Θ0Sk), K)7çò, ÖèθMLE. y²g¥ dug,ÎÍòmèò‡8, eêß|k¸áÿ”), θ0⁄θ1, KEºÍ H(t) = l(tθ0 + (1 − t)θ1), 0 ≤ t ≤ 1. 3
由于0和01都是方程8(0)/80=0的解，因此H'(0)=H'(1)=0,所以存在0<to<1,使 得H"(to)=0.记 6=to0o+(1-to)01 则 H"(to)=(0-91)'Q(to)(00-61)=0 其中Q(0)=2=-Var(伍(X),,k(X)<0,对任意的6内点8，上式与此特性矛盾. 因此00=01： 另一方面，若为一个解，而用01表示日中任意一点，则前面构造的函数H(t)满足H'(1)= 0,H"(t)<0.因此H'(t)>0,0≤t<1.所以H(1)>H(0),即(o)>1(01),o为的极大点. 因此若样本分布为指数族，只要似然方程解属于自然参数空间的内点集（这点很容易验 证)，则其解必为的MLE.常见的分布族，如二项分布族、Poisson分布族、正态分布族、Gamma 分布族等都是指数族，定理3.3.1的条件皆成立.因此似然方程的解，就是有关参数的MLE 2.从定义出发 若似然函数L(0,x)不是的可微函数，特别当似然函数L(0,x)不是的连续函数时，我们不 能采用上述方法，必须直接从定义3.3.2出发去求参数0的极大似然估计. 下面我们分别用上述两种方法考察一些例子 例2.设X=(X1,…,X)是从两点分布族{b(1,p):0<p<1}中抽取的简单样本，求p和gp)= p1-p)的MLE. 解似然函数为 p,刘=pa-列- 故有 刘=g刘=()sp+(a-∑X)g1-m 对数似然方程为 w-8-÷(-含=a 解得 x=x 2=1 由于两点分布族为指数族，故*=为p的MLE.它与例3.2.2中给得出的p的矩估计量相同. 按定义可知g(p)=p(1-p)的MLE为 g*(X)=*(1-*)=X(1-): 例3.设X=(X1,·,Xn)是从Poisson分布族{P()：入>0}中抽取的简单样本，求入和g(A)= e-入的MLE. 4
duθ0⁄θ1—¥êß∂l(θ)/∂θ = 0), œdH0 (0) = H0 (1) = 0, §±30 < t0 < 1, ¶ H00(t0) = 0. P ˜θ = t0θ0 + (1 − t0)θ1 K H00(t0) = (θ0 − θ1) 0Q(t0)(θ0 − θ1) = 0 Ÿ•Q(θ) = ∂ 2 logC(θ) ∂θ∂θT = −V ar(T1(X), · · · , Tk(X)) < 0, È?øΘS:θ, ˛™ÜdA5gÒ. œdθ0 = θ1. ,òê°, eθ0èòá), ^θ1L´Θ•?øò:, Kc°EºÍH(t)˜vH0 (1) = 0, H00(t) < 0. œdH0 (t) > 0, 0 ≤ t < 1. §±H(1) > H(0), =l(θ0) > l(θ1), θ0èl4å:. œde ©ŸèçÍx, êáq,êß)·ug,ÎÍòmS:8(˘:ÈN¥ y), KŸ)7èθMLE. ~Ñ©Ÿx, Xë©Ÿx!Poisson©Ÿx!©Ÿx!Gamma ©Ÿx —¥çÍx, ½n3.3.1^᧷. œdq,êß), “¥k'ÎÍMLE. 2. l½¬—u eq,ºÍL(θ, x)ÿ¥θåáºÍ,AOq,ºÍL(θ, x)ÿ¥θÎYºÍû, ·Çÿ UÊ^˛„ê{, 7LÜl½¬3.3.2—u¶ÎÍθ4åq,O. e°·Ç©O^˛„¸´ê{ ò ~f. ~2. X = (X1, · · · , Xn)¥l¸:©Ÿx{b(1, p) : 0 < p < 1}•ƒ{¸ , ¶p⁄g(p) = p(1 − p)MLE. ) q,ºÍè L(p, x) = p Pn i=1 xi (1 − p) n− Pn i=1 xi , k l(p, x) = log L(p, x) = Xn i=1 xi log p + n − Xn i=1 Xi log(1 − p) ÈÍq,êßè ∂l(p, x) ∂p = 1 p Xn i=1 xi − 1 1 − p n − Xn i=1 xi ! = 0, ) pˆ ∗ = 1 n Xn i=1 Xi = X. ¯ du¸:©ŸxèçÍx, pˆ ∗ = X¯èpMLE. ßÜ~3.2.2•â—p›O˛É”. U½¬åg(p) = p(1 − p)MLEè gˆ ∗ (X) = ˆp ∗ (1 − pˆ ∗ ) = X¯(1 − X¯). ~3. X = (X1, · · · , Xn)¥lPoisson©Ÿx{P(λ) : λ > 0}•ƒ{¸ , ¶λ⁄g(λ) = e −λMLE. 4
解似然函数，即样本X=(X1,·,Xn)的分布为 L(A,x)=P(X1=z1;...,Xn=In)= …m入>0. 故对数似然函数为 1(入，x)= (sA--s 由对数似然方程 (入，x=1∑x-n=0, i=1 解得 ==x. n-1 由于Poisson分布族是指数族，故入*=为λ的MLE,它与入的矩估计量相同. 又由定义可知g()=e~入的MLE为 g(X)=e-x」 例4.设X=(X1,…,Xn)是从正态分布族{N(a,o2):o2>0,-∞<4<o}中抽取的简单 样本，求a,σ2和g(0)=a/σ2的MLE,此处0=(a,o2). 解样本X=(X1,·,Xn)的分布为 e-()”脚{品君-r 对数似然函数为 0a对=sfk=-号g-登%o2-x-以 由对数似然方程组 i=1 a(0,x) n,1 0o2 262+ 解得 a*=灭， -1∑(x-x2-s 1 由于正态分布族为指数族，故à*=和？=S号分别是a和σ的MLE,它们也分别是a和σ2的 矩估计量.前者是α的无偏估计，后者不是的无偏估计.可见极大似然估计不一定具有无偏 性 又由定义可知g(0)=a/a2的ME为 g(X)=/S品 5
) q,ºÍ,= X = (X1, · · · , Xn)©Ÿè L(λ, x) = P(X1 = x1, · · · , Xn = xn) = λ Pn i=1 xi e −nλ x1! · · · xn! , λ > 0. ÈÍq,ºÍè l(λ, x) = Xn i=1 xi log λ − nλ − Xn i=1 log xi ! . dÈÍq,êß ∂l(λ, x) ∂λ = 1 λ Xn i=1 xi − n = 0, ) λˆ∗ = X¯ = 1 n Xn i=1 Xi . duPoisson©Ÿx¥çÍx, λˆ∗ = X¯èλMLE, ßÜλ›O˛É”. qd½¬åg(λ) = e −λMLEè gˆ ∗ (X) = e −X¯ . ~4. X = (X1, · · · , Xn)¥l©Ÿx{N(a, σ2 ) : σ 2 > 0, −∞ < µ < ∞}•ƒ{¸ , ¶a, σ2⁄g(θ) = a/σ2MLE, d?θ = (a, σ2 ). ) X = (X1, · · · , Xn)©Ÿè f(x, θ) = 1 √ 2πσ n exp ( − 1 2σ 2 Xn i=1 (xi − a) 2 ) . ÈÍq,ºÍè l(θ, x) = log f(x, θ) = − n 2 log 2π − n 2 log σ 2 − 1 2σ 2 Xn i=1 (Xi − a) 2 . dÈÍq,êß| ∂l(θ, x) ∂a = 1 σ 2 Xn i=1 (Xi − a) = 0, ∂l(θ, x) ∂σ2 = − n 2σ 2 + 1 2σ 4 Xn i=1 (Xi − a) 2 = 0, ) aˆ ∗ = X, ¯ σˆ 2 ∗ = 1 n Xn i=1 (Xi − X¯) 2 = S 2 n . du©ŸxèçÍx, aˆ ∗ = X¯⁄σˆ 2 ∗ = S 2 n ©O¥a⁄σ 2MLE,ßÇè©O¥a⁄σ 2 ›O˛. cˆ¥aÆO, ˆÿ¥σ 2ÆO. åÑ4åq,Oÿò½‰kÆ 5. qd½¬åg(θ) = a/σ2MLEè gˆ ∗ (X) = X¯ S 2 n . 5