上海交通大学：《概率论与数理统计》课程教学资源（电子讲义）第6章 参数估计

第6章参数估计 对给定的统计问题，在建立了统计模型以后，我们的任务就是依据样本对未知总体 进行各种推断，参数估计是统计推断的重要内容之一。本章主要介绍进行参数估计的方 法及其评价等。 6.1点估计 参数估计，就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计 量。若总体的分布函数的形式为已知，但它的一个或多个参数未知，则由总体厂的一 个样本去估计总体未知参数的值的问题就是参数的点估计问题。 例如，某钢筋厂日生产某种型号钢筋10000根，为了要得知这批钢筋的强度，质量 检察员从中抽取50跟进行检查。如何从抽查的50根钢筋强度的数据去估计整批钢筋强 度的平均值？这就是参数估计要解决的问题。在实际问题中，我们常常以统计量 =2X, nA 作为总体X的期望值的估计量。 设总体的分布函数为F(x,O),其中日为未知参数。K,五，，n为总体的 一个样本。点估计的问题就是由样本构造一个统计量 X,X2,…X） 作为未知参数0的一个估计量。若，，，xn是样本观察值，则代入估计量 0(X1,2.rn) 中即可以得到一个关于参数0的估计值。在不致混淆的情况下，我们把估计量或估计值 简称为估计。 构造估计的方法很多，下面介绍常用的方法。 1矩估计法 矩法是另一种进行估计的简捷方法，也是基于替换的一种方法，即用样本矩去近似 总体矩。我们知道，矩是由随机变量的分布唯一确定，而样本来源于总体，样本矩在一 定程度上反映总体矩的特征，用样本矩来估计总体矩的估计方法称为矩估计法。设总体 X的分布函数为F(日1,02，，0，日1,02，，日k为未知参数，，，， 为来自总体的样本，如果总体的阶矩 E() 存在，并设 Er)=4(81,02,0）, 相应的r阶样本矩为 A=12K,r=1,26 71

第 第 6 6 章 章 参数估计 参数估计 对给定的统计问题，在建立了统计模型以后，我们的任务就是依据样本对未知总体 进行各种推断，参数估计是统计推断的重要内容之一。本章主要介绍进行参数估计的方 法及其评价等。 6.1 6.1 点估计 参数估计，就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计 量。若总体 X 的分布函数的形式为已知，但它的一个或多个参数未知，则由总体 X 的一 个样本去估计总体未知参数的值的问题就是参数的点估计问题。 例如，某钢筋厂日生产某种型号钢筋 10000 根，为了要得知这批钢筋的强度，质量 检察员从中抽取 50 跟进行检查。如何从抽查的 50 根钢筋强度的数据去估计整批钢筋强 度的平均值？这就是参数估计要解决的问题。在实际问题中，我们常常以统计量    n i X i n X 1 1 作为总体 X 的期望值的估计量。 设总体 X 的分布函数为 F (x， )，其中 为未知参数。X1，X2，…，Xn为总体 X 的 一个样本。点估计的问题就是由样本构造一个统计量 ( , ,.... ) X1 X 2 X n   作为未知参数 的一个估计量。若 x1，x2，…，xn是样本观察值，则代入估计量 ( , ,.... ) X1 X 2 X n   中即可以得到一个关于参数 的估计值。在不致混淆的情况下，我们把估计量或估计值 简称为估计。 构造估计的方法很多，下面介绍常用的方法。 1 1 矩估计法 矩法是另一种进行估计的简捷方法，也是基于替换的一种方法，即用样本矩去近似 总体矩。我们知道，矩是由随机变量的分布唯一确定，而样本来源于总体，样本矩在一 定程度上反映总体矩的特征，用样本矩来估计总体矩的估计方法称为矩估计法。设总体 X 的分布函数为 F (x； 1， 2，…， k)， 1， 2，…， k为未知参数，X1，X2，…， Xn为来自总体 X 的样本，如果总体的 k 阶矩 ( ) r E X 存在，并设 E(Xr )  r (1 , 2 ,..., k ) ， 相应的 r 阶样本矩为  .    n i r r i X r k n A 1 , 1,2,... 1

以A,替代E(K,),即可得到关于01,02，…，0的方程组 4,060)=2r=12k 记解为 A.664, 称其分别为参数01,02，…，04的矩估计量 例1求总体均值4和方差σ2的矩估计。 解总体的二阶矩为μ2=4+σ2，由上述矩估计法得到方程组： 4=X=不 n 2+o2=2x 解此方程组，得到矩估计量为 a=元，62=1乃-f=2X，-万2 ni 在作矩估计时，也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一，在矩估 计中最常用的是用样本均值作为总体期望的估计量，但若总体矩不存在，则矩法失效。 例2设总体r服从参数为入的Poisson分布，求参数2的矩估计。 解由于2=E()=D,故由例2可知： 充=不 均为入的矩估计量 例3设样本，，，X来自总体X,其密度函数为 fx01,02)= 。0,≤x≤0，求0,0：的矩估计 02-1 0 解 由 0=0+8,0= 2 128-8) 01+02=元， 得方程组： 2 后0，-=4=2(- 解此方程组，得到矩估计量： 6,=T-√3B,02=F+3B

以 A r替代 E (X r )，即可得到关于 1， 2，…， k 的方程组     n i r r k i X r k n 1 1 2 , 1,2,... 1  ( , ,..., ) 记解为 ，       k , ,... 1 2 称其分别为参数 1， 2，…， k 的矩估计量. 例 1 1 求总体均值  和方差 2 的矩估计。 解 总体的二阶矩为 2 = +2，由上述矩估计法得到方程组：                n i i n i i X n X X n 1 2 2 2 1 1 , 1    解此方程组，得到矩估计量为          n i i n i i X X n X X n X 1 2 1 2 2 2 ( ) 1 1 ˆ , ˆ 在作矩估计时，也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一，在矩估 计中最常用的是用样本均值作为总体期望的估计量，但若总体矩不存在，则矩法失效。 例 2 2 设总体 X 服从参数为  的 Poisson 分布，求参数的矩估计。 解 由于=E (X )=D (X )，故由例 2 可知：  X,   均为  的矩估计量. 例 3 3 设样本 X1，X2，…，Xn来自总体 X， 其密度函数为 ，求 1， 2 的矩估计.          0 , 1 ( ; , ) 1 2 1 2 2 1       x f x 解 由 2 2 1 1 2 ( ) 12 1 , ( ) 2 ( )        E X  D X 得方程组：               n i X i X n B X 1 2 2 2 2 1 1 2 ( ) . 1 ( ) 12 1 , 2     解此方程组，得到矩估计量: 3 , 3 . ˆ 1  X  B2 2  X  B2   

2极大似然估计法 在总体X的分布类型已知的情况下，极大似然估计法也是求未知参数点估计的一种 重要的方法。下面我们先来看一个例子。 例4设总体服从(0-1)分布，其分布率为 P{r=x}=f八x0)=0(1-0)1-x,x=0,1 其中0<0<1未知，样本为X,,,n。设样本察值为x,，,,xm,则事件 (==Y= 发生的概率为 X=4=4,=y-ix,8)=050-9=6点0-0)空 对于给定的样本观察值，上述概率为0的函数，我们称为似然函数，并记为L(0) 即 01=60-9 为了使上述随机事件的概率达到最大，应选取使L(0)达到最大的参数值（如果存在） 日，即选取的估计量日应满足： L(0)=max L(0) 这种寻求参数估计量的方法称为极大似然估计法。 上例的讨论也适用于一般的离散型总体。 设总体X为离散型，其分布律为 PK=x=fx0),0∈⊙ 这里0为待估参数，©是0可能取值的范围。设，五，…，X为取自总体X的一个样 本，则，5，，Xn的联合分布律为 Ix:0) 若，，…，xn是样本5，，Xn的一个观察值，则事件{=，…，n=x}发 生的概率为 PX=,X2=5X。=x}=Πx0),0eo 令 L(0)=L(xx,0)=/八x0) 则L(0)随日的取值而变化，它是0的函数，我们称L(0)为样本的似然函数 当样本观察值x,5,，n给定时，我们在日的取值范围⊙内挑选使概率L( ,…,xn;O)达到最大的参数值0，把0作为0的估计值，即选取日使

2 2 极大似然估计法 在总体 X 的分布类型已知的情况下，极大似然估计法也是求未知参数点估计的一种 重要的方法。下面我们先来看一个例子。 例 4 4 设总体 X 服从（0-1）分布，其分布率为   ( ; ) (1 ) , 0,1, 1       P X x f x x x x    其中 0< <1 未知，样本为 X1，X2，…，Xn。设样本察值为 x1，x2，…，xn，则事件 { , ,.... } 1 1 2 2 n n X  x X  x X  x 发生的概率为                   n i x n x x x n i n n i n i i n i i i i P X x X x X x f x 1 1 1 1 1 2 2 21 1 { , ,.... } ( ; )  (1 )  (1  ) 对于给定的样本观察值，上述概率为 的函数，我们称为似然函数，并记为 L ( )， 即 .        n i i n i x i n x L 1 1 ( )  (1  ) 为了使上述随机事件的概率达到最大，应选取使 L ( )达到最大的参数值(如果存在) ˆ，即选取的估计量ˆ 应满足： ) max ( ) ˆ ( 0 1    L L    这种寻求参数估计量的方法称为极大似然估计法。 上例的讨论也适用于一般的离散型总体。 设总体 X 为离散型，其分布律为 PX  x  f (x; ),  这里 为待估参数，是 可能取值的范围。设 X1，X2，…，Xn为取自总体 X 的一个样 本，则 X1，X2，…，Xn的联合分布律为   n i i f x 1 ( ; ). 若 x1，x2，…，xn是样本 X2，…，Xn的一个观察值，则事件{X2= x1，…，Xn =xn}发 生的概率为         { , ,.... } ( ; ) ,  1 1 1 2 2 n i n n i P X x X x X x f x 令     n i n i L L x x f x 1 1 ( ) ( ,..., ; ) ( ; ). 则 L ( )随 的取值而变化，它是 的函数，我们称 L ( )为样本的似然函数. 当样本观察值 x1，x2，…，xn给定时，我们在 的取值范围 内挑选使概率 L (x1， x2，…，xn ； )达到最大的参数值ˆ ，把ˆ作为 的估计值，即选取ˆ 使

L(x,xnθ)=max (x,5,xnθ) 0E0 这样得到的0与样本观察值有关，常记为(x,,xn),我们称(x1,,x)为参数0的 极大似然估计值，并称相应的统计量(x,,x)为参数0的极大似然估计量。 若r为连续型总体，其密度函数为f八x,0),日∈⊙为待估参数。设(n,,., )为总体X的样本，，，X的观察值，则，，.，的联合密度函数为 1/x,) 1 与离散型的情形类似，称 L40)=4x,xn0)=/八x0) 为样本的似然函数。若有(x,,x)使 L(0)=max{Lθ)}， 则称6为参数的极大似然估计值，相应地称日=(x,,x)为0的极大似然估计量。 一般地，设总体r的分布律或概率密度函数为f(:;01,02,日)，其中01,02， 日为k个未知待估参数，又设(n,?,…,xn)为样本观察值，记 L0…,0)=Π/x:0020) = 则称L(01,02,日)为似然函数。若存在 ).0()0 使得 L01,02,,0)=maxL⑥L…,6) 则称日，61,6，分别为0,02,0的极大似然估计值，而称 6,(K,K2,n,02(,2Xn)2,0(X1,X2Xn) 为极大似然估计量 例5在一袋内放有很多的白球和黑球，己知两种球数目为13，但不知道哪一种颜 色的球多，现从中有放回地抽取3次，试求黑球所占比例的极大似然估计。 解设X表示3次抽球中黑球出现的次数，0表示黑球所占比例，由题意0=14或 3/4,则似然函数为：L(0)=P{r=x}=C0(1-0)3-r,x=0,1,2,3 将0值代入： 4=Gr2, 42=G

) max ( , ,.... ; ) ˆ ( ,..., ; 1  1 2   n n L x x L x x x   这样得到的ˆ与样本观察值有关，常记为ˆ ( x 1 ,.., x n ) ，我们称ˆ ( x 1 ,.., x n ) 为参数 的 极大似然估计值，并称相应的统计量ˆ ( x 1 ,.., x n ) 为参数 的极大似然估计量。 若 X 为连续型总体，其密度函数为 f (x， )，  为待估参数。设（x1，x2，…， xn）为总体 X 的样本 X1，X2，…，Xn的观察值，则 X1，X2，…，Xn的联合密度函数为   n i i f x 1 ( ;). 与离散型的情形类似，称     n i n i L L x x f x 1 1 ( ) ( ,..., ; ) ( ; ) 为样本的似然函数。若有ˆ ( x 1 ,.., x n ) 使 (ˆ ) max{ ( )}，  L L   则称ˆ为参数的极大似然估计值，相应地称ˆ  ˆ (x 1 ,.., x n ) 为 的极大似然估计量。 一般地，设总体 X 的分布律或概率密度函数为 f (xi ； 1， 2，  k )，其中 1， 2，  k 为 k 个未知待估参数，又设(x1，x2，…，xn)为样本观察值，记    n i k i k L f x 1 1 1 2 ( ,..., ) ( ; , ,... ). 则称 L ( 1， 2，  k )为似然函数。若存在 ( , ,.... ), ˆ ( , ,.... ), ..., ˆ ( , ,.... ), ˆ 1 1 2 n 2 1 2 n k 1 2 n  x x x  x x x  x x x 使得 ) ˆ ,..., ˆ ) max ( ˆ ,..., ˆ , ˆ ( 1 ,..., 1 2 1 L k L k k         则称ˆ 1 ,ˆ 1 ,...,ˆ 1分别为 1， 2，  k的极大似然估计值，而称 ( , ,.... ), ˆ ( , ,.... ), ..., ˆ ( , ,...., ), ˆ1 X1 X 2 X n  2 X1 X 2 X n  k X 1 X 2 X n 为极大似然估计量. 例 5 5 在一袋内放有很多的白球和黑球，已知两种球数目为 1:3，但不知道哪一种颜 色的球多，现从中有放回地抽取 3 次，试求黑球所占比例的极大似然估计。 解 设 X 表示 3 次抽球中黑球出现的次数， 表示黑球所占比例，由题意 =1/4 或 3/4，则似然函数为： ( )   (1 ) , 0,1,2,3. 3    3    L P X x C x x x x    将 值代入: ) , 4 3 ) ( 4 1 ) ( 4 1 ( 3 3 x x x L C   ) , 4 1 ) ( 4 3 ) ( 4 3 ( 3 3 x x x L C  

将的可能取值代入，其结果见下表： 0 3 始 27 27 9 1 64 64 64 64 1 9 27 27 64 64 64 64 X=0,1, 因此，日的极大似然估计值为 6(X)= 3 ,X=2,3 4 由上面的讨论可知，求待估参数的极大似然估计量，实际上是求似然函数的最大值 点。又由于ln(0)与(0)在同一点处取得极值，故可用对lnL(0)求最大值的方法求出参 数日的极大似然估计，一般方法如下： 先求出似然函数(0)并取对数，然后由ln(0)分别对0，求偏导 nL,使 a0, oinL0./=1.2..... a0, 解此方程组，即可得其解日，0，，01。当然，似然方程组的解是否为最大值点，仍需进 一步验证。 在例4中，我们以求出了似然函数10)=0产1-0)一李 下面先作对数变换： nI01=ng2a-0y21-空xh0+u-2-0) 2xn-∑x 再对0求导数： --1-90 解得 2xn-2 且 2-1-0)2 <0 因此，的极大似然估计为：6=下

将 X 的可能取值代入，其结果见下表: 因此， 的极大似然估计值为         , 2 ,3 . 4 3 , 0 ,1, 4 1 ( ) ˆ X X  X 由上面的讨论可知，求待估参数的极大似然估计量，实际上是求似然函数的最大值 点。又由于 lnL( )与 L( )在同一点处取得极值，故可用对 lnL( )求最大值的方法求出参 数 的极大似然估计，一般方法如下： 先求出似然函数 L( )并取对数，然后由 lnL( )分别对 i，求偏导 ，使 i L   ln i k L i 0, 1,2,..., ln      解此方程组，即可得其解ˆ 1 ,ˆ 1 ,...,ˆ 1 。当然，似然方程组的解是否为最大值点，仍需进 一步验证。 在例 4 中，我们以求出了似然函数, ( ) (1 ) , 1 1        n i i n i i x n x L    下面先作对数变换:                n i i n i i x n x L x n x n i i n i i 1 1 ln ( ) ln[ (1 ) ] ln ( )ln(1 ) 1 1      再对 求导数： 0, 1 ln ( ) 1 1              n i i n i i x n x L d d 解得 x X n n i   i  1 1 ˆ 且 0. (1 ) ln 2 1 2 1 2 2              n i i n i i x n x d d L 因此，的极大似然估计为： ˆ  X x 0 1 2 3 ) 4 1 L( 64 27 64 27 64 9 64 1 ) 4 3 L( 64 1 64 9 64 27 64 27