第六章参数估计 、教学要求 1.理解点估计的概念 2.掌握矩估计法(一阶、二阶)和极大似然估计法 3.了解估计量的评选标准(无偏性、有效性、一致性)。 4.理解区间估计的概念。 5.会求单个正态总体的均值和方差的置信区间。 6.会求两个正态总体的均值差和方差比的置信区间。 本章重点:未知参数的矩估计,极大似然估计及正态总体未知参数的区间估计。 教学内容 §6.1参数的点估计 611问题的提出 在实际问题中经常遇到随机变量X(即总体X的分布函数F(x;1,2,On)的形式已 知,但其中的参数O,(=12,,m)未知的情形。当得到了X的一个样本值(x1,x2,,xn)后 希望利用样本值来估计X分布中的未知参数值;或者X的分布函数形式未知,利用样本值 估计X的某些数字特征。这类问题称为参数的点估计问题。 612矩估计法 矩估计法是由英国统计学家皮尔逊(K. Pearson)在1894年提出的求参数点估计的方法。 由大数定律知道,样本矩依概率收敛于总体矩,这就是说只要样本容量n取得充分大时, 用样本矩作为总体矩的估计可以达到任意精确的程度。根据这一原理,矩估计法的基本思想 是用样本的k阶原点矩A=∑X去估计总体X的k阶原点矩E(x):用样本的k阶 中心矩B1=(-)去估计总体X的k阶中心矩E(x-E(x)y,并由此得到未知 参数的估计量 设总体X的分布函数为F(x,O2,On),O1,O2,On是m个待估计的未知参数 设an=E(Xn)存在,对任意k(k=1,2,,m) a4=E(x)=xdF(xa2,D2)=a1(0,02,On) 现用样本矩作为总体矩的估计,即令 ∑x4=a、G,02,,n)(k 这便得到含m个参数6,62,,n的m个方程组,解该方程组得 4=0,(x1,X2,Xn)
第六章 参 数 估 计 一、教学要求 1．理解点估计的概念。 2．掌握矩估计法(一阶、二阶)和极大似然估计法。 3．了解估计量的评选标准(无偏性、有效性、一致性)。 4．理解区间估计的概念。 5．会求单个正态总体的均值和方差的置信区间。 6．会求两个正态总体的均值差和方差比的置信区间。 本章重点：未知参数的矩估计，极大似然估计及正态总体未知参数的区间估计。 二、教学内容 § 6.1 参数的点估计 6.1.1 问题的提出 在实际问题中经常遇到随机变量X (即总体X)的分布函数 ( ) j m F x ;θ 1 ,θ 2 ,...,θ 的形式已 知，但其中的参数 (i m) i θ = 1,2,..., 未知的情形。当得到了 X 的一个样本值( )后， 希望利用样本值来估计 X 分布中的未知参数值；或者 X 的分布函数形式未知，利用样本值 估计 X 的某些数字特征。这类问题称为参数的点估计问题。 n x , x ,..., x 1 2 6.1.2 矩估计法 矩估计法是由英国统计学家皮尔逊（K. Pearson）在 1894 年提出的求参数点估计的方法。 由大数定律知道，样本矩依概率收敛于总体矩，这就是说只要样本容量 n 取得充分大时， 用样本矩作为总体矩的估计可以达到任意精确的程度。根据这一原理，矩估计法的基本思想 是用样本的 k 阶原点矩 ∑= = n i k k Xi n A 1 1 去估计总体 X 的 k 阶原点矩 ( ) E X k ；用样本的 k 阶 中心矩 ( k n i k i x x n B ∑= = − 1 1 ) 去估计总体 X 的 k 阶中心矩 ( ( )) k E X − E Xk ，并由此得到未知 参数的估计量 设总体 X 的分布函数为 ( ) m F x;θ 1 ,θ 2 ,...,θ ， , ,..., θ 1 θ 2 θ m 是 m 个待估计的未知参数。 设 ( m = E X m α )存在，对任意 k.( ) k = 1,2,...,m ( ) ( ) ∫ +∞ −∞ = = m k k k α E X x dF x;θ 1, θ 2 ,...,θ ( ) α k θ θ θ m , ,..., = 1 2 现用样本矩作为总体矩的估计，即令 ∑ ( ) = = n i k m k Xi n 1 1 2 ˆ ,..., ˆ , ˆ 1 α θ θ θ (k = 1,2,...,m) 这便得到含 m 个参数θ ˆ 1 ,θ ˆ 2 ,...,θ ˆ m 的 m 个方程组，解该方程组得 ( ) k k X X Xn , ,..., ˆ ˆ θ = θ 1 2 (k = 1,2,...,m) 1
以6作为参数O4的估计量,并称Ok为未知参数64的矩估计量,这种求估计量的方法 称为矩估计法。 例61已知某电话局在单位时间内收到用户呼唤次数这个总体X服从泊松分布P(A),即 X的分布律 PIX=ki (k=0,1,2,…) 的形式已知但参数λ未知今获得一个样本值(x1,x2…,xn),要求估计=E(X)的值,即 要求估计在单位时间内平均收到的呼唤次数进而可以确定在单位时间内收到k次呼唤的概 例62已知某种灯泡的寿命X~N(,2),即X的分布密度 p(x:,4,a2) (-∞<x<+∞) 的形式已知但参数山2未知获得一个样本值(x1,x2,…xn)后要求估计 =E(X),a2=D(X)的值,即要求估计灯泡的平均寿命和寿命的长度的差异程度进而可 以确定灯泡寿命Ⅹ落在任何一个区间内的概率 例6.3考虑某厂生产的一批电子元件的寿命这个总体X;虽然不知道X的分布形式,但要 求根据样本值(x1,x2,…,xn)估计元件的平均寿命和元件寿命的差异程度即估计总体X的 均值E(X)和方差D(X) 例64设总体X服从泊松分布P(A),求参数A的估计量 解设X1,X2…Xn是总体X的一个样本由于E(X)=A,可得 n∑X= 例65求总体X的均值山和方差2的矩估计 解设X1,X2,Xn是总体X的一个样本由于 E(X=u E(x2)=D(X)+(E(X)2=a2+2
以θ ˆ k 作为参数θ k 的估计量，并称θ ˆ k 为未知参数θ k 的矩估计量，这种求估计量的方法 称为矩估计法。 例 6.1 已知某电话局在单位时间内收到用户呼唤次数这个总体 X 服从泊松分布 P(λ) ,即 X 的分布律 λ −λ = = e k P X k k ! { } (k = 0,1,2,") 的形式已知.但参数λ 未知.今获得一个样本值(x1 , x2 ,", xn ) ,要求估计λ = E(X ) 的值,即 要求估计在单位时间内平均收到的呼唤次数.进而可以确定在单位时间内收到k 次呼唤的概 率. 例 6.2 已知某种灯泡的寿命 ~ ( , ) ,即 2 X N µ σ X 的分布密度 2 2 2 ( ) 2 2 1 ( ; , ) σ µ πσ µ σ − − = x p x e (−∞ < x < +∞) 的形式已知.但参数 未知.获得一个样本值 后,要求估计 2 µ,σ ( , , , ) 1 2 n x x " x µ = E(X ) , 的值,即要求估计灯泡的平均寿命和寿命的长度的差异程度.进而可 以确定灯泡寿命 X 落在任何一个区间内的概率. ( ) 2 σ = D X 例 6.3 考虑某厂生产的一批电子元件的寿命这个总体 X ;虽然不知道 X 的分布形式,但要 求根据样本值 估计元件的平均寿命和元件寿命的差异程度,即估计总体 X 的 均值 和方差 ( , , , ) 1 2 n x x " x E(X ) D(X ) . 例 6.4 设总体 X 服从泊松分布 P(λ) ,求参数λ 的估计量. 解 设 X1 , X 2 ,"X n 是总体 X 的一个样本,由于 E(X ) = λ ,可得 X X n i = n ∑ i = =1 ˆ 1 λ 例 6.5 求总体 X 的均值 µ 和方差 的矩估计. 解 设 是总体 2 σ X X "X n , , 1 2 X 的一个样本,由于 ⎩ ⎨ ⎧ = + = + = 2 2 2 2 ( ) ( ) ( ( )) ( ) σ µ µ E X D X E X E X 2
X n 解得和σ2的矩估计量为 由此可见无论总体服从什么分布样本均值X和样本方差S2分别是总体均值和总体 方差a2的矩估计量特别对正态总体X~N(,2),和2的矩估计分别为 X,0=S 例66设总体X服从区间[O1,621上的均匀分布求参数:2的矩估计量 解设X1X2,…Xn是总体X的样本容易求得 日1+ E(X) Dx)=(2=a) 61+62 故令 2 s2=(2-)2 12 解得1和62的矩估计量为 6=X-√3S 例67设总体X的分布密度为 p(x:6 (-∞<x<+∞,6>0) (x1,X2,…Xn)为总体X的样本求参数6的矩估计量
⎪ ⎩ ⎪ ⎨ ⎧ = + = ∑= n i Xi n X 1 2 2 2 ˆ 1 ˆ σ µ µ 解得 µ 和σ2 的矩估计量为 µˆ = X 2 1 2 2 1 2 ˆ n n i Xi X S n = ∑ − = = σ 由此可见,无论总体服从什么分布,样本均值 X 和样本方差 Sn 2 分别是总体均值 µ 和总体 方差 的矩估计量.特别对正态总体 , 2 σ ~ ( , ) 2 X N µ σ µ 和σ2 的矩估计分别为 2 2 ˆ , ˆ µ = X σ = Sn . 例 6.6 设总体 X 服从区间[ 1 2 θ ,θ ]上的均匀分布,求参数 1 2 θ ,θ 的矩估计量. 解 设 X1 , X 2 ,"X n 是总体 X 的样本,容易求得 ⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ − = + = 12 ( ) ( ) 2 ( ) 2 2 1 1 2 θ θ θ θ D X E X 故令 ⎪ ⎪ ⎩ ⎪ ⎪ ⎨ ⎧ − = + = 12 ) ˆ ˆ ( 2 ˆ ˆ 2 2 2 1 1 2 θ θ θ θ Sn X 解得θ 1和θ 2 的矩估计量为 X 3Sn ˆθ 1 = − X 3Sn ˆθ 2 = + 例 6.7 设总体 X 的分布密度为 θ θ θ x p x e − = 2 1 ( ; ) (−∞ < x < +∞,θ > 0) ( , , ) X1 X 2 "X n 为总体 X 的样本,求参数θ 的矩估计量. 3
解由于p(x;0)只含有一个未知参数6,一般只需求出E(x)便能得到的矩估计量但是 E(X)=xp(r; 0)dr 即E(X)不含有6,故不能由此得到的矩估计量为此求 E(x)广DxOh上“=xch=202 故令∑X2=22,于是解得O的矩估计量为 本例O的矩估计量也可以这样求得 x1x1p0M=[1x1=h= 故令 ∑|X,F 即6的矩估计量为 该例表明参数的矩估计量不唯 613最大似然估计 1.似然函数 设总体x的分布律为P(X=x)=p(xO)或分布密度为x;0),其中 0=(01,02,0n)是未知参数,(X1,X2,Xn)是总体X的一个样本,则样本 (x1,X2xn)的分布律域分布密度)为∏p(x:0),当给定样本值(x,x2…,xn)后 它只是参数O的函数,记为L(0),即 L()=p(x:)
解 由于 p(x;θ ) 只含有一个未知参数θ ,一般只需求出 E(X ) 便能得到θ 的矩估计量,但是 0 2 1 ( ) = ( ; ) = ⋅ = ∫ ∫ +∞ −∞ +∞ − −∞ E X xp x dx x e dx x θ θ θ 即 E(X ) 不含有θ ,故不能由此得到θ 的矩估计量.为此,求 = = = − +∞ −∞ +∞ ∫−∞ ∫ E X x p x dx x e dx x θ θ θ | | 2 2 2 2 1 ( ) ( ; ) 2 0 1 2 2θ θ θ = − +∞ ∫ x e dx x 故令 2 1 1 2 ˆ ∑ = 2θ = n i n Xi , 于是解得θ 的矩估计量为 ∑= = n i n Xi 1 2 2 ˆ 1 θ 本例θ 的矩估计量也可以这样求得 = = = − +∞ −∞ +∞ ∫−∞ ∫ E X X p x dx x e dx x θ θ θ | | 2 1 | | ( ; ) | | θ θ θ = ∫ +∞ − 0 1 x xe 故令 θ ˆ | | 1 1 ∑ = = n i n Xi 即θ 的矩估计量为 | | ˆ 1 1 ∑= = n i θ n Xi 该例表明参数的矩估计量不唯一. 6.1.3 最大似然估计 1． 似然函数 设总体 X 的 分 布律为 P(X = x) = p(x;θ ) ( (或分布密度为p x;θ )) ，其中 ( m θ θ ,θ ,...,θ ) = 1 2 是 未 知 参 数 ， ( ) X X Xn , ,..., 1 2 是 总 体 X 的 一 个 样 本 ， 则样本 ( ) X X X n , ..., 1 2, 的分布律 (或分布密度)为∏ ( ，当给定样本值 = n i i p x 1 ;θ ) ( ) n x , x ,..., x 1 2 后， 它只是参数θ 的函数，记为 L(θ )，即 ( ) ∏ ( ) = = n i i L p x 1 θ ;θ 4
则称L()为似然函数。似然函数实质上是样本的分布律或分布密度 2.最大似然估计法 最大似然估计法,是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理 的直观想法是:在试验中概率最大的事件最有可能出现。因此,一个试验如有若干个可能的 结果A,B,C,,若在一次试验中,结果A出现,则一般以为A出现的概率最大。下面通过 实例来介绍最大似然原理。 一般地,设总体X的分布律为P{X=x}=px;O),其中=(,02,On)是未知参 数。又设(x1,x2y,xn)是样本的一个观测值,那么样本(X1,X2,xn)取值(x1,x2,,xn) 的概率为 x2 }=∏P{x=x}=∏p(x:0)=L(0) 既然在一次试验中得到样本值(x1,x2,xn),那么,样本取该样本值的概率应较大, 所以就应选取使这一概率达到最大的参数值作为未知参数的估计值,也就是选取使似然函数 L(0)=∏p(x (6.1) 在=(,2,处达到最大值,则称G,0,n分别为(1,B,、On的最大似然 估计值 需要注意的是,最大似然估计值θ,依赖于样本值,即 1.2 若将上式中样本值(x1x2,x)替换成样本(X1X2,xn),所 6=6(x1,x2,Xxn)则称为参数O的最大似然估计量 由于 lnL()=∑np(x 而nL()与L(0)有相同的最大值点,因此,为最大似然估计的必要条件为
则称 L(θ )为似然函数。似然函数实质上是样本的分布律或分布密度。 2． 最大似然估计法 最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理 的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的 结果 A, B,C,..., 若在一次试验中，结果 A 出现，则一般以为 A 出现的概率最大。下面通过 实例来介绍最大似然原理。 一般地，设总体 X 的分布律为 P{X = x }= p(x;θ )，其中 ( ) θ θ θ θ m , ,..., = 1 2 是未知参 数。又设(x1 , x2 ,..., xn )是样本的一个观测值，那么。样本( ) X X X n , ,..., 1 2 取值 的概率为 ( ) n x , x ,..., x 1 2 P{ } X x X x X x P{X x } p x θ L θ n i i n i = = n = n = ∏ = i = ∏ = =1 =1 1 1 2 2 , ,..., ( ; ) ( ) 既然在一次试验中得到样本值( ) n x , x ,..., x 1 2 ，那么，样本取该样本值的概率应较大， 所以就应选取使这一概率达到最大的参数值作为未知参数的估计值，也就是选取使似然函数 ( ) ∏ ( ) （6.1） = = n i i L p x 1 θ ;θ 在 ( ) θ i θ i θ θ m θ θ θ m ˆ ..., ˆ ˆ ˆ ,..., ˆ , ˆ ˆ = 2 处达到最大值，则称 1 ， 2， 分别为θ θ θ m , ,..., 1 2 的最大似然 估计值。 需要注意的是，最大似然估计值θ ˆ i 依赖于样本值，即 ( ) i i n x , x ,..., x ˆ ˆ θ = θ 1 2 (i = 1,2...,m) 若将上式中样本值 (x1 , x2 ,..., xn ) 替换成样本 ( ) X X X n ,..., 1, 2 ，所得的 θ ˆ i = θ ˆ i( ) X1 , X 2, ..., X n 则称为参数θ i 的最大似然估计量。 由于 ( ) ∑ ( ) = = n i i L p x 1 ln θ ln ,θ 而ln L(θ )与 L(θ )有相同的最大值点，因此，θ ˆ为最大似然估计的必要条件为 5