复习 抽样定理两类 参数估计一一已知含有未知参数总体的分布函数为 F(x;O),利用总体的抽样样本X1,X2,…,Xn对参数或O的 某已知函数g()作出估计. 区间估计一设法得到参数空间⊙的一个取值范围,使待估参 数以较大的概率含于其内 点估计一一构造适当的统计量(X,X2…Xn)得到O的估计值 矩估计法一一用样本矩估计总体矩 极大似然法 EX=81(6,…,)=) (x62(,)2x, E(X)=8(O1,…,的)=∑X
复习 抽样定理 参数估计 —— 两类 利用总体的抽样样本X1, X2,…, Xn 对参数 或 的 某已知函数g( )作出估计. ——已知含有未知参数 总体的分布函数为 F(x ; ), 区间估计 点估计 ——构造适当的统计量(X1, X2,…Xn )得到 的估计值 —— 设法得到参数空间 的一个取值范围, 使待估参 数以较大的概率含于其内. 矩估计法 极大似然法 ——用 样本矩 估计 总体矩 先求出总体k 阶原点矩E(Xk) = = = ( ) ( , , ) ( ) ( , , ) ( , , ) 1 2 1 2 1 1 l l l l l E X g E X g EX g , 1 , 1 , 1 1 1 2 1 = = = = = = n i l i n i i n i i X n X n X 极大似然法 n
二、极大似然法 在总体分布类型已知条件下使用的一种参数 估计方法.它首先由德国数学家高斯在1821年提出的 然而,这个方法常归功于英国统计学家费歇.他在 1922年重新发现了这一方法,并首先研究了这种方法 的一些性质 极大似然法的基本思想 先看一个简单例子:某位同学与一位猎人一 起外出打猎.一只野兔从前方窜过.只听一声枪 响,野兔应声倒下 如果让你推测是谁打中的你会如何想呢? 一般会想:只一枪就打中了,而猎人命中的概率一般 数大于这位同学命中的概率这一枪应是猎人射中的 此例所作的推断已经体现了极大似然法的基本思想 再看一个例子,以进一步体会极大似然法的基本思想
只听一声枪 响, 野兔应声倒下. 某位同学与一位猎人一 起外出打猎. 他在 1922年重新发现了这一方法, 并首先研究了这种方法 的一些性质. 极大似然法的基本思想 —— 在总体分布类型已知条件下使用的一种参数 估计方法 . 它首先由德国数学家高斯在1821年提出的. Fisher 然而, 这个方法常归功于英国统计学家费歇. 二、极大似然法 先看一个简单例子： 一只野兔从前方窜过. 如果让你推测是谁打中的, 你会如何想呢? 而猎人命中的概率一般 大于这位同学命中的概率. 这一枪应是猎人射中的. 再看一个例子, 以进一步体会极大似然法的基本思想. 此例所作的推断已经体现了极大似然法的基本思想. 一般会想: 只一枪就打中了
例1设袋中有黑球和白球共4个, 今有放回抽球3次 结果得到两次白球,试问如何估计袋中白球的个数?是待估参数 解设袋中有白球m个,则抽到白球的概率为p=m/4 记X为抽得的白球数,则X~B(3,p),P(X=k)=Cp(1-p)3k,k=0,1,2,3 抽到白球数X 袋中白球数P x=0x=1x=2‖x=3 0 0123 l/4|27/6427/649/64‖164 对不同的p, 2/44 8/64 24/(6424/648/64 B(n,p)的分布列 3/4|1649642764127164 对不同的p 事件P(X=x)发生的概率 上述估计思路体现的就是极大似然估计的思想方法: 在p所有可能的取值中选出能使样本观测值出现的概率为最 大的那一个来作为它的估计值
p是待估参数 在 p 所有可能的取值中选出能使样本观测值出现的概率为最 大的那一个来作为它的估计值. 今有放回抽球3 次, 结果得到两次白球, 试问如何估计袋中白球的个数? 解 设袋中有白球m 个, ( ) (1 ) , k=0,1,2,3. 3 3 k k k P X k C p p − 记X为抽得的白球数, = = − 袋中白球数 0 1 2 3 4 p 0 1/4 2/4 3/4 1 抽到白球数X x= 0 x=1 x=2 x=3 1 0 0 0 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64 0 0 0 1 例1 设袋中有黑球和白球共4 个, 对不同的p, 事件 P(X=x)发生的概率 对不同的p, B(n,p)的分布列 则X~B(3, p), 3/4 27/64 上述估计思路体现的就是极大似然估计的思想方法： 则抽到白球的概率为 p =m /4
再如,设总体X服从B(1,0)分布,即其分布列为 f(x;6)=P(X=x)=θ(1-0)x,x=0,1 其中6(0~0-1)为未知参数,样本为X,…,Xn,样本值为x1,…,xn, 则事件(X1=x1,X2=x2,…,Xn=xn)发生的概率为 L()=P(X1=x1,X2=x2,…,Xn=xn) 直(x;0)=e(1-0-x=02“(1-0y 对总体分布中的未知参数进行估计时,既然观察结果X1=x1, x,…,Xn=xn出现了,理应选取θ使得事件(Ⅺ1=x,X2=x,…, Xn=xn)发生的概率为最大.即用它作为的估计值可使观察结果 出现的可能性最大 这种选择参数的估计量使实验结果具有最大概率的思想就是极 大似然法的基本思想即选取的估计量包满足L(6)=maxL(O) 下面给出似然函数的定义和极大似然估计的求法
即用它作为的估计值可使观察结果 出现的可能性最大. 这种选择参数的估计量, 使实验结果具有最大概率的思想就是极 大似然法的基本思想. 理应选取 使得事件 (X1=x1, X2 =x2,…, Xn =xn ) 发生的概率为最大. 再如, 设总体X 服从 B(1, )分布, 下面给出似然函数的定义和极大似然估计的求法. 对总体分布中的未知参数 进行估计时, 即其分布列为 ( ) (1 ) , x 3 x P X x − f (x;) = = = − x = 0, 1 其中(0<<1)为未知参数, 样本为 X1, …, Xn , 则事件 (X1=x1, X2 =x2,…, Xn =xn ) 发生的概率为 样本值为 x1 , …, xn , = = = = = n i i n n f x P X x X x X x 1 1 1 2 2 ( ; ) ( , , , ) = = − = − n i i n i i x n x 1 (1 ) 1 = − = − n i x xi i 1 1 (1 ) L( ) = 既然观察结果X1=x1, X2 =x2,…, Xn =xn 出现了, 即选取的估计量 ^ ^ 应满足 L( )= max L( )
定义设总体X的密度为f(x;) (当X为离散型时 f(x;θ)为分布列),日=(B,B,…,1)是总体的未知参数,x1,x2,…xn 是样本X1,X2;…Xn的一组样木值,则称 L():=L(x,,;)nx;)转向 部导麻频∥ InL(0! 为样本的似然函数.若存在某个日=(6A,B2,…,),使得② L(x1x2,…,xn;日)=mnxL(x1x2,,xn;θ) 成立(其中回为参数空间),则称 即选取的估计量θ应满足 0=6(X1,X2,…,Xn)=(B1(X1,…,Xn),B2(X1,…,Xn),…,1(X1,…,Xn) 为θ的极大似然估计量.称 0=6(x1,x2,…,xn)=(B(x1,…,xn),O2(x1,…,xn),…,1(x1,…,xn), 为6的极大似然估计值③如何求? L()是6的函数,可用求导的方法找到使L(e)达到最大值的6 注意到lnL()为单增函数,故L()与MnL()达到最大值的自 变量相同,故问题可转化为求nL(O)的最大值点
故 L( )与 lnL( )达到最大值的自 变量相同, 故问题可转化为求lnL( )的最大值点. (当 X 为离散型时 f(x; )为分布列), 定义 设总体X 的密度为 f (x; ) x1, x2,…xn 是样本X1,X2,…Xn 的一组样本值, 则称 为样本的似然函数. =(1, 2,…, l)是总体的未知参数, f (xi ;) = n i 1 L( ) = L(x1 x2 , , xn ;) = 若存在某个 ), ˆ , , ˆ , ˆ ( ˆ = 1 2 l 使得 ( , , ; ˆ) max ( , , ; ) 1 2 1 2 L x x xn L x x xn = 成立(其中为参数空间), 则称 ( , , , ) ˆ ˆ = X1 X2 Xn ( , , )), ˆ ( , , ), , ˆ ( , , ), ˆ ( = 1 X1 Xn 2 X1 Xn l X1 Xn 为 的极大似然估计量. 称 ( , , )), ˆ ( , , ), , ˆ ( , , ), ˆ ( , , , ) ( ˆ ˆ = x1 x2 xn = 1 x1 xn 2 x1 xn l x1 xn 为 的极大似然估计值. 如 何 求 ？ 即选取的估计量 ^ 应满足 L( )是 的函数, 可用求导的方法找到使L( )达到最大值的 . 求导麻烦!! 转向lnL( )!! 注意到lnL( )为单增函数, ① ② ③