《概率论与数理统计》典型教案 教学内容:极大似然估计法 教学目的: 通过本节内容的教学,使学生 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法; 2、理解极大似然思想; 3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似 然估计值 教学重点: 1、对极大似然思想阐述; 2、极大似然估计值的求解 教学难点 对不能通过求导方法获得极大似然估计的值的确定 教学时数:2学时 教学过程: 引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只 听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打 的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同 学命中的概率,看来这一枪是猎人射中的 这个例子所作的推断就体现了极大似然法的基本思想 、极大似然思想 一般地说,事件A与参数θ∈日有关,θ取值不同,则P(A)也不同.若 A发生了,则认为此时的θ值就是θ的估计值.这就是极大似然思想.看 一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1, 试设计一种方法,估计任取一球为黑球的概率P 分析:易知P的值无非是114或34.为估计P的值,现从袋中有放 回地任取3只球,用X表示其中的黑球数,则X~b(3,P).按极大似然 估计思想,对P的取值进行估计 解:对P的不同取值,X取k=01,2,3的概率可列表如下
1 《概率论与数理统计》典型教案 教学内容：极大似然估计法 教学目的： 通过本节内容的教学，使学生： 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法； 2、理解极大似然思想； 3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似 然估计值． 教学重点： 1、对极大似然思想阐述； 2、极大似然估计值的求解． 教学难点： 对不能通过求导方法获得极大似然估计的值的确定． 教学时数：２学时． 教学过程： 引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只 听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打 的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同 学命中的概率，看来这一枪是猎人射中的． 这个例子所作的推断就体现了极大似然法的基本思想． 一、极大似然思想 一般地说，事件 A 与参数 有关， 取值不同，则 P(A) 也不同．若 A 发生了，则认为此时的 值就是 的估计值．这就是极大似然思想．看 一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为 3:1， 试设计一种方法，估计任取一球为黑球的概率 P ． 分析：易知 P 的值无非是 1/4 或 3/4．为估计 P 的值，现从袋中有放 回地任取 3 只球，用 X 表示其中的黑球数，则 X ~ b(3,P) ．按极大似然 估计思想，对 P 的取值进行估计． 解：对 P 的不同取值， X 取 k = 0,1,2,3 的概率可列表如下:
3 P=k242764%4%64 P=%4 k=0,1 故根据极大似然思想即知:P= B34.k 上面的例子中,P是分布中的参数,它只能取两个值:14或314, 需要通过抽样来决定分布中参数究竟是14还是3/4.在给定了样本观测 值后去计算该样本出现的概率,这一概率依赖于P的值,为此需要用14 34分别去计算此概率,在相对比较之下,哪个概率大,则P就最象那个 、似然函数与极大似然估计 1、离散分布场合 设总体X是离散型随机变量,其概率函数为p(x,O),其中θ是未知 参数.设x1,H2…Xn为取自总体X的样本.X1X2…Xn的联合概率函 数为∏P(X;),这里,是常量,X1,X2,…,X是变量 若我们已知样本取的值是x1,x2…xn,则事件 {X1=x12x2=x2,…,xn=xn}发生的概率为∏p(x;0),这一概率随θ的 值而变化.从直观上来看,既然样本值x1,x2…xn出现了,它们出现的 概率相对来说应比较大,应使∏p(x;)取比较大的值.换句话说,日应 使样本值x1,x2…x的出现具有最大的概率.将上式看作的函数,并用 L(O)表示,就有
2 X ０ １ ２ ３ 4 P = 1 64 27 64 27 64 9 64 1 4 P = 3 64 1 64 9 64 27 64 27 故根据极大似然思想即知： = = = , 2,3 4 3 , 0,1 4 1 ˆ k k P ． 在上面的例子中， P 是分布中的参数，它只能取两个值：1/4 或 3/4， 需要通过抽样来决定分布中参数究竟是 1/4 还是 3/4．在给定了样本观测 值后去计算该样本出现的概率，这一概率依赖于 P 的值，为此需要用 1/4、 3/4 分别去计算此概率，在相对比较之下，哪个概率大，则 P 就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体 X 是离散型随机变量，其概率函数为 p(x;) ，其中 是未知 参数．设 X X Xn , , , 1 2 为取自总体 X 的样本． X X Xn , , , 1 2 的联合概率函 数为 = n i p Xi 1 ( ; ) ，这里， 是常量， X X Xn , , , 1 2 是变量． 若我们已知样本取的值是 n x , x , , x 1 2 ，则事件 { , , , } 1 1 2 2 n n X = x X = x X = x 发生的概率为 = n i i p x 1 ( ; ) ．这一概率随 的 值而变化．从直观上来看，既然样本值 n x , x , , x 1 2 出现了，它们出现的 概率相对来说应比较大，应使 = n i i p x 1 ( ; ) 取比较大的值．换句话说， 应 使样本值 n x , x , , x 1 2 的出现具有最大的概率．将上式看作 的函数，并用 L( ) 表示，就有：
L()=L(x1,x2,…,xn;0)=p(x1;0 称L()为似然函数.极大似然估计法就是在参数θ的可能取值范围⊙内, 选取使L(O)达到最大的参数值,作为参数θ的估计值.即取θ,使 L()=L(x1,x2…,xn;)=maxL(x1,x2…,xn;0)(2) 因此,求总体参数θ的极大似然估计值的问题就是求似然函数L(O) 的最大值问题.这可通过解下面的方程 d()=0 (3) 来解决.因为hL是L的增函数,所以hL与L在θ的同一值处取得最大 值.我们称l(O)=hL(O)为对数似然函数.因此,常将方程(3)写成 dIn l(0) (4) d 方程(4)称为似然方程.解方程(3)或(4)得到的O就是参数O的 极大似然估计值 如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是 所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到 原始定义(2)进行求解. 2、连续分布场合: 设总体X是连续离散型随机变量,其概率密度函数为∫(x,),若取 得样本观察值为x1,x2…x,则因为随机点(X1,X2,…,Xn)取值为 (x2x2…,x)时联合密度函数值为∏f(x:0),所以,按极大似然法,应 选择θ的值使此概率达到最大.我们取似然函数为 L()=∏f(x:0),再按前述方法求参数6的极大似然估计值 三、求极大似然估计的方法
3 = = = n i n i L L x x x p x 1 1 2 ( ) ( , ,, ; ) ( ; ) （１） 称 L( ) 为似然函数．极大似然估计法就是在参数 的可能取值范围 内， 选取使 L( ) 达到最大的参数值 ˆ ，作为参数 的估计值．即取 ，使 ) max ( , , , ; ) ˆ ( ) ( , , , ; 1 2 1 2 n n L L x x x L x x x = = （２） 因此，求总体参数 的极大似然估计值的问题就是求似然函数 L( ) 的最大值问题．这可通过解下面的方程 0 ( ) = d dL （３） 来解决．因为 ln L 是 L 的增函数，所以 ln L 与 L 在 的同一值处取得最大 值．我们称 l( ) = ln L( ) 为对数似然函数．因此，常将方程（３）写成： 0 ln ( ) = d d L （４） 方程（４）称为似然方程．解方程（３）或（４）得到的 ˆ 就是参数 的 极大似然估计值． 如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是 所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到 原始定义（２）进行求解． ２、连续分布场合： 设总体 X 是连续离散型随机变量，其概率密度函数为 f (x; ) ，若取 得 样 本观 察值 为 n x , x , , x 1 2 ， 则因 为随 机 点 ( , , , ) X1 X2 Xn 取值为 ( , , , ) 1 2 n x x x 时联合密度函数值为 = n i i f x 1 ( ; ) ．所以，按极大似然法，应 选择 的值使此概率达到最大．我们取似然函数为 = = n i i L f x 1 ( ) ( ; ) ，再按前述方法求参数 的极大似然估计值． 三、求极大似然估计的方法
1、可通过求导获得极大似然估计: 当函数关于参数可导时,常可通过求导方法来获得似然函数极大值 对应的参数值 例2、设某工序生产的产品的不合格率为p,抽n个产品作检验, 发现有T个不合格,试求p的极大似然估计 分析:设X是抽查一个产品时的不合格品个数,则X服从参数为p 的二点分布b(p).抽查n个产品,则得样本X1x2,…Xn,其观察值为 x,x2,…,xn,假如样本有T个不合格,即表示x1,x2,…,xn中有T个取值为 1,n-T个取值为0.按离散分布场合方法,求p的极大似然估计 解:(1)写出似然函数:L(p)=∏p3(1-P (2)对L(p)取对数,得对数似然函数(p): l(p)=∑[xhp+(1-x)h(1-p=nh(1-p)+∑xhp-m1-p (3)由于(p)对p的导数存在,故将l(p)对p求导,令其为0, 得似然方程:4p少1PP1-p1Pmm+=0 (4)解似然方程得:p=∑x=x (5)经验证,在b=adp)∠0,这表明p=x可使似然函数 达到最大 (6)上述过程对任一样本观测值都成立,故用样本代替观察值便
4 1、可通过求导获得极大似然估计： 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值 对应的参数值． 例２、设某工序生产的产品的不合格率为 p ，抽 n 个产品作检验， 发现有 T 个不合格，试求 p 的极大似然估计． 分析：设 X 是抽查一个产品时的不合格品个数，则 X 服从参数为 p 的二点分布 b(1, p) ．抽查 n 个产品，则得样本 X X Xn , , , 1 2 ，其观察值为 n x , x , , x 1 2 ，假如样本有 T 个不合格，即表示 n x , x , , x 1 2 中有 T 个取值为 １， n −T 个取值为０．按离散分布场合方法，求 p 的极大似然估计． 解：（１）写出似然函数： = − = − n i x x i i L p p P 1 1 ( ) (1 ) （２）对 L( p) 取对数，得对数似然函数 l( p) ： = = = + − − = − + − − n i i n i l p xi p xi p n p x p p 1 1 ( ) [ ln (1 )ln(1 )] ln(1 ) [ln ln(1 )] （３）由于 l( p) 对 p 的导数存在，故将 l( p) 对 p 求导，令其为０， 得似然方程： 0 (1 ) 1 1 ) 1 1 1 ( 1 ( ) 1 1 = − + − = − − + + − = − = = n i i n i i x p p p n p p x p n dp dl p （４）解似然方程得： x x n p n i = i = =1 1 ˆ （５）经验证，在 p ˆ = x 时， 0 ( ) 2 2 dp d l p ，这表明 p ˆ = x 可使似然函数 达到最大 （６）上述过程对任一样本观测值都成立，故用样本代替观察值便
得p的极大似然估计为:p=X 将观察值代入,可得p的极大似然估计值为:p=x T ,其中 x 若总体X的分布中含有多个未知参数1,02…时,似然函数L是 这些参数的多元函数L(2…O).代替方程(3),我们有方程组 a(n L) 0(i=1,2,…k),由这个方程组解得,B2,…,O分别是参数 G,2,…,O的极大似然估计值 例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 N(A,a2),其中μ,σ2未知,为估计μσ2,从中随机抽取n=100根轴, 测得其偏差为x,x2…,x0,试求,a2的极大似然估计 分析:显然,该问题是求解含有多个(两个)未知参数的极大似然 估计问题,通过建立关于未知参数po2的似然方程组,从而进行求解 解:(1)写出似然函数 ()=-1c2 =(tOe (2)写出对数似然函数: l(,a2)=-h(2xa2) 2 (3)将(H,a2)分别对、σ2求偏导,并令它们都为0,得似然方
5 得 p 的极大似然估计为： p ˆ = X 将观察值代入，可得 p 的极大似然估计值为： n T p ˆ = x = ，其中 = = n i i T x 1 ． 若总体 X 的分布中含有多个未知参数 k , , , 1 2 时，似然函数 L 是 这些参数的多元函数 ( , , ) L 1 k ．代替方程（３），我们有方程组 0( 1,2, , ) (ln ) i k L i = = ，由这个方程组解得 k ˆ , , ˆ , ˆ 1 2 分别是参数 k , , , 1 2 的极大似然估计值． 例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 ( , ) 2 N ，其中 2 , 未知．为估计 2 , ，从中随机抽取 n =100 根轴， 测得其偏差为 1 2 100 x , x , , x ．试求 2 , 的极大似然估计． 分析：显然，该问题是求解含有多个（两个）未知参数的极大似然 估计问题．通过建立关于未知参数 2 , 的似然方程组，从而进行求解． 解：（１）写出似然函数： 2 1 2 2 2 2 ( ) 2 2 1 2 ( ) 2 (2 ) 2 1 ( , ) = = = − − − = − − n i i i x n n i x L e e （２）写出对数似然函数： 2 1 2 2 2 ( ) 2 1 ln( 2 ) 2 ( , ) = = − − − n i i x n l （３）将 ( , ) 2 l 分别对 2 、 求偏导，并令它们都为０，得似然方