第七章参数估计 引言 参数估计:当总体的某些参数未知(一般要求分布类型已知)时, 从样本出发构造适当的统计量,作为未知参数的估计量。当取 得一组观察值后,以相应的统计量的观察值作为未知参数的估 计值,并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念:当总体X中含有未知参数0(可以是向量)时,可用 F(x;0)来表示X的分布函数,当θ取不同的值,就会得到不 同的分布函数。我们称0所有可能取值的集合为参数空间,记 为⊙。把{F(x;0),θ∈}称为X的分布函数族。 若Ⅹ为连续型随机变量,和分布函数族对应的是密度函数 族{f(x;θ),0∈}
第七章 参数估计 引言 参数估计：当总体的某些参数未知(一般要求分布类型已知)时， 从样本出发构造适当的统计量，作为未知参数的估计量。当取 得一组观察值后，以相应的统计量的观察值作为未知参数的估 计值，并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念：当总体X中含有未知参数 (可以是向量)时，可用 F(x； )来表示X的分布函数，当取不同的值，就会得到不 同的分布函数。我们称所有可能取值的集合为参数空间，记 为。把{F(x； )， }称为X的分布函数族。 若X为连续型随机变量，和分布函数族对应的是密度函数 族{ f (x； )， }
若X是离散型随机变量,和分布函数族对应的是概率分布 函数族{P(k)=P(X=xk),6∈O} 第一节点估计 点估计用样本(X1,X2,…,Xn)构造适当的统 计量b=0(X,X2,…,Xn),作为未知参数e的估计量。 当取得一组样本观察值(x1,x2…,xn)后,用相应的 0(x,x2…,xn)作为未知参数θ的估计值。 说明:1.在统计推断中,当不致混淆时,通常对样本和样本 观察值的表示法不加区分,均表成(x1,x2,…,xn) 2.对于两组不同的样本观察值,可得到未知参数θ的两个 估计值,但θ的估计量是同一个
若X是离散型随机变量，和分布函数族对应的是概率分布 函数族{ p (k) = P(X = xk )， }。 第一节 点估计 点估计 用样本 构造适当的统 计量 ，作为未知参数 的估计量。 ( ) X1 ，X2 ，，Xn ( ) X1 ，X2 ，，Xn = 当取得一组样本观察值 后，用相应的 作为未知参数 的估计值。 ( ) 1 2 n x，x ，，x ( ) 1 2 n x，x ，，x 说明：1. 在统计推断中，当不致混淆时，通常对样本和样本 观察值的表示法不加区分，均表成 (x1 ，x2 ，，xn )。 2. 对于两组不同的样本观察值 ，可得到未知参数 的两个 估计值，但 的估计量是同一个
、矩估计 矩估计法原理:用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量,用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别,用作为EX的估计量,用B2作为D(X的估计量, 用样本协方差(相关系数作为covX,Y)和的估计量 定义71设总体X中含有未知参数6=(,2,…,6) 若对每个(i=1,2,k),存在连续函数g(x,x2…,xk),使 日=g(E(X),E(X2),…,E(X),i=1,2,…,k, 则称日=g(a1,a2…,a)为61的矩估计量,其中 ∑/n,1=1,2,…,k 称O=(O1,02,…,0n)为0=(O,O2,…,O)的矩估计量
一、矩估计 矩估计法原理：用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量，用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别，用 作为E(X)的估计量，用 作为D(X)的估计量， 用样本协方差(相关系数)作为cov(X，Y)和 的估计量。 X B2 XY r 定义7.1 设总体X中含有未知参数 若对每个i( i=1，2，k)，存在连续函数 ，使 ( ) = 1， 2，， k ( ) i 1 2 k g x，x ，，x i = gi (E(X )，E(X 2 )，，E(X k ))，i =1，2，，k， ( ) i 1 2 k i = g ， ，， 则称 为 i 的矩估计量，其中 / 1 2 . 1 X n i k n j i i = j ， = ，，， = 称 = ( 1， 2，， n )为 = (1 ， 2 ，， n ) 的矩估计量。
如何求O=g(E(X,E(X2),…,E(X),i=1,2,…,k? 设总体X的密度函数为f(x;日1,日2,,) 由总体原点矩的定义,有 E(X)=|xf(x;,,…,0),1=12,…,k 从理论上来说,由上面k个方程,可以解出 6=g(E(X,E(X2),…,E(X),i=1,2,…,k 矩估计的优越性:当总体分布类型未知时仍可对总体各阶矩进 行估计。 矩估计的缺陷:当总体分布类型已知时,未能充分利用总体 分布提供的信息
如何求 i = gi (E(X )，E(X 2 )，，E(X k ))，i =1，2，，k？ 设总体X的密度函数为 f (x；1 ， 2 ，， k )， 由总体原点矩的定义，有 ( ) ( ) 1 2 . 1 2 E X x f x dx i k k i = i ； ， ，， ， = ，，， + − 从理论上来说，由上面k个方程，可以解出 ( ( ) ( ) ( )) 1 2 . 2 g E X E X E X i k k i = i ， ，， ， = ，，， 矩估计的优越性：当总体分布类型未知时仍可对总体各阶矩进 行估计。 矩估计的缺陷：当总体分布类型已知时，未能充分利用总体 分布提供的信息
、极大似然估计 引例:罐中有许多白球和黑球,已知两色球的比例为3:1,但 不知哪种颜色的球多。今有放回连抽两球均取岀黑球,问:罐 中黑球多还是白球多? 解:设抽出黑球的概率为p,抽得黑球数为X,则Ⅹ~B(2,p)。 P(Ⅹ=2)=P。根据题意,知p=3/4或p=1/4。 若p=/4,则P(X=2)1/16; 若p=3/4,则P(X=2)=9/16。 (或者说样本来自总体B(2,3/4)的可能性比来自总体B(2 的可能性大得多) 这说明当黑球多时事件(X=2)发生的概率大得多, 根据“概率越大的事件越可能发生”的实际推断原理,应选 3/4作为p的估计值。 若p的可供选择的估计值有许多,仍应选择发生概率最大的p 作为p的估计,这就是极大似然估计的思想
二、极大似然估计 引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但 不知哪种颜色的球多。今有放回连抽两球均取出黑球，问：罐 中黑球多还是白球多？ 解：设抽出黑球的概率为p，抽得黑球数为X，则X～B(2，p)。 P(X=2)= 2 p 。 根据题意，知 p=3/4 或 p=1/4 。 若 p=1/4，则 P(X=2)=1/16； 若 p=3/4，则 P(X=2)=9/16。 这说明当黑球多时事件 (X=2) 发生的概率大得多， (或者说样本来自总体B(2，3/4)的可能性比来自总体B(2，1/4) 的可能性大得多) 根据“概率越大的事件越可能发生”的实际推断原理，应选 3/4作为p的估计值。 若p的可供选择的估计值有许多，仍应选择发生概率最大的 作为p的估计，这就是极大似然估计的思想。 p