第五章数理统计的基本概念 本章主要讲述样本,总体,参数与参数空间:直方图与经验分布函数:统计 内容|量,x2分布,1分布和F分布:分位数;正态总体的抽样分布等内容 提要 1、理解总体、个体、样本和统计量的概念。 2、了解直方图的作法。 3、掌握样本均值、样本方差的计算。 重点4、了解x2分布、1分布、F分布的定义,并会查表计算。 5、了解分位数的概念,并会查表计算。 分析6、了解正态总体的某些常用统计量的分布。 1、统计量、分位数的概念 难点|2、xz2分布、1分布、F分布的定义与性质 分析3、正态总体的抽样分布 习题 布置习题5(1,35,9) 备注
第五章 数理统计的基本概念 内容 提要 本章主要讲述样本，总体，参数与参数空间；直方图与经验分布函数；统计 量， 2 分布， t 分布和 F 分布；分位数；正态总体的抽样分布等内容． 重点 分析 1、理解总体、个体、样本和统计量的概念。 2、了解直方图的作法。 3、掌握样本均值、样本方差的计算。 4、了解 2 分布、 t 分布、 F 分布的定义，并会查表计算。 5、了解分位数的概念，并会查表计算。 6、了解正态总体的某些常用统计量的分布。 难点 分析 1、 统计量、分位数的概念 2、 2 分布、 t 分布、 F 分布的定义与性质。 3、 正态总体的抽样分布。 习题 布置 习题 5 (1,3,5,9) 备注
教学内容( Contents Chapter Five数理统计的基本概念( Basic Concept of Mathematical Statistics) §5.1样本和总体( Sample and collectivity) 样本( Sample) 数理统计的研究对象是受随机性影响的数据,这些通过观察或试验得到的数据称为样本 或子样( Sample),这些观察或试验过程称为抽样( Sample)。例如用同一架天平称某重物n次 得到一组n个数据 X.X (5.1) 就称它们是一个样本,其中n称为样本容量。每个容量为n的样本都可称为n维空间的一个点, 样本所有可能的取值构成了n维空间的一个子集,称为样本空间( Sample space),记作X.注 意“数据”一词在这里是广义的。它可以是实数值,例如X1表示称得某重物的重量;也可以 是事物的属性,例如X=“正品”,(或“废品”)等等,通常为了方便研究,也常将这些 属性数量化,例如用“1”表示“废品”,“0”表示“正品”,当然这不是本质的问题 有时数据也可以是一组向量,例如武器试验中给出一组弹着点的坐标 (X1,H1),(X2,Y2),…,(Xn,Yn) 即为二维向量的一组样本,在多元统计分析中,将专门研究这种情形。对于样本需要强调两 a)样本并非一堆杂乱无章无规律可循的数据,它是受随机性影响的一组数据,因此, 用概率论的话说,就是每个样本既可以视为一组数据,又可视为一组随机变量,这就是所谓 样本的二重性。当通过一次具体的试验,得到一组观测值,这时样本表现为一组数据;但这 组数据的出现并非是必然的,它只能以一定的概率(或概率密度)出现,这就是说,当考察 个统计方法是否具有某种普遍意义下的效果时,又需要将其样本视为随机变量,而一次具 体试验得到的数据,则可视为随机变量的一个实现值。今后为行文方便,我们常交替使用上 述两种观点来看待样本,而不去每次声明此处样本是指随机变量还是其实现值,同时一律采 用记号(5.1)来表示它。 b)样本(5.1)也不是任意一组随机变量,我们要求它是一组独立同分布的随机变量。 同分布就是要求样本具有代表性,独立是要求样本中各数据的出现互不影响,就是说,抽取 样本时应该是在相同条件下独立重复地进行。如 Example5.1设一组抽奖券共10000张,其中有5张有奖。问连续抽取3张均有奖的概 率为多少? 为了讨论这个问题,不妨设 1,第次抽到奖 X 0,第未抽到奖 要求该事件的概率,实际上即是求联合概率分布 P{X1=x1,X2=x2,X3=x3}(x2=0或 在x1=x2=x3=1处的值。但题中没有说明“连续抽取”是“有放回的”还是“无放回的” 我们不妨都计算一下 回时 P{X1=1,X2=1,X3=1} 1000099999998 i)有放回时
54 教 学 内 容 ( Contents ) Chapter Five 数理统计的基本概念(Basic Concept of Mathematical Statistics) §5.1 样本和总体(Sample and Collectivity) 一、 样本(Sample) 数理统计的研究对象是受随机性影响的数据，这些通过观察或试验得到的数据称为样本 或子样(Sample)，这些观察或试验过程称为抽样(Sample)。例如用同一架天平称某重物 n 次， 得到一组 n 个数据 X X Xn , , , 1 2 （5.1） 就称它们是一个样本，其中 n 称为样本容量。每个容量为 n 的样本都可称为 n 维空间的一个点， 样本所有可能的取值构成了 n 维空间的一个子集，称为样本空间(Sample space)，记作 X ．注 意“数据”一词在这里是广义的。它可以是实数值，例如 Xi 表示称得某重物的重量；也可以 是事物的属性，例如 Xi =“正品”，（或“废品”）等等，通常为了方便研究，也常将这些 属性数量化，例如用“ｌ”表示“废品”，“０”表示“正品”，当然这不是本质的问题。 有时数据也可以是一组向量，例如武器试验中给出一组弹着点的坐标 ( , ),( , ), ,( , ) X1 Y1 X2 Y2 Xn Yn 即为二维向量的一组样本，在多元统计分析中，将专门研究这种情形。对于样本需要强调两 点： ａ）样本并非一堆杂乱无章无规律可循的数据，它是受随机性影响的一组数据，因此， 用概率论的话说，就是每个样本既可以视为一组数据，又可视为一组随机变量，这就是所谓 样本的二重性。当通过一次具体的试验，得到一组观测值，这时样本表现为一组数据；但这 组数据的出现并非是必然的，它只能以一定的概率（或概率密度）出现，这就是说，当考察 一个统计方法是否具有某种普遍意义下的效果时，又需要将其样本视为随机变量，而一次具 体试验得到的数据，则可视为随机变量的一个实现值。今后为行文方便，我们常交替使用上 述两种观点来看待样本，而不去每次声明此处样本是指随机变量还是其实现值，同时一律采 用记号（5.1）来表示它。 ｂ）样本（5.1）也不是任意一组随机变量，我们要求它是一组独立同分布的随机变量。 同分布就是要求样本具有代表性，独立是要求样本中各数据的出现互不影响，就是说，抽取 样本时应该是在相同条件下独立重复地进行。如 Example 5.1 设一组抽奖券共 10000 张，其中有 5 张有奖。问连续抽取 3 张均有奖的概 率为多少？ 为了讨论这个问题，不妨设 = ，第 次未抽到奖 第 次抽到奖 i i Xi 0 1, 要求该事件的概率，实际上即是求联合概率分布 { , , }( 0 1) P X1 = x1 X2 = x2 X3 = x3 xi = 或 在 x1 = x2 = x3 =1 处的值。但题中没有说明“连续抽取”是“有放回的”还是“无放回的”， 我们不妨都计算一下： （ⅰ）无放回时： 9998 3 9999 4 10000 5 { 1, 1, 1} P X1 = X 2 = X3 = = （ⅱ）有放回时：
P{X1=1,X2=1,x3=1} 1000010000000 显然(i)中的抽样方式不是独立的,每次抽样的结果都将影响下一次抽样的分布,这种抽 样不是我们通常研究的抽样。而(i)中的抽样,则是多次独立的抽样,它们是同分布的, 即我们通常称为的随机抽样( Random sample)。这样得到的数据,即是我们常研究的简单随机 样本( Simple random sample),或就直接称为样本。由此可以看出,对于样本(5.1),如果 每个X的共同分布为F,则样本(5.1)的分布为 F(X1)F(X2)…F(xn) (5.2) 相应地,若X有共同概率密度∫,则(5.1)的概率密度为 f(rDf(x,2).f(Xn) (5.3) 二、总体( Collectivity) 总体( Collectivity)或母体在许多教科书上通常被定义为研究对象全体的集合。其含义是, 我们观察到的样本总是由某个具体事物产生,并反映该事物的特征,这时,可以把样本视为 一些被抽取的该事物的个体,而将该事物本身视为所有个体的集合即总体。但这样说多少有 点模糊。如在例5.1中,我们自然可以将10000张抽奖券视为总体,但如果是用一架天平去 重复称同一重物,得到重物的重量,在这种事中,什么是研究对象的全体呢?因此,我们宁 愿采用另一种说法,即总体是一个随机变量,它的分布即为(5.1)中每个X的共同分布, 或者可以看作样本容量n=1时的样本X1的分布F。用这个观点叙述一些问题就显得很方便 例如样本(5.1)就可视为由总体X独立“拷贝”出来的同分布的n个随机变量。又如 Example52用两台车床车同一批产品,分别车m及n件,尺寸为X1,X2,…,Xxm及 H1,H2…,n这时,我们得到的样本是 X13X2…,xm,Y1,Y2,…,Yn (5.4) 它们显然通常不会是同分布的,但这种样本在我们的研究中经常出现。为此我们用总体的观 点,可以很方便地视它为出自两个总体X,Y的样本。有了总体这个概念,我们就可以将统 计推断的基本任务概括为由样本推断总体。如在例5.2中,我们就可以从样本(5.4)中推断 出总体X与Y是否有显著差别。关于这一基本任务,我们今后可以慢慢体会到。由于推断总 体实质上是推断总体的分布,即解决一个实际统计问题,往往归结为总体分布的确定,所以 我们也常称总体的分布是该问题的统计模型( Statistics mode 三、参数与参数空间 Parameter and parameter space) 如前所述,数理统计问题的分布一般来说是未知的,需要通过样本来推断。但如果对总 体绝对地一无所知,那么,所能做出的推断的可信度一般也极为有限。在很多情况下,往往 是知道总体所具有的分布形式,而不知道的仅仅是分布中的参数。这在实际中是大量能见到 的,因为,分布的总体形式我们往往可以通过具体的应用背景或以往的经验加以确定 Example53考虑如何由样本X1,X2,…Xn的实际背景确定统计模型,即总体X的分 (i)样本记录随机抽取的n件产品的正品、废品情况。 (i)样本表示同一批n个电子元件的寿命(小时) (i)样本表示同一批n件产品某一尺寸(mm) 通过分析或经验,我们容易知道: (i)x服从两点分布,其概率分布为p2(1-p)-x,x=0,1,所需确定的是参数p∈[0,1 (ⅱi)X通常服从指数分布,其密度函数 f(x4)=e,x>0 0 0
55 3 1 2 3 10000 5 10000 5 10000 5 10000 5 { 1, 1, 1} P X = X = X = = = 显然（ⅰ）中的抽样方式不是独立的，每次抽样的结果都将影响下一次抽样的分布，这种抽 样不是我们通常研究的抽样。而（ⅱ）中的抽样，则是多次独立的抽样，它们是同分布的， 即我们通常称为的随机抽样(Random sample)。这样得到的数据，即是我们常研究的简单随机 样本(Simple random sample)，或就直接称为样本。由此可以看出，对于样本（5.1），如果 每个 Xi 的共同分布为 F ，则样本（5.1）的分布为 ( ) ( ) ( ) F X1 F X2 F Xn （5.2） 相应地，若 Xi 有共同概率密度 f ，则（5.1）的概率密度为 ( ) ( ) ( ) 1 2 Xn f X f X f （5.3） 二、 总体(Collectivity) 总体(Collectivity)或母体在许多教科书上通常被定义为研究对象全体的集合。其含义是， 我们观察到的样本总是由某个具体事物产生，并反映该事物的特征，这时，可以把样本视为 一些被抽取的该事物的个体，而将该事物本身视为所有个体的集合即总体。但这样说多少有 点模糊。如在例 5.1 中，我们自然可以将 10000 张抽奖券视为总体，但如果是用一架天平去 重复称同一重物，得到重物的重量，在这种事中，什么是研究对象的全体呢？因此，我们宁 愿采用另一种说法，即总体是一个随机变量，它的分布即为（5.1）中每个 Xi 的共同分布， 或者可以看作样本容量 n =1 时的样本 X1 的分布 F 。用这个观点叙述一些问题就显得很方便， 例如样本（5.1）就可视为由总体 X 独立“拷贝”出来的同分布的 n 个随机变量。又如 Example 5.2 用两台车床车同一批产品，分别车 m 及 n 件，尺寸为 X X X m , , , 1 2 及 Y Y Yn , , , 1 2 这时，我们得到的样本是 X X X m , , , 1 2 ，Y Y Yn , , , 1 2 （5.4） 它们显然通常不会是同分布的，但这种样本在我们的研究中经常出现。为此我们用总体的观 点，可以很方便地视它为出自两个总体 X ，Y 的样本。有了总体这个概念，我们就可以将统 计推断的基本任务概括为由样本推断总体。如在例 5.2 中，我们就可以从样本（5.4）中推断 出总体 X 与 Y 是否有显著差别。关于这一基本任务，我们今后可以慢慢体会到。由于推断总 体实质上是推断总体的分布，即解决一个实际统计问题，往往归结为总体分布的确定，所以 我们也常称总体的分布是该问题的统计模型(Statistics model)。 三、 参数与参数空间(Parameter and parameter space) 如前所述，数理统计问题的分布一般来说是未知的，需要通过样本来推断。但如果对总 体绝对地一无所知，那么，所能做出的推断的可信度一般也极为有限。在很多情况下，往往 是知道总体所具有的分布形式，而不知道的仅仅是分布中的参数。这在实际中是大量能见到 的，因为，分布的总体形式我们往往可以通过具体的应用背景或以往的经验加以确定。 Example 5.3 考虑如何由样本 X X Xn , , , 1 2 的实际背景确定统计模型，即总体 X 的分 布： (ⅰ) 样本记录随机抽取的 n 件产品的正品、废品情况。 (ⅱ) 样本表示同一批 n 个电子元件的寿命（小时）。 (ⅲ) 样本表示同一批 n 件产品某一尺寸（mm）。 通过分析或经验，我们容易知道： (ⅰ) X 服从两点分布，其概率分布为 p p x x x (1 ) , 1− − =0，1,所需确定的是参数 p [0,1] . (ⅱ) X 通常服从指数分布，其密度函数 , 0 ( ) 0, 0 x e x f x x − = ；
所需确定的是参数A>0 (i)x通常服从正态分布N(4,2),其密度函数 f(x;p,a-2)= e2a2x∈R 所需确定的是参数(2),其中H∈R,a2>0,对于每个总体,我们称其分布中参数的 一切可能取值的集合为参数空间 Parameter space),记为e,如在例5.3中,(i)=[0,1, (i)e=R,(i)e=RxR。其中R=(-∞,+∞),R+=(0,+∞) 今后对于统计推断,如果总体的分布为形式已知,仅对参数进行推断,我们就称之为参 数推断( Parameter deduce)(估计,检验);否则,称为非参数推断0 on-parameter deduce) §5.2直方图与经验分布函数 (Vertical Grapy and empirical Distribution Function) 直方图( Vertical Grapy) 设x1,X2,…,Xn是总体X的一个样本,又设总体具有概率密度∫,如何用样本来推断 f?注意到现在的样本是一组实数,因此,一个直观的办法是将实轴划分为若干小区间,记 下诸观察值X,落在每个小区间中的个数,根据大数定律中频率近似概率的原理,从这些个数 来推断总体在每一小区间上的密度。具体做法如下: 10找出X)=minx2,X(m)=maxX。取a略小于X,b略大于X(a) 20将[ab分成m个小区间,m<n,小区间长度可以不等,设分点为 <<t<b 在分小区间时,注意每个小区间中都要有若干观察值,而且观察值不要落在分点上 y记落在小区间(,1中观察值的个数(频数),计算频率=n,列表分 别记下各小区间的频数、频率 4°在直角坐标系的横轴上,标出t0,12…,lm各点,分别以(t1-1,]为底边,作高为 ∫1△,的矩形,M=1-1,j=12,…,m即得直方图51 △2 图5-1 实际上,我们就是用直方图对应的分段函数 Φn(x)=,x∈(t1-13,],j=12…m 来近似总体的密度函数∫(x).这样做为什么合理?我们引进“唱票随机变量”,对每个小区 间(-1,t1],定义 5=1若
56 所需确定的是参数 >0． (ⅲ) X 通常服从正态分布 ( , ) 2 N ，其密度函数 f x e x R x = − − , 2 1 ( ) 2 2 2 ( ) 2 ；， 所需确定的是参数 ( , ) 2 ，其中 R ， 0 2 ，对于每个总体，我们称其分布中参数的 一切可能取值的集合为参数空间(Parameter space)，记为 ，如在例 5.3 中，(ⅰ) = [0,1] ， (ⅱ) + = R ，(ⅲ) + = R R 。其中 = (−,+), = (0,+). + R R 今后对于统计推断，如果总体的分布为形式已知，仅对参数进行推断，我们就称之为参 数推断(Parameter deduce)（估计，检验）；否则，称为非参数推断(Non-parameter deduce) §5.2 直方图与经验分布函数 (Vertical Grapy and Empirical Distribution Function) 一、 直方图(Vertical Grapy) 设 X X Xn , , , 1 2 是总体 X 的一个样本，又设总体具有概率密度 f ，如何用样本来推断 f ？注意到现在的样本是一组实数，因此，一个直观的办法是将实轴划分为若干小区间，记 下诸观察值 Xi 落在每个小区间中的个数，根据大数定律中频率近似概率的原理，从这些个数 来推断总体在每一小区间上的密度。具体做法如下： 1 0 找出 i i n X X = 1 (1) min ， i i n X n X = 1 ( ) max 。取 a 略小于 X(i) ，b 略大于 X (n) ； 2 0 将 [a,b] 分成 m 个小区间， m n ，小区间长度可以不等，设分点为 a = t 0 t 1 tm b 在分小区间时，注意每个小区间中都要有若干观察值，而且观察值不要落在分点上。 3 0 记 j n =落在小区间 ( , ] j 1 j t t − 中观察值的个数（频数），计算频率 n n f j j = ，列表分 别记下各小区间的频数、频率。 4 0 在直角坐标系的横轴上，标出 m t ,t , ,t 0 1 各点，分别以 ( , ] j 1 j t t − 为底边，作高为 j j f / t 的矩形， , 1,2, , , t j = t j − t j−1 j = m 即得直方图5-1． 图5-1 实际上，我们就是用直方图对应的分段函数 来近似总体的密度函数 f (x) ．这样做为什么合理？我们引进“唱票随机变量”，对每个小区 间 ( , ] j 1 j t t − ，定义 i n X t t X t t i j j i j j i , 1,2, , 0, ( , ] 1, ( , ] 1 1 = = − − 若 若 x t t j m t f x j j i j n ( ) , ( , ], 1,2, , 1 = = −
则是独立同分布于两点分布 P{1=x}=p2(1-p)-x,x=0或 其中P=PX∈(1-1,1)},由柯尔莫哥洛夫强大数定律,我们有 5→>E5=P =PXe(1,4B=」f(x)…(m→) 以概率为1成立,于是当n充分大时,就可用∫来近似代替上式右边以f(x)(x∈(1-1,1,] 为曲边的曲边梯形的面积,而且若m充分大,Mt,较小时,我们就可用小矩形的高度 Φn(x)=J/A来近似取代f(x),x∈(t1-1 二、经验分布函数 Empirical distribution function) 对于总体X的分布函数F(未知),设有它的样本X1H2,…Xn,我们同样可以从样 本出发,找到一个已知量来近似它,这就是经验分布函数F(x)它的构造方法是这样的,设 x1,X2…,Xn诸观察值按从小到大可排成 x(u)≤X(2)≤…≤X(n (5.5) 定义 0.x<X (x)=/k <x≤X1,k 1,x>X F(x)只在x=X(),k=12,…,n处有跃度为力的间断点,若有个观察值相同,则F2(x) 在此观察值处的跃度为对于固定的x,F(x)即表示事件(X<x)在n次试验中出 现的频率,即Fn(x)=-{落在(-∞,x)中X1的个数}。用与直方图分析相同的方法可以论证 Fn(x)→>F(x),n→>∞,以概率为1成立。经验分布函数的图形如图5-2 ↓F.(x 实际上,Fn(x)还一致地收敛于F(x),所谓格里文科定理指出了这一更深刻的结论,即
57 则 i 是独立同分布于两点分布： { } (1 ) , 0 1 P i = x = p x − p 1−x x = 或 其中 { ( , )} j 1 j p P X t t = − ，由柯尔莫哥洛夫强大数定律，我们有 { ( , ]} ( ) ( ) 1 1 1 1 = = → = = → = − − = P X t t f x dx n E p n n n f j j t t j j n j i i j j 以概率为１成立，于是当 n 充分大时，就可用 j f 来近似代替上式右边以 f (x) ( x( , ] j 1 j t t − ) 为曲边的曲边梯形的面积，而且若 m 充分大， j t 较小时，我们就可用小矩形的高度 n j j (x) = f / t 来近似取代 ( ), ( , ] j 1 j f x x t t − . 二、 经验分布函数(Empirical distribution function) 对于总体 X 的分布函数 F （未知），设有它的样本 X X Xn , , , 1 2 ，我们同样可以从样 本出发，找到一个已知量来近似它，这就是经验分布函数 F (x) n .它的构造方法是这样的，设 X X Xn , , , 1 2 诸观察值按从小到大可排成 X(1) X(2) X(n) （5.5） 定义 = − = + ( ) ( ) ( 1) (1) 1, , , 1,2, , 1 0, ( ) n n k k x X X x X k n n k x X F x F (x) n 只在 X(k ) x = ，k = 1,2, , n 处有跃度为 n 1 的间断点，若有 l 个观察值相同，则 F (x) n 在此观察值处的跃度为 n l ．对于固定的 x ， F (x) n 即表示事件｛ X x ｝在 n 次试验中出 现的频率，即 n F x n 1 ( ) = {落在 (−, x) 中 Xi 的个数}。用与直方图分析相同的方法可以论证 F (x) n → F (x)， n →，以概率为１成立。经验分布函数的图形如图5-2． 图5-2 实际上， F (x) n 还一致地收敛于 F (x) ，所谓格里文科定理指出了这一更深刻的结论，即