第四章大数定理与中心极限定理 教学目的要求 1.了解随机变量序列的两种收敛性,即随机变量序列{nn}依概率收敛于η,分布函数列 F,(x)}弱收敛于分布函数F(x) 2.了解贝努力大数定理,车贝晓夫大数定理,辛钦大数定理及其应用 3.了解列维定理(独立同分布的中心极限定理)与德莫弗一拉普拉斯定理.并会运用这些 定理近似计算事件的概率 教学重点 大数定理及其应用 2.中心极限定理及其应用 教学难点 1.辛钦大数定理 2.中心极限定理的应用 §4.1大数定律 引入 讨论概率“逐渐稳定于”频率问题:n重贝努力试验中事件A出现的概率为P,若通过观察, 在n次试验中出现频率为un,是否有lm==P.即E0,是否存在充分大的整数N,使对 切nN有P{-p2}=0.如:事件A出现n次,即4,A2…A1,此时有可能发生Ln=n 于是==1.从而无论多么小的E(0E<1-P),不存在N当n>N时使P人n1、(=0成立 但事件-p≥6)发生的可能性很小如:un=P(=1)甲P(n=)=P→0m→∞) 定理4.1(贝努力大数定理)n重贝努力试验中事件A出现的概率为P,若在n次试验中出现 频率为un,则P-p2}=0.即lmP n Pl<8=1. 总证明令。几1在第次试验中出现,151≤n,则5,52““是m个相互独立的随机 0,在第次试验中A出现 量,且E5=P,D51 ∑5n-E∑ 而un=∑51,D(un)=mDl2=mp,且-p
第四章 大数定理与中心极限定理 教学目的要求 1.了解随机变量序列的两种收敛性,即随机变量序列{ n }依概率收敛于 ,分布函数列 {F n (x)}弱收敛于分布函数 F(x). 2.了解贝努力大数定理,车贝晓夫大数定理,辛钦大数定理及其应用. 3.了解列维定理(独立同分布的中心极限定理)与德莫弗—拉普拉斯定理.并会运用这些 定理近似计算事件的概率. 教学重点 1.大数定理及其应用 2.中心极限定理及其应用 教学难点 1.辛钦大数定理 2.中心极限定理的应用 §4.1 大数定律 引入 讨论概率“逐渐稳定于”频率问题:n 重贝努力试验中事件 A 出现的概率为 P,若通过观察, 在 n 次试验中出现频率为 u n ,是否有 n− lim n un =P.即 0,是否存在充分大的整数 N, 使对 一切n>N有P = 0 − p n n .如:事件A出现n次,即 A A An , , 1 2 ,此时有可能发生 n u = n . 于是 n un =1.从而无论多么小的 (0< <1-P),不存在 N,当 n>N 时,使 P = 0 − p n n 成立. 但事件{ n p n − }发生的可能性很小.如:u n =n.P( n un =1)=P(u n =n)=P n → 0(n → ). 定理 4.1(贝努力大数定理)n 重贝努力试验中事件 A 出现的概率为 P,若在 n 次试验中出现 频率为 u n ,则 n− lim P = 0 − p n n . 即 n− lim 1 n P p n − = . 证明:令 i = ，在第 次试验中 出现 在第 次试验中 出现 i A i A 0 1, ,1 i n .则 1 , 2 ……是n个相互独立的随机 变量,且 E i =P,D i =q. 而 n u == n i i 1 ,D(u n )=nD i =npq,且 n un -p= n un − np = n E n i n i n = = − 1 1 ( )
由车贝尔晓天不等式有 DC∑5n) n28)+(5#(5)/2n-m-=nB-0m),即证 -∑E 实质上,讨论形如 的随机变量在n→0时的统计规律,其中{5}是独立的 n 服从同一个0-1分布的随机变量. 定义4.1若51,52,……5n是随机变量序列如果存在常数列a1a2,……an,使对任意的 E>0,有lP(-an/(E)=1,则称随机变量序列{n}服从大数定理 因此,得到比贝努力大数定理更广泛一些的契贝晓夫大数定理 定理42设51,52,……5n是一列两两不相关的随机变量,且它的方差一致有界即彐常 数∞0使D5≤(1,2….)则对y)0有lP(1:-∑E5;E) D(∑5)D∑5) 证:P(1∑5,-E,12)5-m →0,(n 推论1:( Possion大数定理)在一系列独立试验中,事件A在第k次出现的概率为P,则 VE>0,有ImP( lnP+P2+……,Pn k<E)=1.(k=1,2,…) 证:此时D5=P(1-B)≤由Th4.2可证 推论2:习题P12(马尔科夫大数定理) 进一步,将方差存在这个条件减弱,另一条件加强,独立同分布 Th3(辛钦大数定理):设51252,…是一列独立同分布的随机变量,且数学期望E5=A 存在(=1,2…则e)0有lmn(∑5-a|(s)=1 大数定理本质是当n很大时,随机变量在n次观察中的算术平均值∑5,会“靠近“它
由车贝尔晓天不等式有: P(/ n un -P/ )=P(/ = n i i 1 -E( = n i i 1 )/ n 2 1 ( ) n D n i n = = 2 2 n npq = 2 n pq → 0(n → ),即证. 实质上,讨论形如 n E n i n i i i = = − 1 1 的随机变量在 n → 0 时的统计规律,其中{ i }是独立的 服从同一个 0-1 分布的随机变量. 定义 4.1 若 1 , 2 ,…… n 是随机变量序列,如果存在常数列 a 1 a 2 ,…… n a ,使对任意的 >0,有 n− lim P(/ n n i i =1 -a n / )=1,则称随机变量序列{ n }服从大数定理. 因此,得到比贝努力大数定理更广泛一些的契贝晓夫大数定理. 定理 4.2 设 1 , 2 ,…… n 是一列两两不相关的随机变量,且它的方差一致有界.即 常 数 c>0,使 D i c(i=1,2,…..)则对 0 有 n− lim P(| n 1 = n i i 1 - n 1 = n i E i 1 |< )=1. 证:P(| n 1 = n i i 1 - n 1 = n i E i 1 | ) 2 1 ) 1 ( = n i i n D = 2 2 1 ( ) n D n i i = 2 2 n nc = 2 n c → 0 ,(n → ). 推论 1:(Possion 大数定理)在一系列独立试验中,事件 A 在第 k 次出现的概率为 Pk,则 0,有 n− lim P( + + − | ...... | 1 2 n P P P n un n )=1.(k=1,2,…). 证:此时 D k = Pk (1− Pk ) 4 1 由 Th4.2 可证. 推论 2:习题 P 4.23 222 (马尔科夫大数定理) 进一步,将方差存在这个条件减弱,另一条件加强,独立同分布. Th4.3(辛钦大数定理):设 , , 1 2 ……是一列独立同分布的随机变量,且数学期望 E i =A 存在 (i=1,2……).则 0 有 n− lim (| a n i − 1 | )=1. 大数定理本质是:当 n 很大时,随机变量在 n 次观察中的算术平均值 = n i i n 1 1 会“靠近“它
的期望值即∑5依概率收敛于a 、应用 例4.1设51,52为独立分布随机变量序列均服从参数为A的 Possion分布.由于 E5=A,D5,=,因而mP(∑5-/E)=1 §4.2随机变量序列的两种收敛性 、依概率收敛和依分布收斂 定义4.2设有一列随机变量7n22…若VE)0有ImnP(mn-n/(E)=1,则称随机 变量序列{nn}依概率收敛于η.并记作limn2→或7n 相应的分布函数列Fn(x)}是否有imFn(x)=F(x) 例42设n,{mn}都是服从退化分布的随机变量,且P(n=0)=1. )=1,n=1,2, 于是,)0当n>时有P(mn-川2E)=P(mn|≥E)=0,所以mn→n(n→m)此时n 0.x≤ 的分布函数F(x)=x>0 7n的分布函数F(x)= n 0.x≤0 当x≠0时有lmF,(x)=F(x)当x=0时lmF,(X)=im1≠0=F(0).但此时x=0恰好是F(X) 的不连续点 定义43设F(x),F1(x),F2(x)…是一列分布函数.若对F(x)的每个连续点x,都有 imFn(x)=F(x)成立,则称分布函数列{Fn(x)}弱收敛于分布函数F(x).记作 F(x)"F(x)(n→>∞) 定义4.4设随机变量序列nn(7=1,2,3,…)的分布函数Fn(x)弱收敛于随机变量n 则称n依分布收敛于n.并记作 →>n(n→>∞) 二、两者关系
的期望值.即 = n i i n 1 1 依概率收敛于 a. 二、应用 例 4.1 设 , ,... 1 2 为独立分布随机变量序列,均服从参数为 的 Possion 分布.由于 E i = ,D i = ,因而 n− lim P(/ − = / 1 1 n i i n )=1. §4.2 随机变量序列的两种收敛性 一、依概率收敛和依分布收敛 定义 4.2 设有一列随机变量 1 2 , , ……,若 0 有 n− lim P(/ − / n )=1,则称随机 变量序列{ n }依概率收敛于 .并记作 lim p n n → ⎯⎯→ 或 ⎯→ p n (n ⎯→ p ). 相应的分布函数列{F n (x)}是否有 n− lim F n (x)=F(x). 例 4.2 设 ,{ } n 都是服从退化分布的随机变量,且 P( =0)=1. P( n =- n 1 )=1,n=1,2,… 于是, 0,当n> 1 时有P( − n )=P( n )=0,所以 ⎯→ P n ( n → ).此时 的分布函数 F(x)= 0, 0 1, 0 x x n 的分布函数 Fn (x)= 1 0, 1 1, x n x n − − . 当x 0时有 n− lim F n (x)=F(x)当x=0时 n− lim F n (X)= lim 1 n− 0=F(0).但此时x=0恰好是F(X) 的不连续点. 定义 4.3 设 F(x), F1 (x), F2 (x)…是一列分布函数.若对 F(x)的每个连续点 x,都有 lim F (x) n n→ =F(x) 成 立 , 则 称 分 布 函 数 列 { Fn (x)} 弱 收 敛 于 分 布 函 数 F(x). 记 作 Fn (x) ⎯⎯w→ F(x)(n → ). 定义 4.4 设随机变量序列 n ( =1,2,3,…)的分布函数 Fn (x)弱收敛于随机变量 . 则称 n 依分布收敛于 .并记作 n ⎯I→ (n → ). 二、两者关系
Th44若n(m→∞)则Fn(x)-">F(x)(→∞) R,由(n<x)=(mn≤x,n<x)∪(nn≥x,n<x c(7n<x)∪(7n≥x,n<x),有F(x')≤Fn(x)+P(mn≥x,nx') 若x(由mn知P(n2x,(x)≤P(7n2x-x3)→0(→∞),所以有 若x"x同理可证mFn(x)≤F(x") 当x《x≤x",有F(x)≤ lim F(x)≤LmFn(x)≤F(x").令x→>x,x”→x,有 F(x-0)≤LmFn(x)≤LmF(x)≤F(x+0) 如果x是F(x)的连续点有lmF(x)=F(x) 注意:(1)这个定理的逆不成立 例4.3抛掷一枚均匀硬币·记w1=正面,w2=反面.则 P(n1)=P(w2)=12(m)=/w=n 0.x≤-1 F(x)={1/2-1(x≤1 若令5(w)=-n(w),显然(w)与n(w)具有相同的分布函数,再令7n=,nn的分布函数 记为F.(x),此时F(x)=F(x).此时x∈R有LmF.(x)=LmF(x)=F(x),当然 Fn(x)"→F(x)(n→∞),而对V0(E2恒有P(kn-引>E)=P(2>E)=1≠0,可见 7n-5不成立 (2)ThA.4的特殊情况 Th4.5随机变量序列ηn->n≡C(C为常数)的充要条件为Fn(x)—">F(x).其中F(x) 是n≡C的分布函数,即F(x) ∫1,x>C ,x≤C 0 证:必要性由Th4.4给出.充分性 vE>0,P(n-引>E)=P(mn≥C+6)+P(mn≤C+6)=1-Fn(C+E)+Fn(C-E+0)→1-1+
Th4.4 若 n ⎯⎯p→ (n → )则 Fn (x) ⎯⎯w→ F(x)(n → ). 证 : x , x R, 由 ( < x ) =( x n , < x ) ( n x, < x ) ( n <x) ( n x, < x ),有 F( x ) Fn (x)+P( x x n , ). 若 x <x,由 n ⎯⎯p→ 知 P( x x n , ) P( n− x- x ) → 0(n → ),所以,有 F( x ) ⎯⎯⎯→ n→ Fn (x). 若 x >x 同理可证 n→ lim Fn (x) F( x ). 当 x <x≤ x ,有 F(x') ≤ ( ) lim F x n n− ≤ n→ Lim Fn (x)≤F( x ).令 x → x, x → x ,有 F(x-0) n→ Lim Fn (x)≤ n→ Lim Fn (x)≤F(x+0). 如果 x 是 F(x)的连续点有 n→ lim Fn (x)=F(x). 注意:(1)这个定理的逆不成立. 例 4.3 抛 掷 一 枚 均 匀 硬 币 . 记 w1 = 正 面 , w2 = 反 面 . 则 P( w1 )=P( w2 )=1/2. (w)= − = = 2 1 1, 1, w w w w 为一个随机变量 , 其 分 布 函 数 为 F(x)= − − 1, 1 1/ 2, 1 1 0, 1 x x x . 若令 (w)=- (w),显然 (w)与 (w)具有相同的分布函数,再令 n = , n 的分布函数 记 为 Fn (x), 此 时 Fn (x)=F(x). 此 时 x R 有 n→ Lim Fn (x)= n→ Lim F(x)=F(x), 当 然 Fn (x) ⎯⎯w→ F(x)(n → ),而对 0 2 恒有 P( n − > )=P( 2 > )=1 0,可见 n ⎯⎯p→ 不成立. (2)Th4.4 的特殊情况. Th4.5 随机变量序列 n ⎯⎯p→ C(C为常数)的充要条件为 Fn (x) ⎯⎯w→ F(x).其中F(x) 是 C 的分布函数,即 F(x)= x C x C 0, 1, . 证:必要性由 Th4.4 给出.充分性: 0,P( n − > )=P( n C+ )+P( n C+ )=1- Fn (C+ )+ Fn (C- +0) → 1-1+
Th6.特征函数的连续性定理.分布函数列(Fn(x)}弱收敛于分布函数F(x)的充要条件 为相应的特征函数列{n(T)}收敛于F(x)的特征函数q(t) 运用此定理可证明辛钦大数定律 推广Th4.4:随机变量序列依概率收敛的四则运算性一般有如下:斯鲁茨基定理成立. Th4.7舌{5in,},52n},…,fsk}是k个随机变量序列,并且 m-2→a1(n→>∞),(I=1,2,…k)又R(x1,x2,…,x)是k元变量的有理函数且 R(a1,a2,…;ak)≠±o,则有R(5m,52n,…;5如)R(a1,a2,…,ak),(n→>∞). §4.3中心极限定理 进一步研究独立随机变量和∑5的分布,先进行中心化,自加上的比分子取值增长快的 匈∑n-∑En0现在,使分母放上一个增长不快不慢的因子标准化 此时ESn=0,DSn=1.讨论其分布函数的极限 D∑) Th4.8在n重贝努力试验中,事件A在每次试验中( DeMoivre- Laplace)出概率为 P(0(1,为n次试验事件A出现的频率则Lim("=<x)=2zjcr2t n→① 这个定理是 Lindeberg-lewy定理的一个特例 Th4.9若5n,52 是一列独立同分布的随机变量.且 [=y/UT n→0 二、应用 设n服从三项分布,即Pun=)=V)pqn0≤k≤n,当n很大
0=0. Th4.6.特征函数的连续性定理.分布函数列{ Fn (x)}弱收敛于分布函数 F(x)的充要条件 为相应的特征函数列{ n (T)}收敛于 F(x)的特征函数 (t). 运用此定理可证明辛钦大数定律. 推广 Th4.4:随机变量序列依概率收敛的四则运算性一般有如下:斯鲁茨基定理成立. Th4.7 舌 { 1n, },{ 2n },…,{ kn } 是 k 个 随 机 变 量 序 列 , 并 且 in ⎯p→ i a (n → ),(I=1,2,…,k)又 R( 1 x , 2 x ,…, ik x )是 k 元变量的有理函数且 R( 1 a , a2 ,…, k a ) ,则有 R( 1n , 2n ,…, kn ) ⎯⎯p→ R( 1 a , a2 ,…, k a ),(n → ). §4.3 中心极限定理 进一步研究独立随机变量和 = n i i 1 的分布,先进行中心化,,自加上的比分子取值增长快的 因子 n, n E n i i n i i = = − 1 1 ⎯⎯p→ 0.现在,使分母放上一个增长不快不慢的因子.标准化 n S = = = = − n i i n i i n i i D E 1 1 1 ( ) ,此时 E Sn = 0, DSn = 1.讨论其分布函数的极限. Th4.8 在 n 重贝努力试验中,事件 A 在每次试验中(DeMoivre-Laplace)出概率为 P(0<p<1), n 为 n 次试验事件 A 出现的频率,则 Lim n→ ( x npq n np − )= − − x t / 2 22 2 dt. 这个定理是 Lindeberg-levy 定理的一个特例. Th4.9 若 1n , 2n ,…, 是一列独立同分布的随机变量 . 且 E , ( 0) 2 2 k = a D k = ,k=1,2,…, 则 有 lim( ) 1 x n na n k i n − = → = − − x t / 2 2 2 1 dt. 二、应用 1. 设 n u 服从二项分布 , 即 P(u n =k)= ( ) k n p k q n−k 0 k n . 当 n 很 大