敛”是一个什么事件不易说清楚。再则,其证明也较为复杂.然而这个定理的概率直观内容 是非常清楚的,因此我们在此特别列出 注我们同样有:若随机变量序列5n为非负的,并且独立同分布,而E5n=+∞,则 +∞ 定义1.8设5为连续型随机变量其分布函数为F(x),如果随机变脸序列ξn的分布函 数收敛到F(x),则称依分布收敛到5,记为5n5 依分布收敛可以广到一般的非连续型的随机变量ξ。即:如果在随机变量ξ的分布函 数F(x)的所有的连续点x上有:随机变量序列5n的分布函数收敛到F(x)则也称为5n依分 布收敛到5.仍记为ξ (例如,遵从 Poisson分布(参见后面的典型分布-1.7 段)就是一种常见的情形) 依分布收敛也称为弱收敛,也记为5n—”>5.在概率论的理论中已经证明了 5分Ee 台E(5n)→E()(f为任意有界连续函数) 从概率收敛一定能推出依分布收敛.(证明:记5n,点的分布函数为Fn,F固定x,对于x<x有 ≤x}c{n≤x+{n>x.≤x} F(x)≤F(x)+P(5n>x,5≤x)≤Fn(x)+P(|n-5|x-x F(x)≤ lim inf2mF(x)对称地利用x">x,可以证明F(x")≥ lim m sup>m F(x).连起来成 为F(x)≤ lim inf≥mFn(x)≤ lm m sup m>m F(x)≤F(x").如果F在x连续,那么令 便得F(x)≤ lim inf F(x)≤lm Fn(x)≤F(x) Fn(x)→>F(x)) 反之,从依分布收敛却不能推出概率收敛,除非极限随机变量为一个常数 一般地,我们有 n→5n+T 2+ 但是从n)2,n4>n并不能推出En+n->2+n
6 敛” 是一个什么事件不易说清楚。再则, 其证明也较为复杂. 然而这个定理的概率直观内容 是非常清楚的, 因此我们在此特别列出. 注 我们同样有 : 若随机变量序列 n x 为 非负的 ， 并 且 独立同分布 , 而 Exn = +¥ , 则 ¾¾®+¥ 1 + + n a.e. n x L x . 定义１．８ 设x 为连续型随机变量,其分布函数为 F(x), 如果随机变脸序列 n x 的分布函 数收敛到 F(x)，则称 n x 依分布收敛到x , 记为x ¾®x d n ． 依分布收敛可以广到一般的非连续型的随机变量x 。 即：如果在随机变量x 的分布函 数 F( x) 的所有的连续点 x 上有：随机变量序列 n x 的分布函数收敛到 F(x), 则也称为 n x 依分 布收敛到x . 仍记为 x ¾®x d n (例如,x 遵从 Poisson 分布 (参见后面的典型分布―1．７ 段 ) 就是一种常见的情形) . 依分布收敛也称为弱收敛, 也记为 x ¾®x w n . 在概率论的理论中已经证明了: lx lx x x d i i n Ee Ee ¾® Û n ® Ef (x ) Ef (x ) Û n ® （ f 为任意有界连续函数）. (1. 12) 从概率收敛一定能推出依分布收敛. (证明: 记 x ,x n 的分布函数为 Fn , F .固定 x , 对于 x'< x 有 { x'} { x} { x, x'} x £ Ì xn £ + xn > x £ . 于 是 , 由上式和 x ¾®x p n 推 出 F(x') F (x) P( £ n + x, x') x n > x £ F (x) P( £ n + | | x x') xn - x ³ - . 因 此 F(x') lim inf F (x) £ m n³m n . 对称地利用 x"> x , 可以证明 F(x") lim sup F (x) ³ m n³m n . 连起来成 为 F(x') lim inf F (x) £ m n³m n lim sup F (x) F(x") £ m n³m n £ . 如 果 F 在 x 连 续 , 那么令 x', x"® x , 便 得 F(x) lim inf F (x) £ m n³m n lim sup F (x) F(x) £ m n³m n £ . 这就是 F (x) F(x) n ® ). 反之，从依分布收敛却不能推出概率收敛, 除非极限随机变量为一个常数. 一般地, 我们有 x ¾®x h ¾®h Þ x +h ¾®x +h d n n d n p n , . (1. 1３) 但是从x ¾®x h ¾®h d n d n , 并不能推出 x + h ¾®x + h d n n ．
依分布收敛也可以用于近似计算概率 对于随机向量,类似地也有依分布收敛及收敛的充要条件.于是有 v(S1…,Sa.∑s5 →>∑s51(1.14) 概率论中另一个最重要的定理是中心极限定理,其叙述如下 若随机变量序列n为独立同分布,EEn=H且War5n=2(n=1,2,…),则 N(0,1) 中心极限定理对d维随机变量也是成立的 定理1.9( Polya定理)设随机变量序列ξn和随机变量ξ满足ξn→>ξ,且ξ的分 布函数F(x)是连续函数,则5n的分布函数Fn(x)一致收敛到5的分布函数F:(x) 此结论称为 Polya定理,其证明是数学分析的一个习题 推论1.10若随机变量序列n为独立同分布,EEn=H且 Vars=2(n 则 dy2丌·n 这可以理解为引1+…+5n有近似分布N(E(1+…+5n),am(1+…+5n) 可以用特征函数或矩母函数来表示依分布收敛,具体结论如下 若随机变量序列n的特性函数qn(4)”→Q(,且p(4)在λ=0点连续,则 qλ)必是某个随机变量ξ的特征函数,而且n5 注1以上结论比(1.12)式要好用.因为在(1.12)式中需要事先知道极限函数确实是特 征函数,而此需要正是在应用时难以判别的而此断言正好给出了判断一个函数为特征函数 的充分条件,所以这是非常有用的 注2此结论在内容上易于理解,在应用上也简单方便,但是其证明则需要用到超出本 书范围的 Fourier- Stilt jes分析这个数学工具.而在一般初等概率论中也并不给出此结论的 推导.有兴趣的读者可以选阅较高一些水平的概率论教科书,例如,严士健等人编写的《概 率论》 注3对于d维情形,相应的结论仍然正确 1.7典型分布 离散随机变量的典型分布有 [ Bernoul I i(二项)分布B(N,p)]概率函数为 P(x) :(1-p)-(0<p<1x=0,1,,N),数学期望为Np 7
7 依分布收敛也可以用于近似计算概率. 对于随机向量, 类似地也有依分布收敛及收敛的充要条件. 于是有 å å = = ¾® Û " ¾® d i i i d d i n d d i i n d d n s s s s 1 1 ( ) 1 1 ( ) ( ) 1 (x ,L,x ) (x ,L,x ) ( ,L, ), x x . (1. 14) 概率论中另一个最重要的定理是中心极限定理, 其叙述如下 若随机变量序列 n x 为独立同分布 , Exn = m 且 ( 1,2, ) Varx n = s 2 n = L , 则 (0,1) 1 N n n n d ¾® + + - s x L x m . 中心极限定理对 d 维随机变量也是成立的． 定理１．９（Polya 定理） 设随机变量序列 n x 和随机变量x 满足x x d n ® , 且x 的分 布函数 F (x) x 是连续函数, 则 n x 的分布函数 F (x) x n 一致收敛到x 的分布函数 F (x) x . 此结论称为 Polya 定理，其证明是数学分析的一个习题. 推论１．１０ 若随机变量序列 n x 为独立同分布, Exn = m 且 ( 1,2, ) Varx n = s 2 n = L , 则 | 0 2 1 | ( ) 2 2 2 ( ) 1 ®¥ -¥ s - m - -¥< <¥ ® s p× x + + x £ - ò x n n u n x n e du n Sup P L x . 这可以理解为 n x +L+ x 1 有近似分布 ( ( ), ( )) 1 1 n N E x +L+x Var x +L+ x n . 可以用特征函数或矩母函数来表示依分布收敛，具体结论如下 若随机变量序列 n x 的特性函数 j (l) ¾ ¾®j(l),且j(l) n®¥ n 在 l = 0 点连续, 则 j(l) 必是某个随机变量x 的特征函数, 而且x ¾®x d n . 注 1 以上结论比(1.12)式要好用. 因为在(1.12)式中需要事先知道极限函数确实是特 征函数, 而此需要正是在应用时难以判别的. 而此断言正好给出了判断一个函数为特征函数 的充分条件, 所以这是非常有用的. 注 2 此结论在内容上易于理解, 在应用上也简单方便, 但是其证明则需要用到超出本 书范围的 Fourier-Stieltjes 分析这个数学工具． 而在一般初等概率论中也并不给出此结论的 推导. 有兴趣的读者可以选阅较高一些水平的概率论教科书, 例如, 严士健等人编写的《概 率论》. 注 3 对于d 维情形, 相应的结论仍然正确. １．７ 典型分布 离散随机变量的典型分布有 [Bernoulli(二项)分布 B(N, p) ] 概率函数为 x N x p p x N p x - - ÷ ÷ ø ö ç ç è æ ( ) = (1 ) (0 < p < 1, x = 0,1,..., N) ， 数学期望为Np
方差为Np(1-p),矩母函数为M(-)=(pe+(1-p) [ Poisson分布 Poisson2]概率函数为p(x)=e (λ>0,x=0,1,2,) 数学期望为λ,方差为λ,矩母函数为M(=)=ee [几何分布]概率函数为p(x)=P(1-pP) 数学期望为P,方差为P,矩母函数为M()=P P 1-(1-p) 「负二项分布( Pascal分布)]r个具有独立同几何分布的随机变量的和的分布称为负二项 分布.概率函数为p(x)=Cr1p(1-p)(x=r,r+1) 数学期望为0-P),方差为一P,矩母函数为M(2)=(.Pe)y (1-p)e [多项分布]概率函数为p(x)=C”p…P"(x=(m1…,n1),n1+…+nk=m) (P12…,P4>0,p1+…+pk=1),其中Cn 连续型随机变量的典型分布 正态分布N(,a2)]分布密度为p(x)= 数学期望为μ,方差为σ2,矩母函数为M()=e 特征函数为 q()=e 「指数分布ExP]分布密度为p(x)=el.(x)(λ>0) 数学期望为1 ’方差为2,矩母函数为M(x)= 指数分布是唯一的一个取值于[O,∞)的无记忆分布,即满足:对于任意s,t>0,恒有 P(>s+l|2>D)=P(>s) 均匀分布U[a,b]分布密度为p(x) Ia, b(x) 数学期望为 方差为 矩母函数为M(二)= 8
8 方差为 Np(1- p) ，矩母函数为 z N M (z) = (pe + (1- p)) ． [Poisson 分布 Poissonl ] 概率函数为 ( 0, 0,1,2,...) ! ( ) = > = - x x p x e x l l l ， 数学期望为 l ， 方差为 l ， 矩母函数为 ( 1) ( ) - = z e M z e l ． [几何分布] 概率函数为 ( ) (1 ) ( 1,2,...) 1 = - = - p x p p x x ， 数学期望为 p 1- p ， 方差为 2 1 p - p ，矩母函数为 z z p e pe M z 1 (1 ) ( ) - - = ． [负二项分布 (Pascal 分布)] r 个具有独立同几何分布的随机变量的和的分布称为负二项 分布. 概率函数为 ( ) (1 ) ( , 1,...) = 1 - = + - - - p x C p p x r r r x r x r r ， 数学期望为 p r(1- p) ， 方差为 2 (1 ) p r - p ，矩母函数为 r z z p e pe M z ) 1 (1 ) ( ) ( - - = ． [多项分布] 概率函数为 k nk k n n n p x Cn p L p 1 L 1 1 , , ( ) = ( ( , , ), ) x = n1 L nk n1 +L+ nk = n , ( , , 0, 1) p1 L pk > p1 +L+ pk = , 其中 ! ! ! 1 , , 1 k n n n n n n C k L L = . 连续型随机变量的典型分布 [正态分布 ( , ) 2 N m s ] 分布密度为 ( 0) 2 1 ( ) 2 2 2 ( ) = > - - s ps s x m p x e ， 数学期望为 m ， 方差 为 2 s ，矩母函数为 2 2 2 1 ( ) z z M z e m + s = , 特征函数为 2 2 2 1 ( ) i t t t e m s j - = ． [指数分布 Expl ] 分布密度为 ( ) ( ) ( 0) = [0,¥) > - l l l p x e I x x ， 数学期望为 l 1 ， 方差为 2 1 l ，矩母函数为 z M z l- l ( ) = 指数分布是唯一的一个取值于[0,¥) 的无记忆分布, 即满足: 对于任意s,t > 0 , 恒有 P(x > s + t |x > t) = P(x > s) . [均匀分布 U[a,b] ] 分布密度为 ( ) 1 ( ) [ , ] I x b a p x a b - = ， 数学期望为 2 a + b ， 方差为 12 ( ) 2 b - a ，矩母函数为 b a z e e M z bz az ( ) ( ) - - =
[Gama分布(ra,A)分布)分布密度为p(x)=、x“elx(x)(,2>0) r() 数学期望为一,方差为 r(a+k) 2r(a),矩母函数为M()=(x) (HE: r(a)=(edt, r(x+1)=xr(x), r(n+1)=n 逆m0分布(r(a,)分布]设5~r(a,A),则n的分布称为逆m分布 (逆Gama分布常常在方差的 Bayes统计中,用作方差的先验分布) Er lang分布(记为 Erlang n3)它是n个独立的ExP2随机变量的和的分布.它就是 r(n,元)分布 [x2(m)分布]它是n个独立的N(0,1)随机变量的平方和的分布.分布密度为 p(x)= xe2lox(x)(x>0),数学期望为n,方差为2n [Beta分布(B(a,B)分布)] 分布密度为p(x)=a(B) x(1-x)2-on(x)(a,B>0),数学期望为 (a+B) 方差为 k阶矩为E= a(a+1)…(a+k-1) (a+B)(a+B+1) (a+B)(a+β+1)…(a+B+k-1) ∑。(9)2(x 指数族分布]是包含上述多种分布的概括与推广)分布密度为p(x)=C(9)h(x)e Weibul分布W(,4)]分布密度为p()=a"e-ls(O)a,>0), 数学期望为λr(1+-),方差为A[(1+-)-(r(1+)2 1 (若5~expx,则n=5a~W(a,)) 广义 Gamma分布]分布密度为P()sβ0-krk-e, T(K) p)()
9 ［Gamma 分布 （G(a,l) 分布）］ 分布密度为 ( ) ( ) ( ) [0, ) 1 p x x e I x x ¥ a- -l a G a l = (a,l > 0) , 数学期望为 l a , 方差为 2 l a , ( ) ( ) l a a x G G + = k k k E , 矩母函数为 a l- l ( ) = ( ) z M z . ( 注: ò ¥ - - G = 0 1 ( ) t e dt a t a , G( x + 1) = xG( x) , G(n + 1) = n!). [逆 Gamma 分布 (IG (a,l) 分布] 设x ~ G (a,l) ，则 x h 1 = 的分布称为逆 Gamma 分布． （逆 Gamma 分布常常在方差的 Bayes 统计中，用作方差的先验分布） [Erlang 分布 (记为Erlang n,l )] 它是n 个独立的 Expl 随机变量的和的分布．它就是 G（n,l) 分布． ［ ( ) 2 c n 分布 ］它是 n 个独立的 N(0,1) 随机变量的平方和的分布．分布密度为 ( ) ( 0) ) 2 2 ( 1 ( ) [0, ) 2 1 2 2 > G = ¥ - - x e I x l n p x n x n ， 数学期望为 n ， 方差为 2n． [Beta 分布 ( B(a, b ) 分布)] 分布密度为 (1 ) ( ) ( ) ( ) ( ) ( ) [0,1] 1 1 p x x x I x - - - G + G G = a b a b a b (a,b > 0) ， 数学期望为 a b a + , 方差为 ( ) ( 1) 2 a + b a + b + ab ，k 阶矩为 ( )( 1) ( 1) ( 1) ( 1) + + + + + - + + - = k k E k a b a b a b a a a x L L . [指数族分布] (是包含上述多种分布的概括与推广) 分布密度为 ( ) ( ) 1 ( ) ( ) ( ) Tk x m k k p x C h x e å = J = j J × . [Weibull 分布 W (a,l) ] 分布密度为 ( ) ( )( , 0) [0, ) 1 = × × ¥ > - - × l l l p t a t e I t a a a t ， 数学期望为 ) 1 (1 1 a aG + - l , 方差为 )) ] 1 ) ( (1 2 [ (1 2 2 a a a G + - G + - l ． （若 l x ~ exp ， 则 ~ ( , ) 1 h x W a l a = ）． [广义 Gamma 分布] 分布密度为 ( ) ( ) ( ) [0, ) ( ) 1 p t t e I t t ¥ - - - - G = b bk bk s s k b
截尾正态分布]分布函数为F(O)=C(-2)210=)(),其中d(x)为N(01)的分布函数, C为规格化常数 Pareto分布]分布密度为p(x)=/^ lao,(x) 数学期望为 (r>1),方差为 ,(P>2) l)(r-2) 另外,分布密度为P(x) +/1-01(x)的分布也称为Preo分布它出现在经济学中,例如 在成熟的市场经济社会中,财富的占有人数的分配比例近似地呈现为 Pareto分布.若5~ Pareto(r,a) 则n=log2~Exp2 [极值分布E(,B),也称为 Gumble(a,B)分布 分布函数为F(x)=(1-e )1ax)(x),数学期望为a+Cβ(C为Euer常数,方差 特征函数为q(1)=er(1-iB1) 6 (若5~ExB,则a-Blog5~ Gumble(a,B) Logistic(a,B)分布]分布函数为F(x)=-xx, 数学期望为a,方差为xB2,特征函数为 [逆 Gauss分布]分布密度为p(x)=/2 e2x)(x)λ,a>0) 2丌·x 数学期望为a,方差为 复合 Poisson分布]设51,52…为独立同分布,其分布函数均为F(x),为简单起见,我 们假定它具有密度函数∫(x),N是一个与{1,52}独立的随机变量,且遵从 Poisson, 则η=51+52+…+5N的分布称为复合 Poisson分布,其分布密度函数为 fn(x)=∑e(x),其中f”(x)为f(x)的k次卷积(参见(1.7式
10 [截尾正态分布] 分布函数为 ) ( ) 2 1 ( ) ( ( ) [0, ) F t C t I t = F - ¥ , 其中 F(x) 为 N(0,1) 的分布函数, C 为规格化常数. [Pareto 分布] 分布密度为 ( ) 1 ( ) 1 [ , ) I x x p x ra r a r = + ¥ ， 数学期望为 ,( 1) 1 > - r r ra ， 方差为 ,( 2) ( 1)( 2) 2 > - - r r r ra ． 另外，分布密度为 ( ) ( ) ( ) 1 ( ,0] I x x p x a+ -l a l + al = 的分布也称为 Pareto 分布. 它出现在经济学中, 例如, 在成熟的市场经济社会中, 财富的占有人数的分配比例近似地呈现为Pareto分布. 若x ~ Pareto(r, a) , 则 l x l h Exp a r = log ~ . [极值分布 E(a,b ) ，也称为Gumble(a,b ) 分布] 分布函数为 ( ) (1 ) ( ) [0, ) exp( ) F x e I x x ¥ - - -× = - b a , 数学期望为 a +Cb (C 为 Euler 常数), 方差 为 6 2 2 p b , 特征函数为 (t) e (1 i t) i t j = G - b × a . （若x ~ Exp1 ，则a - b logx ~ Gumble(a,b ) ）． [Logistic (a, b ) 分布] 分布函数为 b -a - + = x e F x 1 1 ( ) , 数学期望为 a , 方差为 3 2 2 p b , 特征函数为 ( ) sin( i t) i t t e i t × × × × = p b p b j a . ［逆 Gauss 分布］ 分布密度为 ( )( , 0) 2 ( ) [0, ) 2 ( ) 3 2 2 > × = ¥ - - e I x a x p x a x x a l p l l ． 数学期望为 a ， 方差为 l 3 a ． [复合 Poisson 分布] 设 , ,... x1 x 2 为独立同分布, 其分布函数均为F( x) , 为简单起见，我 们假定它具有密度函数 f (x) , N 是一个与{ , ,...} x1 x 2 独立的随机变量, 且遵从 Poissonl , 则 1 2 N h = x + x +L+ x 的分布称为复合 Poisson 分 布 , 其分布密度函数为 ( ) ! ( ) * 0 f x k f x e k k k å ¥ = - D = l l h , 其中 ( ) * f x k 为 f (x) 的k 次卷积 (参见 (1. 7)式)