第一章基础知识 1.1多维随机变量及其分布 随机向量的概念 多维随机变量也就是多个随机取值的变量,也称为随机向量 定义如果随机变量X1…,Xn定义在同一概率空间(923P)上,则称 X=(X12…Xn) 构成一个n维随机向量,称之为n维随机变量。 定义设x1,x2,…xn为实数,称n元函数 F(x12x2,xn)=P{X1≤x1,X2≤x2,…,Xn≤xn} 为随机向量X=(X1,Xn)的联合分布函数。 n元分布函数具有以下性质: (1)对任一x是单调不减的 (2)对任一x1是右连续的 (3)F(+∞,+0…+∞)=limF(x1,x2,…x)=l x1+0 n)=limF(x1,…,xn)=0 对n元离散随机变量还有其联合概率分布P(X1=x1,X2=x2,…,Xn=xn).而对n元 连续随机变量则存在非负可积函数f(x12x2…,xn),使得 F(x,x2…x)=…∫/(1n…,)中…d 这里的∫(x,x2,…,xn)称为联合密度函数,满足条件 f(x1,x2…xn)≥0 x 00 例1多项分布M(n,P2P2,…,Pn) 做n次重复独立试验,每次试验的结果为A,A2…,Am,P(A)=P,=1,2,,m 且
第一章 基础知识 1.1 多维随机变量及其分布 一 随机向量的概念 多维随机变量也就是多个随机取值的变量,也称为随机向量。 定义 如果随机变量 1 , , X X n 定义在同一概率空间 ( , , ) P 上,则称 X=( 1 , , X X n ) 构成一个 n 维随机向量,称之为 n 维随机变量。 定义 设 1 2 , , n x x x 为实数,称 n 元函数 1 2 1 1 2 2 ( , , ) { , , , } F x x x P X x X x X x n n n = 为随机向量 X=( 1 , , X X n )的联合分布函数。 n 元分布函数具有以下性质: (1) 对任一 i x 是单调不减的; (2) 对任一 i x 是右连续的; (3) 1 1 2 ( , , , ) ( , , , ) 1; lim n n x x F F x x x →+ →+ + + + = = 1 1 1 1 ( , , , , , , ) lim ( , , ) 0. i i i n n x F x x x x F x x − + →− − = = 对 n 元离散随机变量还有其联合概率分布 1 1 2 2 ( , , , ). P X x X x X x = = = n n 而对 n 元 连续随机变量则存在非负可积函数 1 2 ( , , , ) n f x x x ,使得 1 1 2 1 2 1 2 ( , , ) ( , , , ) . n x x F x x x f y y y dy dy dy n n n − − = 这里的 1 2 ( , , , ) n f x x x 称为联合密度函数,满足条件: 1 2 1 2 1 2 ( , , , ) 0, ( , , , ) 1. n n n f x x x f x x x dx dx dx + + − − = 例1 多项分布 1 2 ( , , , , ) M n p p pn 做 n 次重复独立试验,每次试验的结果为 1 2 , , , , ( ) , 1,2, , . A A A P A p i m m i i = = 且
P1=1,P 若记X表示在n次试验中A出现的次数,则m维随机变量(X1,X2,…,Xn)的概率分布 P(X Xn=n= P"p2…Pm n, 这里n20∑n 例2设∑=()为n阶正定对称矩阵,以表示Σ的行列式的值,=(H12…,) 为任意向量,则有密度函数 (2)2p2F 定义的分布称为n元正态分布,简记为N(,∑) 边缘分布 设F(x1,x2…xn)为n元分布函数,任意保留k(0≤k≤n)个x,例如x,x2…,x 而令其它的x都趋向于+∞,即 F(x12x2,…xk,+…,+∞)=limF(x12x2…,x)。 xk+1→+① xn→+00 显然,F(x1,x2…x,+0,…+∞)是一k元分布函数,称为F(x1,x2…xn)的k元 边缘分布函数 如果F(x,x2,…x)是连续型的,即有密度函数∫(x1x2,…,xn),则 F(x1,x23…xk,+∞,…,+∞)也是连续型的,其密度函数为 f2(x1,x2…,xk) fo xn) dx,dx2…ax 如果F(x1,x2…xn)是离散型的,则F(x1x2…xk,+∞,…,+∞)也是离散型的,其 边缘概率分布为 P(X1=x1,X2 x)=∑P(x1=x
1 1, 0. n i i i p p = = 若记 Xi 表示在 n 次试验中 Ai 出现的次数,则 m 维随机变量 1 2 ( , , , ) X X X n 的概率分布 为 1 2 1 1 2 2 1 2 1 2 ! ( , , , ) , ! ! ! n n nm m m m m n P X n X n X n p p p n n n = = = = 这里 1 0, 1. m i i i n n = = 例2 设 ( ) = ij 为 n 阶正定对称矩阵, 表示 的行列式的值, 1 2 ( , , , ) = n 为任意向量,则有密度函数 1 1 2 1 2 2 1 1 ( , , , ) exp{ ( ) ( )} 2 (2 ) n n f x x x x x − = − − − 定义的分布称为 n 元正态分布,简记为 N( , ). 二 边缘分布 设 1 2 ( , , ) F x x xn 为 n 元分布函数,任意保留 k (0 ) k n 个 , i x 例如 1 2 , , k x x x , 而令其它的 j x 都趋向于 + ,即 1 1 2 1 2 ( , , , , , ) ( , , , ) lim k n k n x x F x x x F x x x + →+ →+ + + = 。 显然, 1 2 ( , , , , , ) F x x xk + + 是一 k 元分布函数,称为 1 2 ( , , ) F x x xn 的 k 元 边缘分布函数。 如 果 1 2 ( , , ) F x x xn 是 连 续 型 的 , 即 有 密 度 函 数 1 2 ( , , , ) n f x x x , 则 1 2 ( , , , , , ) F x x xk + + 也是连续型的,其密度函数为 1,2, , 1 2 1 2 1 2 ( , , , ) ( , , , ) k k n k k n f x x x f x x x dx dx dx + + + + − − = 。 如果 1 2 ( , , ) F x x xn 是离散型的,则 1 2 ( , , , , , ) F x x xk + + 也是离散型的,其 边缘概率分布为 1, , 1 1 2 2 1 1 2 2 ( , , , ) ( , , , ). k xn k k n n x P X x X x X x P X x X x X x + = = = = = = =
注:边缘分布函数由联合分布函数惟一确定;反之不然,即不同的分布函数可能有相同的边 缘分布函数。 例设有两个二元分布函数F(xy)和G(xy),密度函数分别为 f(xy)=/x+y如果0≤xs1,0≤y≤1 0其他 +x)+y),如果0≤x≤1,0≤y≤1 g(x,y) 0,其他; 显然,F(xy)和Gxy)不恒等。但它们的边缘密度函数分别为 f()(xy)=(x+y)b=+120≤x g()8yb2+2+9)=x+205xE 所以fx(x)=gx(x).同理可知∫(y)=81(y) 三随机变量的独立性 定义设X1…Xn为n个随机变量,如果对任意实数x1,x2,…xn成立 P{X1≤x,X2≤x2,…,Xn≤xn}=P{X1≤x}P(X2≤x2}…P{Xn≤xn}, 则称X1y,Xn是相互独立的 如果X1的分布函数为F(x),它们的联合分布函数为F(x12x2,…xn),则相互独立性 等价于对一切x1,x2…xn,成立 F(x1,x2,…xn)=F1(x1)F2(x2)…Fn(xn) 在独立条件下,由随机变量的边缘分布可惟一确定其联合分布函数。 对离散型随机变量,其相互独立性等价于对任何一组可能取的值(x12x2,…x),成立 P{x1=x,X2=x2,…,Xn=xn}=P{X1=x1}P(X2=x2}…P(Xn=xn} 对连续随机变量X1…,Xn相互独立的充要条件是 ∫(x1,x2…xn)=f1(x1)(x2)…fn(x) 即联合分布密度函数等于边缘分布密度函数之积。 随机变量X1…Xn两两独立的充要条件是
注:边缘分布函数由联合分布函数惟一确定;反之不然,即不同的分布函数可能有相同的边 缘分布函数。 例 设有两个二元分布函数 F(x,y)和 G(x,y),密度函数分别为 , 0 1,0 1, ( , ) 0, ; x y x y f x y + = 如果 其他 1 1 ( )( ), 0 1,0 1, ( , ) 2 2 0, ; x y x y g x y + + = 如果 其他 显然,F(x,y)和 G(x,y)不恒等。但它们的边缘密度函数分别为 1 0 1 ( ) ( , ) ( ) ,0 1; 2 X f x f x y dy x y dy x x + − = = + = + 1 0 1 1 1 ( ) ( , ) ( )( ) ,0 1; 2 2 2 X g x g x y dy x y dy x x + − = = + + = + 所以 ( ) ( ). X X f x g x = 同理可知 ( ) ( ). Y Y f y g y = 三 随机变量的独立性 定义 设 1 , , X X n 为 n 个随机变量,如果对任意实数 1 2 , , n x x x 成立 1 1 2 2 1 1 2 2 { , , , } { } { } { }, P X x X x X x P X x P X x P X x = n n n n 则称 1 , , X X n 是相互独立的。 如果 Xi 的分布函数为 ( ), F x i 它们的联合分布函数为 1 2 ( , , ) F x x xn ,则相互独立性 等价于对一切 1 2 , , n x x x ,成立 1 2 1 1 2 2 ( , , ) ( ) ( ) ( ). F x x x F x F x F x n n n = 在独立条件下,由随机变量的边缘分布可惟一确定其联合分布函数。 对离散型随机变量,其相互独立性等价于对任何一组可能取的值( 1 2 , , n x x x ),成立 1 1 2 2 1 1 2 2 { , , , } { } { } { }. P X x X x X x P X x P X x P X x = = = = = = = n n n n 对连续随机变量 1 , , X X n 相互独立的充要条件是 1 2 1 1 2 2 ( , , , ) ( ) ( ) ( ), n n n f x x x f x f x f x = 即联合分布密度函数等于边缘分布密度函数之积。 随机变量 1 , , X X n 两两独立的充要条件是
对任意的X和x都是独立的,即对任意的≠都有 F. r, x)=F(xF(x,), 其中F,(x,x)为(X,X)的分布函数。 显然,相互独立性可推得两两独立性,反之不然 四条件分布与条件数学期望 设已给二维随机变量XY)对任意给定C,如果P{X∈C}>0,可考虑有y∈照的函数 PIr sylYeC}=PYsy∈C P{X∈C} 显然,P{Y≤yX∈C}是一维分布函数我们称为条件X∈C下Y的条件分布函数 设(XY)为离散的,其联合概率分布为 P(X=x,Y=y)=P,lj=1,2, 则 P(Y=y, IX=x J=Po= Py. P P{Y≤yX=x;}=5y 设(XY)为连续随机变量,联合密度函数为f(xy,如果在定点x,X的边缘密度 f(x)= f(, y)dy>0, 定义 f(x, =)de PY≤y|X= f(x) 为给定X=x条件下,Y的条件分布函数,一般记为Fx(x|y)称y的函数 f(x,y 为给定X=x条件下,Y的条件密度函数 显然有
对任意的 Xi 和 X j 都是独立的,即对任意的 i j , 都有 , ( , ) ( ) ( ), F x x F x F x i j i j i i j j = 其中 , ( , ) F x x i j i j 为( Xi , X j )的分布函数。 显然,相互独立性可推得两两独立性,反之不然。 四 条件分布与条件数学期望 设已给二维随机变量(X,Y),对任意给定 C,如果 P X C { } 0, 可考虑有 y 的函数 { , } { } , { } P Y y X C P Y y X C P X C = 显然, P Y y X C { } 是一维分布函数,我们称为条件 X C 下,Y 的条件分布函数。 设(X,Y)为离散的,其联合概率分布为 ( , ) , , 1,2, . P X x Y y p i j = = = = i j ij 则 . 1 { } , ij ij j i n i ij i p p P Y y X x p p = = = = = : 1 { } , j ij j y y i n ij i p P Y y X x p = = = 设(X,Y)为连续随机变量,联合密度函数为 f(x,y),如果在定点 x,X 的边缘密度 ( ) ( , ) 0, X f x f x y dy + − = 定义 ( , ) { } ( ) y X f x z dz P Y y X x f x − = = 为给定 X x = 条件下,Y 的条件分布函数,一般记为 ( ). F x y X Y 称 y 的函数 ( , ) ( ) ( ) X f x y f y x f x = 为给定 X x = 条件下,Y 的条件密度函数. 显然有
Fxp(xy)=f(=lads 同理可得 fr() 也可写成 f(x,y)=f(x)f(lx)=fr(y)f(xy) 由上式可得 fr(x)f(y/x) Lf(x)f(ylx)dr 这就是 Bayes公式的密度函数形式。 定义条件分布的数学期望称为条件数学期望,它可用条件分布计算得 ∑xP(X=xY=y E(XIy= xf(xy)dx, 条件数学期望E(Xy)与E(X)的区别:E(X)只有一个,而E(Xjy)有许多个,当Y取不 同值时,E(H|y)的值一般也是不同的,也就是说E(Xy)是y的函数,此函数刻画的是 X的条件数学期望随Y的取值y的变化规律。而E(X|Y)则为一随机变量取值为 E(Xy)的概率为P(Y=y) 例X表示中国成年人的身高,则E(X)表示中国成年人的平均身高,如果Y表示中国成 年人的足长,则E(Xy)表示足长为y的中国成年人的平均身高,我国公安部研究得 E(Xy)=6876y 条件数学期望是条件分布的数学期望故具有数学期望的一切性质,如 ()线性E∑qxy)=∑aE(X|y) (2)对任意函数g(X),有
( ) ( ) . y F x y f z x dz X Y − = 同理可得 ( , ) ( ) ( ) Y f x y f x y f y = . 也可写成 ( , ) ( ) ( ) ( ) ( ). X Y f x y f x f y x f y f x y = = 由上式可得 ( ) ( ) ( ) , ( ) ( ) X X f x f y x f x y f x f y x dx + − = 这就是 Bayes 公式的密度函数形式。 定义 条件分布的数学期望称为条件数学期望,它可用条件分布计算得 ( ), ( | ) ( ) , i i i x P X x Y y E X y xf x y dx + − = = = 条件数学期望 E X y ( ) 与 E(X)的区别:E(X)只有一个,而 E X y ( ) 有许多个,当 Y 取不 同值时, E X y ( ) 的值一般也是不同的,也就是说 E X y ( ) 是 y 的函数,此函数刻画的是 X 的条件数学期望随 Y 的取值 y 的变化规律。而 E X Y ( | ) 则为一随机变量,取值为 E X y ( ) 的概率为 P Y y ( ). = 例 X 表示中国成年人的身高,则 E(X)表示中国成年人的平均身高,如果 Y 表示中国成 年人的足长,则 E X y ( ) 表示足长为 y 的中国成年人的平均身高,我国公安部研究得 E X y ( ) =6.876y. 条件数学期望是条件分布的数学期望,故具有数学期望的一切性质,如 (1)(线性性) 1 1 ( ) ( ); n n i i i i i i E a X y a E X y = = = (2)对任意函数 g(X),有