第三节协方差及相关系数 对多维随机变量,随机变量的数学期望和方差只反映了各自的平均值与偏离程度,并没 能反映随机变量之间的关系.本节将要讨论的协方差是反映随机变量之间依赖关系的一个 数字特征 分布图示 ★引言 ★协方差的定义 ★协方差的性质 ★例 ★例 ★相关系数的定义 ★相关系数的性质 例 ★例4 ★例5 ★例6 ★矩的概念 ★协方差矩阵 ★n维正态分布的概率密度 ★n维正态分布的几个重要性质 ★例7 ★内容小结 ★课堂练习 ★习题43 返回 内容要点 、协方差的定义 定义设(X,Y)为二维随机向量,若 E{[X-E(x川[Y-E(y)} 存在,则称其为随机变量X和Y的协方差,记为Cov(XY),即 cOV(X, Y)=EIX -E(XJlY-E(Y)I 按定义,若(X,Y)为离散型随机向量,其概率分布为 P(X=x,Y=y}=P(,j=12,…) cov(X,Y)=E(, -E(XID, -E(Y)D) 若(X,Y)为连续型随机向量,其概率分布为f(x,y),则 cov(x,r)=[rE([x-E(r)]Ly-E(Y)1:/(x,y)dxdy 此外,利用数学期望的性质,易将协方差的计算化简 cOV(X, Y=EILX-EOXIR-E(YI) E(XD-E(XE(Y)-E(E(X)+E(XE(n) E(XY-E(XE() 特别地,当X与Y独立时,有cowX,Y)=0 、协方差的性质 协方差的基本性质 cov(X, X)=D(X)
第三节 协方差及相关系数 对多维随机变量, 随机变量的数学期望和方差只反映了各自的平均值与偏离程度，并没 能反映随机变量之间的关系. 本节将要讨论的协方差是反映随机变量之间依赖关系的一个 数字特征. 分布图示 ★ 引言 ★ 协方差的定义 ★ 协方差的性质 ★ 例 1 ★ 例 2 ★ 相关系数的定义 ★ 相关系数的性质 ★ 例 3 ★ 例 4 ★ 例 5 ★ 例 6 ★ 矩的概念 ★ 协方差矩阵 ★ n 维正态分布的概率密度 ★ n 维正态分布的几个重要性质 ★ 例 7 ★ 内容小结 ★ 课堂练习 ★ 习题 4-3 ★ 返回 内容要点 一、协方差的定义 定义 设 (X,Y) 为二维随机向量,若 E{[X − E(X)][Y − E(Y)]} 存 在 , 则称其为随机变量 X 和 Y 的 协方差 , 记 为 Cov(X,Y) , 即 cov(X,Y) = E{[X − E(X)][Y − E(Y)]}. 按定义, 若 (X,Y) 为离散型随机向量,其概率分布为 P{X = x ,Y = y }= p (i, j =1,2, ) i j ij 则 = − − i j X Y E xi E X y j E Y , cov( , ) {[ ( )][ ( )]}. 若 (X,Y) 为连续型随机向量, 其概率分布为 f (x, y), 则 + − + − cov(X,Y) = E{[x − E(X )][y − E(Y)]}f (x, y)dxdy . 此外, 利用数学期望的性质, 易将协方差的计算化简. ( ) ( ) ( ). ( ) ( ) ( ) ( ) ( ) ( ) ( ) cov( , ) {[ ( )][ ( )]} E XY E X E Y E XY E X E Y E Y E X E X E Y X Y E X E X Y E Y = − = − − + = − − 特别地, 当 X 与 Y 独立时, 有 cov(X,Y) = 0. 二、协方差的性质 1. 协方差的基本性质 (1)cov(X, X) = D(X);
(2)cov(X, Y)=cov(r, X) (3) coax,bY)= abcov(X,Y),其中a,b是常数 (4)cowC,X)=0C为任意常数 (5)cov(X1+X2, Y)=cov(X,r)+ cov(X2, r) (6)若X与Y相互独立时,则cowX,Y)=0 2.随机变量和的方差与协方差的关系 D(X +Y=D(X)+D(r)+2cov(X, Y) 特别地,若X与Y相互独立时,则 三、相关系数的定义 定义设(x,H)为二维随机变量,D(x)>0,D(Y)>0.,称 D(XD(r) 为随机变量X和Y的相关系数有时也记px为p.特别地,当px=0时,称X与y不相关 四、相关系数的性质 1.|pxk≤l 2.若X和Y相互独立,则pxy=0 3.若DX>0Dy>0,则pxy=1当且仅当存在常数a,b(a≠0).使P{Y=aY+b}=1,而 且当a>0时,pxy=1;当a<0时,pxy=-1 注:相关系数pxy刻画了随机变量Y与X之间的“线性相关”程度 ρxyl的值越接近1,Y与X的线性相关程度越高 ρxy的值越近于0,Y与Y的线性相关程度越弱 当|Pxy=1时,y与X的变化可完全由X的线性函数给出 当Pxy=0时,Y与X之间不是线性关系 4.设e=EY-(aX+b)],称为用aX+b来近似Y的均方误差则有下列结论 设D(X)>0,D()>0,则a=D(x) b=E(Y)-a0E(X)使均方误差达到最小 注:我们可用均方误差e来衡量以aX+b近似表示Y的好坏程度,e值越小表示aX+b与 Y的近似程度越好且知最佳的线性近似为ax+b而其余均方误差e=D(Y)(1-p23y).从这
(2)cov(X,Y) = cov(Y, X); (3)cov(aX,bY) = abcov(X,Y) ,其中 a,b 是常数; (4)cov(C, X) = 0,C 为任意常数; (5) cov( , ) cov( , ) cov( , ). X1 + X2 Y = X1 Y + X2 Y (6) 若 X 与 Y 相互独立时,则 cov(X,Y) = 0. 2. 随机变量和的方差与协方差的关系 D(X +Y) = D(X) + D(Y) + 2cov(X,Y), 特别地, 若 X 与 Y 相互独立时, 则 D(X +Y) = D(X) + D(Y) . 三、相关系数的定义 定义 设 (X,Y) 为二维随机变量, D(X) 0,D(Y) 0, 称 ( ) ( ) ( , ) D X D Y Cov X Y XY = 为随机变量 X 和 Y 的相关系数.有时也记 XY 为 . 特别地，当 XY = 0 时，称 X 与 Y 不相关. 四、相关系数的性质 1. | |1; XY 2. 若 X 和 Y 相互独立, 则 XY = 0 . 3. 若 DX 0,DY 0 ,则 | XY |=1 当且仅当存在常数 a,b(a 0). 使 P{Y = aX + b} =1, 而 且当 a 0 时, XY = 1 ;当 a 0 时, XY = −1 . 注: 相关系数 XY 刻画了随机变量 Y 与 X 之间的“线性相关”程度. | | XY 的值越接近 1, Y 与 X 的线性相关程度越高; | | XY 的值越近于 0, Y 与 Y 的线性相关程度越弱. 当 | XY |=1 时, Y 与 X 的变化可完全由 X 的线性函数给出. 当 XY = 0 时, Y 与 X 之间不是线性关系. 4. 设 [ ( )] , 2 e = E Y − aX + b 称为用 aX + b 来近似 Y 的均方误差,则有下列结论. 设 D(X) 0,D(Y) 0, 则 , ( ) ( ) ( ) cov( , ) 0 b0 E Y a0E X D X X Y a = = − 使均方误差达到最小. 注: 我们可用均方误差e来衡量以 aX + b 近似表示Y的好坏程度, e值越小表示 aX + b 与 Y 的近似程度越好.且知最佳的线性近似为 . a0X + b 而其余均方误差 ( )(1 ) 2 D Y XY e = − . 从这
个侧面也能说明.px|越接近1,e越小反之,|pxyl越近于0,e就越大Y与X的线性相关 性越小 五、矩的概念 定义设X和Y为随机变量,k,l为正整数,称 E(X 为k阶原点矩(简称k阶矩阵), E(X-E(X)为k阶中心矩 E(X1) 为k阶绝对原点矩 E(X-E(X))为k阶绝对中心矩; 为X和y的k+l阶混合矩 E{X-E(X)-E(Y)}为x和y的k+阶混合中心矩; 注:由定义可见 (1)X的数学期望E(X)是X的一阶原点矩; (2)X的方差D(x)是X的二阶中心矩 (3)协方差Cov(X,Y)是X和y的二阶混合中心矩 六、协方差矩阵 将二维随机变量(x1X2)的四个二阶中心矩 c1=E{X1-E(X1)3},c2=E{X2-E(x2)} C12=E{LX1-E(X1)[X2-E(X2) c21=E{X2-E(X2)X1-E(X1)]} 排成矩阵的形式: (对称矩阵),称此矩阵为(X1,X2)的协方差矩阵 类似定义n维随机变量(X1,X2…,Xn)的协方差矩阵 若cn=Cow(X,x)=E{X1-E(CX,川x-E(x,川}=12,…,n都存在,则称 为(x1,X2…,Xn)的协方差矩阵 六、n维正态分布的概率密度 七、n维正态分布的几个重要性质 例题选讲
个侧面也能说明. | | XY 越接近 1, e 越小.反之, | | XY 越近于 0, e 就越大.Y 与 X 的线性相关 性越小. 五、矩的概念 定义 设 X 和 Y 为随机变量, k,l 为正整数, 称 ( ) k E X 为 k 阶原点矩(简称 k 阶矩阵); ([ ( )] ) k E X − E X 为 k 阶中心矩; (| | ) k E X 为 k 阶绝对原点矩; (| ( )| ) k E X − E X 为 k 阶绝对中心矩; ( ) k l E X Y 为 X 和 Y 的 k + l 阶混合矩; {[ ( )] [ ( )] } k l E X − E X Y − E Y 为 X 和 Y 的 k + l 阶混合中心矩; 注: 由定义可见: (1) X 的数学期望 E(X) 是 X 的一阶原点矩; (2) X 的方差 D(X) 是 X 的二阶中心矩; (3)协方差 Cov(X,Y) 是 X 和 Y 的二阶混合中心矩. 六、协方差矩阵 将二维随机变量 ( , ) X1 X2 的四个二阶中心矩 {[ ( )][ ( )]}. {[ ( )][ ( )]}, {[ ( )] }, {[ ( )] }, 21 2 2 1 1 12 1 1 2 2 2 22 2 2 2 11 1 1 c E X E X X E X c E X E X X E X c E X E X c E X E X = − − = − − = − = − 排成矩阵的形式: 21 22 11 12 c c c c （对称矩阵），称此矩阵为 ( , ) X1 X2 的协方差矩阵. 类似定义 n 维随机变量 ( , , , ) X1 X2 Xn 的协方差矩阵. 若 cij = Cov(Xi , X j ) = E{[Xi − E(Xi )][X j − E(X j )]} i, j =1,2, , n 都存在, 则称 = n n nn n n c c c c c c c c c C 1 2 21 22 2 11 12 1 为 ( , , , ) X1 X2 Xn 的协方差矩阵. 六、n 维正态分布的概率密度 七、n 维正态分布的几个重要性质 例题选讲
协方差的性质 例1(E01)已知离散型随机向量(x,)的概率分布为 -102 10.30.050.1 求cov(X,Y) 解容易求得X的概率分布为PX=0}=0.3,P{X=1}=0.45,P{X=2}=0.25, Y的概率分布为P{=-l}=0.55P{Y=0}=0.25,P{Y=2}=02, 于是有 E(X)=0×0.3+1×0.45+2×0.25=0.95 E()=(-1)×0.55+0×0.25+2×0.2=-0.15 计算得 E(XY)=0×(-1)×0.1+0×0×0.2+0×2×0+1×(-1)×0.3+1×0×0.5+1×2×0.1 +2×(-1)×0.15+2×0×0+2×2×0.1 于是cov(X,Y)=E(XY)-E(X)E(Y)=0.95×0.15=0.425 例2(E02)设连续型随机变量(X,Y)的密度函数为 8xy,0≤x≤y≤l 其它 求 解由(X,Y)的密度函数可求得其边缘密度函数分别为 fr(x) 其它万()=14,0sy1 4x(1-x2),0≤x≤1 10.其它 于是 (X)=9(x=x:4x(-x)=815 E(r= y()dy 4y2d=4/5, E(XY= xyf(x, y)dxdy x·8xy·d=4/9, 从而cov(X,Y)=E(XY)-E(X)E(Y)=4/225, 又E(x2)=[x/(对=x41-x2)=13 E(y2)=y2f()=[y24yd=2/3 所以DX)=E(X2)-[E()2=11225,D(Y)=E(Y2)-[E()2=2/75 W D(+Y=D()+D()+2cov(X, Y)=1/9
协方差的性质 例 1 (E01) 已知离散型随机向量 (X,Y) 的概率分布为 求 cov(X,Y) . 解 容易求得 X 的概率分布为 P{X = 0} = 0.3, P{X =1}= 0.45, P{X = 2} = 0.25; Y 的概率分布为 P{Y = −1} = 0.55, P{Y = 0} = 0.25, P{Y = 2}= 0.2, 于是有 E(X) = 00.3+10.45 + 20.25 = 0.95, E(Y) = (−1)0.55 + 00.25 + 20.2 = −0.15. 计算得 E(XY) = 0(−1)0.1+ 000.2 + 020 +1(−1)0.3+100.5 +120.1 +2(−1)0.15 + 200 + 2 20.1 = 0. 于是 cov(X,Y) = E(XY) − E(X)E(Y) = 0.95 0.15 = 0.1425. 例 2 (E02) 设连续型随机变量 (X,Y) 的密度函数为 , 0, 8 , 0 1 ( , ) = 其它 xy x y f x y 求 cov(X,Y). 解 由 (X,Y) 的密度函数可求得其边缘密度函数分别为: , 0, 4 (1 ), 0 1 ( ) 2 − = 其它 x x x f x X , 0, 4 , 0 1 ( ) 3 = 其它 y y f y Y 于是 + − E X = xf x dx X ( ) ( ) = − 1 0 2 x 4x(1 x )dx =8/15, + − E Y = yf y dy Y ( ) ( ) = 1 0 3 y 4y dy = 4/5, + − + − E(XY) = xyf (x, y)dxdy = 1 1 0 8 x dx xy xy dy = 4/9, 从而 cov(X,Y) = E(XY) − E(X)E(Y) = 4/ 225, 又 + − E X = x f x dx X ( ) ( ) 2 2 = − 1 0 2 2 x 4x(1 x )dx =1/3, + − E Y = y f y dy Y ( ) ( ) 2 2 = 1 0 2 3 y 4y dy = 2/3, 所以 2 2 D(X) = E(X ) −[E(X)] =11/ 225, ( ) ( ) [ ( )] 2/ 75, 2 2 D Y = E Y − E Y = 故 D(X +Y) = D(X) + D(Y) + 2cov(X,Y) =1/ 9. Y X −1 0 2 0 0.1 0.2 0 1 0.3 0.05 0.1 2 0.15 0 0.1
相关系数的性质 例3(E03)设(X,Y)的分布律为 01/414|0 1/40014 l/2 Px=x,}|1414141/4 易知E(X)=0,E(Y)=5/2,E(X)=0,于是Pxy=0,X,Y不相关.这表示X,Y不存在 线性关系.但P{X=-2,y=1}=0≠P{X=-2}P{Y=},知X,}不是相互独立的 事实上,X和y具有关系:Y=X2,Y的值完全可由X的值所确定 例4(E04)设θ服从[-r,丌]上的均匀分布,X=siO,Y=cos判断X与y是否不相 关,是否独立 解由于Ex)=21(m=0E)=2o=0 而E(X)=2 sin ecos=0 因此E(XY)=E(X)E(Y),从而X与y不相关但由于X与y满足关系:Xx2+Y2=1 所以X与Y不独立 例5已知X~N(1,32),Y~N0,42),且X与y的相关系数 P 设2XY求D()及Px 解因D(x)=3.,D)=42,且cox)=√Dx、DDp=3×4x(-1)=6 所以 X y D(X)+=D(r) 32 =D(X)+D(Y)-2××covX,F)=7 又因 cov(X, Z)=coM X 32 - cov(X, Y)--cov(, Y)=D(X)--cov(X, Y)=6 /DX√D(Z)3√7 例6(E05)设二维随机变量(X,Y)-N(A1,42,a1,a2,p),求相关系数pxy
相关系数的性质 例 3 (E03) 设 (X,Y) 的分布律为 X Y −2 −1 1 2 { }j P Y = y 1 4 0 1/4 1/4 0 1/4 0 0 1/4 1/2 1/2 { }i P X = x 1/4 1/4 1/4 1/4 1 易知 E(X ) = 0, E(Y) = 5 / 2, E(XY) = 0, 于是 XY = 0, X,Y 不相关. 这表示 X ,Y 不存在 线性关系 . 但 P{X = −2,Y =1}= 0 P{X = −2}P{Y =1}, 知 X ,Y 不是相互独立的 . 事实上, X 和 Y 具有关系: , 2 Y = X Y 的值完全可由 X 的值所确定. 例 4 (E04) 设 服从 [−,] 上的均匀分布, X = sin, Y = cos 判断 X 与 Y 是否不相 关, 是否独立. 解 由于 sin 0, 2 1 ( ) = = − E X d cos 0, 2 1 ( ) = = − E Y d 而 sin cos 0. 2 1 ( ) 2 = = E XY d 因此 E(XY) = E(X)E(Y), 从而 X 与 Y 不相关.但由于 X 与 Y 满足关系: 1 2 2 X +Y = 所以 X 与 Y 不独立. 例 5 已知 ~ (1,3 ) 2 X N , ~ (0,4 ), 2 Y N 且 X 与 Y 的相关系数 . 2 1 XY = − 设 , 3 2 X Y Z = − 求 D(Z) 及 . XZ 解 因 ( ) 3 , 2 D X = ( ) 4 , 2 D Y = 且 X Y D X D Y XY cov( , ) = ( ) ( ) = − 2 1 3 4 = −6, 所以 = − 3 2 ( ) X Y D Z D = + − 2 , 3 ( ) 2cov 4 1 ( ) 9 1 X Y D X D Y cov( , ) 2 1 3 1 ( ) 2 4 1 ( ) 9 1 = D X + D Y − X Y = 7, 又因 = − 3 2 cov( , ) cov , X Y X Z X − = 2 cov , 3 cov , Y X X X cov( , ) 2 1 cov( , ) 3 1 = X Y − X Y cov( , ) 6, 2 1 ( ) 3 1 = D X − X Y = 故 . 7 2 7 3 7 6 ( ) ( ) cov( , ) = = = D X D Z X Z XZ 例 6 (E05) 设二维随机变量 ( , ) ~ ( , , , , ), X Y N 1 2 1 2 求相关系数 XY