常用技巧:条件分布α联合分布p(xs/x-s)=p(xs,x_s) / p(x-s) αc p(x),p(x)中的x_s视作常数将联合密度p(x)=p(xs,x_s)看作是x,的函数(x_,固定),即得到条件概率密度p(x、x_),但相差一个仅与x_有关的常数倍数。我们将会用到独立性、条件独立性的如下简易证明或计算方法:引理1.独立与条件独立(1)假设随机向量x和y的联合概率密度函数p(x,y),若存在函数,P2(未必是概率密度)使得p(x,y)=p(x)p2(y),则x和y独立。(2)若存在函数业,(未必是概率密度)使得联合概率密度函数p(x,y,z)=(x,z)2(y,z),则给定z时,x与y条件独立:xlylz证:(1)略。(2)给定z时的条件概率密度1V(x,z)2(y,z) =,(x)p2(y)p(x,yp(z)p(z由(1)知x和y在给定z时条件独立。注意:z是常数6
6 则给定 时, 与 条件独立: 若存在函数 , (未必是概率密度)使得联合概率密度函数 (未必是概率密度)使得 ,则 和 独立。 假设随机向量 和 的联合概率密度函数 ,若存在函数 , 引理 yxzzyzxzyx yxyxyx yx yx ,(),(),( ), )2( )()(),( (1) ),( .1 1 2 21 21 21 p p p 和知由 在给定 时条件独立。 证: 略。( )给定 时的条件概率密度 zyx yxzyzx z zyx z zyx z )1( )()(),(),( )( 1 ),( )( 1 )|,( 2(1) 1 2 21 p p p p 注意:z是常数 我们将会用到独立性、条件独立性的如下简易证明或计算方法: 独立与条 件独立 𝐱⫫𝐲|𝒛 , 中的 视作常数 常用技巧: p SS p SS S ppp xxxxxxxx S )()()(/),()|( 条件分布 ∝联合分布 条件概率密度 ,但相差一个仅与 有关的常数倍数。 将联合密度 看作是 的函数( 固定),即得到 SS S SS S S p pp xx x xxx x x )|( ),()(
性质6*将多元正态分布的条件分布用逆矩阵2=2-1表达了出来。从多元正态概率密度函数的形式来看,这是比较自然的:记2二Z-1=wii),则我们可以展开x~N,(0,2)指数上的二次型:f(x) = C exp(-) = C exp(--Zi,j Wijxixi),2则我们可以利用引理1方便地研究f(x)的分解和条件独立性质,再次得到性质6*(g=1情形),并得到条件相关系数的表达定理1.假设x~Np(μ,),记=-1=(wii),则(1) xilx-i~Ni(μi -ZjiWij(xj -μj)/wi,1/wi);(2)给定x-(i,j)条件下,xi与x;的条件相关系数wij一,ij.Pxixjlx-(i) =-uj特别地,wij=0xixilx-(ij)(条件独立条件不相关wij注:非正态情形下,偏相关系数pij-(i)=一Jwiwj
7 𝑓 𝐱 = 𝐶 exp − 𝐱 ⊤Σ −1𝐱 2 = 𝐶 exp − 1 2 σ𝑖,𝑗 𝜔𝑖𝑗𝑥𝑖𝑥𝑗 , 性质6*将多元正态分布的条件分布用逆矩阵Ω = Σ −1表达了出来。 从多元正态概率密度函数的形式来看,这是比较自然的:记Ω = Σ −1 = 𝜔𝑖𝑗 , 则我们可以展开𝐱~𝑁𝑝 0, Σ 指数上的二次型: 则我们可以利用引理1方便地研究𝑓 𝐱 的分解和条件独立性质,再 次得到性质6*(𝑞 = 1情形),并得到条件相关系数的表达 定理1. 假设 𝐱~𝑁𝑝 𝜇, Σ , 记Ω = Σ −1= 𝜔𝑖𝑗 , 则 (1) 𝑥𝑖 |𝐱−𝑖~𝑁1 𝜇𝑖 − σ𝑗≠𝑖 𝜔𝑖𝑗 𝑥𝑗 − 𝜇𝑗 /𝜔𝑖𝑖 , 1/𝜔𝑖𝑖 , (2) 给定𝐱−(𝑖,𝑗)条件下,𝑥𝑖 与 𝑥𝑗的条件相关系数 𝜌𝑥𝑖 ,𝑥𝑗 |𝐱−(𝑖,𝑗) = − 𝜔𝑖𝑗 𝜔𝑖𝑖𝜔𝑗𝑗 , 𝑖 ≠ 𝑗. 特别地 , 𝜔𝑖𝑗 = 0 ⇔ 𝑥𝑖 ⫫ 𝑥𝑗|𝐱−(𝑖,𝑗) ( 条件独立 ⇔ 条件不相关 ) 注: 非正态情形下,偏相关系数𝜌𝑖𝑗⦁− 𝑖𝑗 = − 𝜔𝑖𝑗 𝜔𝑖𝑖𝜔𝑗𝑗
定理1的证明:(1).不妨假设μ=0,给定x-i条件下,x;的条件概率密度p(xilx-i) α p(x) α exp(-wix? -(2j+iwijx;)xi)指数上是x;的二次函数=→xilx-i~Ni(-ZjiWjx;/wi,1/wi)。N(u,)的密度函数cexp2指数项中平方项x的系数为-1/2g,x系数为u/α(2).给定x-(ij)=(xu,u≠i,j)时,x;和x;的联合密度p(xi, xj|x-(i,j)) α p(xi, Xj, X-(i,j) = p(x)α exp(-wix? -jx -wijxixj+axi+bxj +c)(*)其中一次项的系数a,b,c只与x-(ij)有关,是常数。8
8 1/ 2 / . ), 2 1 ( , ) exp( 2 2 2 2 2 2 2 指数项中平方项 的系数为 , 系数为 的密度函数 x x N x x 定理1的证明: (1). 不妨假设𝛍 = 0,给定𝐱−𝑖条件下,𝑥𝑖的条件概率密度 𝑝(𝑥𝑖 |𝐱−𝑖) ∝ 𝑝(𝐱) ∝ exp − 1 2 𝜔𝑖𝑖𝑥𝑖 2 − σ𝑗≠𝑖 𝜔𝑖𝑗𝑥𝑗 𝑥𝑖 指数上是𝑥𝑖的二次函数 ⇒ 𝑥𝑖 |𝐱−𝑖~𝑁1 − σ𝑗≠𝑖 𝜔𝑖𝑗𝑥𝑗/𝜔𝑖𝑖 , 1/𝜔𝑖𝑖 。 (2). 给定𝐱−(𝑖,𝑗) = 𝑥𝑢, 𝑢 ≠ 𝑖,𝑗 时,𝑥𝑖和𝑥𝑗的联合密度 𝑝 𝑥𝑖 , 𝑥𝑗 𝐱− 𝑖,𝑗 ∝ 𝑝(𝑥𝑖 , 𝑥𝑗 , 𝐱− 𝑖,𝑗 ) = 𝑝(𝐱) ∝ exp − 1 2 𝜔𝑖𝑖𝑥𝑖 2 − 1 2 𝜔𝑗𝑗𝑥𝑗 2 − 𝜔𝑖𝑗𝑥𝑖𝑥𝑗 + 𝑎𝑥𝑖 + 𝑏𝑥𝑗 + 𝑐 (*) 其中一次项的系数𝑎, 𝑏, 𝑐只与𝐱− 𝑖,𝑗 有关,是常数