第八讲车Wishart分布ICochran定理Z = (z1, .., Zm)TZ1,.., Zm id ~Np(0,Z)Z-P)Z1mPZZTz三ZTPZ+zT(Im- P)zW,(m,2)= Wp(r,2)+W.(m-r,2)
1 第八讲 Wishart分布III 𝑍 𝑃𝑍 (𝐼𝑚 − 𝑃)𝑍 Cochran定理 𝑍 = (𝐳1, . , 𝐳𝑚) ⊤, 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ) 𝑍 ⊤𝑍 = 𝑍 ⊤𝑃𝑍 + 𝑍 ⊤(𝐼𝑚 − 𝑃)𝑍 𝑊𝑝 𝑚, Σ = 𝑊𝑝 𝑟, Σ + 𝑊𝑝 𝑚 − 𝑟, Σ
Wishart分布的性质我们下面讨论Wishart分布的一些性质，这些性质都可以从定义导出（不需要概率密度）。定理l：若W~W,(m,Z)，A是q×p矩阵，则AWAT～W。(m,AZA)。证: W=z,z,,其中z..,zm iid ~ N,(o,Z), 因为Az,~ N,(o,AZAT)i=1按照定义, AWAT=ZAz,(Az,)T~W,(m,AZAT)-推论1：(1)W的标准化：Z-1/2Wz-1/2 ~W,(m,I,)=W,(m);反之，若U~W,(m,I,),则z12Uz1/2~W,(m,Z)t'Wt即(2)对任何te RP,tTWt~ W(m,tTZt)=(tTzt)xm,Xmt'Et
2 定理1：若 ~ ( , )， 是 矩阵，则 ~ ( , )。 T T W Wp m A q p AWA Wq m AA ( ) ~ ( , ). ,., ~ , ~ , 1 1 1 m i i i q m p i q m i i i AWA A A W m A A W iid N A N A A T T T T T z z z z z z 0 z 0 按照定义， 证： ，其中 ，因为 ， 对任何 ，即 。 反之，若 ，则 的标准化： 推论 ： 2 2 1 1/2 1/2 1/2 1/2 (2) , ~ ( , ) ( ) ~ ~ ( , ) ~ ( , ). (1) ~ ( , ) ( ); 1 m m d p p p p p p p W R W W m U W m I U W m W W W m I W m t t t t t t t t t t t T T T T T （不需要概率密度）。 我们下面讨论Wishart分布的一些性质，这些性质都可以从定义导出 Wishart 分布的性质
引理1.假设W~W,(m,Z)，若m≥p,则P(W>0)=1.证明：假设W=ZTz=Zz,z,~W,(m,2),i=l其中z.,zm id ~N,(o,2), Z=(z...zm)T,则P(W不可逆)= P(rank(W)<p)= P(rank(Z)< p)=P(zi.zm中任取p个都线性相关)mP(z.,z,线性相关)pmE(P(z, e L(z..z,)/z. ,)-,因为z,与z.. ,独立。P引理2.Z1,,zmidNp(O,Z)，Z=(z1,，zm)T，常数矩阵A,B都是m列，若ABT=0，则AZⅡBZ。推论2(p=1)：假设z~Nm(0,2Im)，若ABT=0,则AzⅡBz。3
3 1. W ~ W (m,) m p, P(W 0) 1. 引理 假设 p ，若 则 因为 与 独立。 线性相关 中任取 个都线性相关 则 不可逆 其中 证明：假设 ， p p p p m m p m p m i i i E P L pm P pm P p P W P rank W p P rank Z p iid N Z W Z Z W m z z z z z z z z z z z z z z 0 z z z z ( ( ,., )| ,., ) 0, ,., ( ,., ) ( ,., ) ( ) ( ( ) ) ( ( ) ) ,., ~ , , ( ,., ) , ~ ( , ) 1 2 2 1 2 1 1 1 1 1 T T T 引理2. 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ)，𝑍 = (𝐳1, . , 𝐳𝑚) ⊤ ，常数矩阵𝐴, 𝐵都 是𝑚列 ，若𝐴𝐵 ⊤ = 0, 则𝐴𝑍⫫𝐵𝑍。 推论2 (𝑝 = 1)：假设𝐳~𝑁𝑚 0, 𝜎 2 𝐼𝑚 ，若𝐴𝐵 ⊤ = 0, 则𝐴𝐳 ⫫ 𝐵𝐳
证明思路：ABT=0说明A,B的行向量正交。若A,B具有形式：(*)A = (A1,0),B = (0,B),划分ZZ1IZ2，则AZ=(A1,0)=A1Z1BZ=B1Z2否则，我们总可以寻找一组正交基，使得A，B在新坐标基下具有形式（*）。证明1(Schmidt)：对Akxm的行向量（假设行满秩)实施Schmidt正交化：Akxm=T1kxkH1kxm其中T,是可逆下三角矩阵，HiHiT=lk,(H1)H1将H补成正交方阵H=A= (T1,0)(H2)H记Y=HZ兰Z,Y的行向量id~Np(O,Z),划分Y1AZ = (T1, O)Y = (T1, 0)=TY1仅与Y有关；Y其中C =BHTBZ = BHTY ≤ CY = (C1, C2)(CT)由 0 = ABT = (T1,O)HHTCT = (T1,0)= TiCT = Ci= 0(CT)=C2Y2仅与Y2有关，故与AZ=TY独立。= BZ = (C1, C4
4 证明思路：𝐴𝐵 ⊤ = 0 说明 𝐴,𝐵的行向量正交。若𝐴,𝐵具有 形式: 𝐴 = 𝐴1, 0 ,𝐵 = 0,𝐵1 , (*) 划分𝑍 = 𝑍1 𝑍2 ，𝑍1⫫𝑍2，则𝐴𝑍 = 𝐴1, 0 𝑍1 𝑍2 = 𝐴1𝑍1 ⫫ 𝐵𝑍 = 𝐵1𝑍2 否则，我们总可以寻找一组正交基，使得𝐴,𝐵在新坐标基下具有形式(*)。 证明1 (Schmidt)：对 𝐴𝑘×𝑚 的行向量(假设行满秩)实施Schmidt正交化： 𝐴𝑘×𝑚 = 𝑇1𝑘×𝑘𝐻1𝑘×𝑚 ,其中𝑇1是可逆下三角矩阵，𝐻1𝐻1 ⊤ = 𝐼𝑘, 将𝐻1补成正交方阵𝐻 = 𝐻1 𝐻2 ⇒ 𝐴 = (𝑇1, 0) 𝐻1 𝐻2 。 𝑑 记𝑌 = 𝐻𝑍 = 𝑍, 𝑌的行向量 iid ~𝑁𝑝(𝟎, Σ), 划分𝑌 = 𝑌1 𝑌2 , 𝑌1⫫𝑌2. 𝐴𝑍 = 𝑇1, 0 𝑌 = 𝑇1, 0 𝑌1 𝑌2 = 𝑇1𝑌1, 仅与𝑌1有关； 𝐵𝑍 = 𝐵𝐻 ⊤𝑌 ≜ 𝐶𝑌 = 𝐶1, 𝐶2 𝑌1 𝑌2 , 其中𝐶 = 𝐵𝐻 ⊤ 由 0 = 𝐴𝐵 ⊤ = 𝑇1, 0 𝐻𝐻 ⊤𝐶 ⊤ = 𝑇1, 0 𝐶1 ⊤ 𝐶2 ⊤ = 𝑇1𝐶1 ⊤ ⇒ 𝐶1= 0 ⇒ 𝐵𝑍 = 𝐶1, 𝐶2 𝑌1 𝑌2 = 𝐶2𝑌2仅与𝑌2有关，故与𝐴𝑍 = 𝑇1𝑌1独立
证明2(svd)：假设rank(Akxm）=r,其奇异值分解(svd)：0A = UDVT,U E O(k),V E O(m),Dkxm =0Y1记 = VTz与Z同分布，YY2VArY(1) AZ = UDVTZ = UDY = U0C1Y1+C2Y2,其中C=BV(2) BZ = BVY ≤ CY = (C1, C2)由O = ABT = UDVTBT = UDCT = U(C0= CT= 0= BZ = C1Y1 + C2Y2= C2Y2所以AZⅡBZ
5 证明2 (svd)：假设rank 𝐴𝑘×𝑚 = 𝑟, 其奇异值分解(svd): 𝐴 = 𝑈𝐷𝑉 ⊤,𝑈 ∈ 𝒪 𝑘 , 𝑉 ∈ 𝒪 𝑚 ,𝐷𝑘×𝑚 = Λ𝑟 0 0 0 记𝑌 = 𝑉 ⊤𝑍 = 𝑌1 𝑌2 与𝑍同分布，𝑌1⫫𝑌2 (1) 𝐴𝑍 = 𝑈𝐷𝑉 ⊤𝑍 = 𝑈𝐷𝑌 = 𝑈 Λ𝑟𝑌1 0 ； (2) 𝐵𝑍 = 𝐵𝑉𝑌 ≜ 𝐶𝑌 = (𝐶1, 𝐶2) 𝑌1 𝑌2 = 𝐶1𝑌1 + 𝐶2𝑌2, 其中𝐶 = 𝐵𝑉， 由0 = 𝐴𝐵 ⊤ = 𝑈𝐷𝑉 ⊤𝐵 ⊤ = 𝑈𝐷𝐶 ⊤ = 𝑈 Λ𝑟 0 0 0 𝐶1 ⊤ 𝐶2 ⊤ = 𝑈 Λ𝑟𝐶1 ⊤ 0 ⇒ 𝐶1 ⊤ = 0 ⇒ 𝐵𝑍 = 𝐶1𝑌1 + 𝐶2𝑌2 = 𝐶2𝑌2 所以𝐴𝑍⫫ 𝐵𝑍