第七讲Wishart分布!Z各"行"独立vectormatrixtensor同分布
1 第七讲 Wishart分布II vector matrix tensor 𝑍 = ∗ ⋮ ∗ 各”行”独立 同分布
上节课：从多元正态样本的密度出发，应用矩阵外积微分形式等Recap工具，给出了求解Wishart分布概率密度的大致过程：Z1,..,zmiid~Np(O,2),Z = (z1,.., Zm)T的概率密度球对称pz(Z) = p(zZ1, ., Zm) = Cexp(-tr(E-1zTZ)) = h(W)Z = UW1/2,W = zTz,U = ZW-1/2,UTU = lpJ(z → (W,U)) = J(W) = 2-P[W(m-p-1)/2Vm,p = (U:UTU = Ip)pz(z)dz= h(W))(W)(dW)(dU) =p(W) (dW) ×(dU),U EVm,pVm,p2元mp/2p(W) = IVm,p|h(W)J(W), IVm,pl =rp()U~U(Vm.p），UWW的概率密度（Wishart)-p-1(-tr(2-1W))p(W)=2mp/2r,(2)2m/ /exp2其中球对称性有基本的重要性。2
2 𝑈~𝑈(𝑉𝑚,𝑝)，𝑈 ⫫ 𝑊, 𝑊的概率密度 (Wishart) 𝑝 𝑊 = 1 2𝑚𝑝/2Γ𝑝( 𝑚 2 )|Σ|𝑚/2 𝑊 𝑚−𝑝−1 2 exp − 1 2 𝑡𝑟 Σ −1𝑊 , 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ), 𝑍 = (𝐳1, . , 𝐳𝑚) ⊤的概率密度 𝑝𝑍 𝑍 = 𝑝 𝐳1, . , 𝐳𝑚 = 𝐶exp − 1 2 𝑡𝑟(Σ −1𝑍 ⊤𝑍) ≜ ℎ(𝑊) 𝑝𝑍 𝑍 𝑑𝑍 = ℎ 𝑊 𝐽 𝑊 𝑑𝑊 𝑑𝑈 = 𝑝 𝑊 𝑑𝑊 × 1 |𝑉𝑚,𝑝| 𝑑𝑈 , 𝑈 ∈ 𝑉𝑚,𝑝 𝑍 = 𝑈𝑊1/2 , 𝑊 = 𝑍 ⊤𝑍, 𝑈 = 𝑍𝑊−1/2 ,𝑈 ⊤𝑈 = 𝐼𝑝 𝐽 𝑍 → 𝑊,𝑈 = 𝐽 𝑊 = 2 −𝑝 |𝑊| (𝑚−𝑝−1)/2 上节课：从多元正态样本的密度出发，应用矩阵外积微分形式等 工具，给出了求解Wishart分布概率密度的大致过程： Recap 球对称 𝑝 𝑊 = |𝑉𝑚,𝑝|ℎ 𝑊 𝐽(𝑊), |𝑉𝑚,𝑝| = 2 𝑝𝜋𝑚𝑝/2 Γ𝑝( 𝑚 2 ) 𝑉𝑚,𝑝 = {𝑈:𝑈 ⊤𝑈 = 𝐼𝑝} 其中球对称性有基本的重要性
球对称（正交不变）阝随机矩阵记号: O(m) = (H e Rmxm: HTH = Im)假设m≥p，zERmxp（m×p矩阵），假设zTz>0。矩阵函数球对称f(Z)称为是(左)球对称的或正交不变的，如果对任何VHEO(m)，函数f(HZ)=f(Z)。当p=1时，这是第2-3讲的随机向量情形。命题1：f(Z)球对称，ZERm×pf(Z)=h(zTz)，某个Rpxp上的函数h证：(-)对任何给定的ZERmxp，令H1=(ZTZ)-1/2zT，它是行正交的，即HiHT=lp。补全Hi成正交矩阵((ZTZ)-1/2zTH1)HHH2由 0 = H2HT = H2 Z(ZTZ)-1/2 → H2Z = 0. 则HZ =0f(2) = f(HZ) = f (ZT2)1/2)≤ h(zTz) 。0m
3 球对称（正交不变）随机矩阵 球对称 函数 假设𝑚 ≥ 𝑝 ，𝑍 ∈ 𝑅 𝑚×𝑝 (𝑚 × 𝑝矩阵) ，假设𝑍 ⊤𝑍 > 0。矩阵函数 𝑓(𝑍)称为是(左)球对称的或正交不变的，如果对任何∀ 𝐻 ∈ 𝒪(𝑚)， 𝑓 𝐻𝑍 = 𝑓 𝑍 。当𝑝 = 1时， 这是第2-3讲的随机向量情形。 记号：𝒪(𝑚) = 𝐻 ∈ 𝑅 𝑚×𝑚: 𝐻 ⊤𝐻 = 𝐼𝑚 命题1：𝑓 𝑍 球对称，𝑍 ∈ 𝑅 𝑚×𝑝 ⇔ 𝑓 𝑍 = ℎ(𝑍 ⊤𝑍) ，某个𝑅 𝑝×𝑝 上的函数ℎ. 证：(⇒) 对任何给定的𝑍 ∈ 𝑅 𝑚×𝑝 , 令𝐻1 = (𝑍 ⊤ 𝑍) −1/2𝑍 ⊤，它是行正交 的，即𝐻1𝐻1 ⊤ = 𝐼𝑝。 补全𝐻1成正交矩阵 𝐻 = 𝐻1 𝐻2 = (𝑍 ⊤𝑍) −1/2𝑍 ⊤ 𝐻2 , 由 0 = 𝐻2𝐻1 ⊤ = 𝐻2 𝑍(𝑍 ⊤𝑍) −1/2 ⇒ 𝐻2𝑍 = 0. 则𝐻𝑍 = (𝑍 ⊤𝑍) 1/2 0 ，则 𝑓 𝑍 = 𝑓 𝐻𝑍 = 𝑓 (𝑍 ⊤𝑍) 1/2 0 ≜ ℎ(𝑍 ⊤𝑍)
Z1,,zmiid~N(O,Z)，zs转置后罗列成“列向量”Np(0,2)zT样本的球:z =对称性(zmz的概率密度即z1.,zn的联合概率密度pz(Z) = p(z1, .., Zm) = Cexp(-=tr(2-1zTz)仅依赖于zTZ，是球对称的,即对VHEO(m)HZ = z,pz(HZ) = pz(Z),即Z的分布不依赖于正交坐标系的特定选取。虽然Z行内分量不独立，但按列来看Z = (z(1) .,Z(p)每个列向量在Rm中都是球对称的：Z=(oij)ZG)~Nm(0, qjlm),列向量之间的相关结构也具有球对称性：COv(zZ(),Z(k) = 0jklm4
4 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ), 𝐳’s转置后罗列成“列向量” 𝑍 = 𝐳1 ⊤ ⋮ 𝐳𝑚 ⊤ 𝑍的概率密度即 𝐳1, . , 𝐳𝑛的联合概率密度 𝑝𝑍 𝑍 = 𝑝 𝐳1, . , 𝐳𝑚 = 𝐶exp − 1 2 𝑡𝑟(Σ −1𝑍 ⊤𝑍) 仅依赖于𝑍 ⊤𝑍，是球对称的, 即对∀ 𝐻 ∈ 𝒪 𝑚 ， 𝐻𝑍 = 𝑍, 𝑝𝑍 𝐻𝑍 = 𝑝𝑍(𝑍)， 即Z的分布不依赖于正交坐标系的特定选取。 𝑁𝑝(𝟎, Σ) 样本的球 对称性 虽然𝑍行内分量不独立，但按列来看 𝑍 = 𝐳(1) , . , 𝐳(𝑝) 每个列向量在 𝑅 𝑚中都是球对称的： 𝐳(𝑗)~𝑁𝑚 𝟎, 𝜎𝑗𝑗𝐼𝑚 , 列向量之间的相关结构也具有球对称性： cov(𝐳(𝑗) ,𝐳(𝑘)) = 𝜎𝑗𝑘𝐼𝑚 Σ = 𝜎𝑖𝑗 𝑑
模仿第2-3讲，我们可以考虑一般的球对称分布m×p矩阵Z：般球Hz Z, H E O(m)正交对称矩阵分布Z的概率密度仅依赖于ZTZ(未必正态）：Pz(z) = h(W), W =zTzZ = UW1/2, W = ZTZ,U = ZW-1/2,UTU = lp与Wishart分布的求解完全相同（P2）：J(z→(W,u))=J(W)=2-P/w(m-p-1)/21 (du)pz(z)dz = h(W)(W)(dw)(du) = p(W) (dW) × μmpl则我们得到U~U(Vmp)，UⅡW，W=zTz的概率密度p(W) = [Vm,pV(W) h(W) = mpl -h(W)/W|(m-p-1)/2Tp反之，W=ZTZ的密度p(W)唯一决定了球对称分布：由h(W)=p(W)/IVm,pV(W)，可得m×p随机矩阵z的分布p(zTz)pz(z) =:IVm,plJ(zTz)如果Z球对称，且各行独立，则各行服从N(O,2)，这是多元版本的Mawell-Herschel（MH）定理5
5 模仿第2-3讲，我们可以考虑一般的球对称分布 𝑚 × 𝑝 矩阵 𝑍 ： 𝐻𝑍 = 𝑍，𝐻 ∈ 𝒪(𝑚)正交 𝑍 的概率密度仅依赖于𝑍 ⊤𝑍 (未必正态)： 𝑝𝑍 𝑍 = ℎ(𝑊)， 𝑊 = 𝑍 ⊤𝑍 与Wishart分布的求解完全相同（P2）: 𝑝𝑍 𝑍 𝑑𝑍 = ℎ 𝑊 𝐽 𝑊 𝑑𝑊 𝑑𝑈 = 𝑝 𝑊 𝑑𝑊 × 1 |𝑉𝑚,𝑝| 𝑑𝑈 则我们得到𝑈~𝑈 𝑉𝑚,𝑝 ，𝑈 ⫫ 𝑊, 𝑊 = 𝑍 ⊤𝑍的概率密度 𝑝 𝑊 = |𝑉𝑚,𝑝|𝐽 𝑊 ℎ 𝑊 = 𝜋𝑚𝑝/2 Γ𝑝( 𝑚 2 ) ℎ 𝑊 |𝑊| (𝑚−𝑝−1)/2 反之，𝑊 = 𝑍 ⊤𝑍的密度𝑝 𝑊 唯一决定了球对称分布：由 ℎ 𝑊 = 𝑝 𝑊 /|𝑉𝑚,𝑝|𝐽 𝑊 ，可得𝑚 × 𝑝随机矩阵𝑍的分布 𝑝𝑍 𝑍 = 𝑝 𝑍 ⊤𝑍 |𝑉𝑚,𝑝|𝐽 𝑍⊤𝑍 一般球 对称矩 阵分布 𝑑 如果𝑍球对称，且各行独立，则各行服从𝑁𝑝 𝟎, Σ , 这是多元版 本的 Mawell-Herschel （MH）定理 𝑍 = 𝑈𝑊1/2 , 𝑊 = 𝑍 ⊤𝑍, 𝑈 = 𝑍𝑊−1/2 ,𝑈 ⊤𝑈 = 𝐼𝑝 𝐽 𝑍 → 𝑊, 𝑈 = 𝐽 𝑊 = 2 −𝑝 |𝑊| (𝑚−𝑝−1)/2