第六讲Wishart分布假设z1,.,zmiid~Np(0,2)z1矩阵Zmxp=:是球对称的。2m
1 第六讲 Wishart分布 假设 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ)， 矩阵𝑍𝑚×𝑝 = 𝐳1 ⊤ ⋮ 𝐳𝑚 ⊤ 是球对称的
多元样本假设x1,,XnERP是一组iid随机样本，按行排列成n×p数据矩阵数据矩阵(xT)X=:(xT)样本均值X= En=1Xi = XT1/n样本方差S=-Zn=1(Xi -x)(Xi -x)T =XT(In - PI) X =-XTXc矩阵其中 Pi=11T /n，X。=(In-Pi)X是X的中心化。验证：Z-1(xX - )(xi - x)T =Z= (x, - nxT = XTx - ux = XT(n - P) X假设x1,,Xmiid~N(u,Z)，统计推断依赖于x,S的分布。我们首先考虑u=O时，XTX的分布（Wishart分布），进而推导出μ≠0时S的分布。2
2 多元样本 假设 𝐱1, . , 𝐱𝑛 ∈ 𝑅 𝑝是一组iid随机样本，按行排列成𝑛 × 𝑝数据矩阵 𝑋 = 𝐱1 ⊤ ⋮ 𝐱𝑛 ⊤ 数据矩阵 样本均值 𝐱ത = 1 𝑛 σ𝑖=1 𝑛 𝐱𝑖 = 𝑋 ⊤𝟙/𝑛 样本方差 矩阵 𝑆 = 1 𝑛−1 σ𝑖=1 𝑛 (𝐱𝑖 − 𝐱ത)(𝐱𝑖 − 𝐱ത) ⊤ = 1 𝑛−1 𝑋 ⊤(𝐼𝑛 − 𝑃𝟙) 𝑋 = 1 𝑛−1 𝑋𝑐 ⊤𝑋𝑐 , 其中 𝑃𝟙 = 𝟙𝟙 ⊤/𝑛，𝑋𝑐 = (𝐼𝑛−𝑃𝟙) 𝑋是𝑋的中心化。 验证： σ𝑖=1 𝑛 𝐱𝑖 − 𝐱ത 𝐱𝑖 − 𝐱ത ⊤ = σ𝑖=1 𝑛 𝐱𝑖𝐱𝑖 ⊤ − 𝑛𝐱ത 𝐱ത ⊤ = 𝑋 ⊤𝑋 − 𝑋 ⊤𝟙𝟙 ⊤𝑋 𝑛 = 𝑋 ⊤(𝐼𝑛 − 𝑃𝟙) 𝑋 假设 𝐱1, . , 𝐱𝑚 iid ~𝑁𝑝(𝛍, Σ), 统计推断依赖于𝐱ത, 𝑆的分布。我们 首先考虑𝛍 = 0时，𝑋 ⊤𝑋的分布（Wishart分布），进而推导出 𝛍 ≠ 0时𝑆的分布
Wishart分布Wishart分布主要用于描述样本协方差矩阵的分布。Wishart分布是正态假设下，p×p正定矩阵W=zTz所有p(p+1)/2个不同元素（对角线+上三角）的联合分布。苏格兰数学家JohnWishart在1928年求出了该分布的密度函数，后被称为Wishart分布。Wishart分布是多元gamma分布的特殊情况，是卡方或gamma分布的多元拓展。Wishart假设 Z1,., Zm iid ~Np(O,Z),记Z = (z1,.., Zm)T,则分布定义p×p矩阵W=zTz=ZmizizT的分布称为自由度为m,参数为Z的Wishart分布，记作W~W,(m,Z)。→当p=1时，Z=2,W～2xm当Z=Ip时，Wp(m,Ip)称为标准的Wishart分布，简记作Wp(m)。3
3 Wishart 分布 假设 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ), 记𝑍 = (𝐳1, . , 𝐳𝑚) ⊤，则 𝑝 × 𝑝矩阵 𝑊 = 𝑍 ⊤𝑍 = σ𝑖=1 𝑚 𝐳𝑖𝐳𝑖 ⊤ 的分布称为自由度为 𝑚,参数为Σ的Wishart分布，记作𝑊~𝑊𝑝 𝑚, Σ 。 Wishart 分布定义 Wishart分布主要用于描述样本协方差矩阵的分布。 Wishart分布是正态假设下，𝑝 × 𝑝正定矩阵𝑊 = 𝑍 ⊤𝑍所有𝑝(𝑝 + 1)/2 个不同元素（对角线+上三角）的联合分布。苏格兰数学家John Wishart在1928年求出了该分布的密度函数，后被称为Wishart分布。 Wishart分布是多元gamma分布的特殊情况，是卡方或gamma分布的 多元拓展。 当𝑝 = 1时， Σ = 𝜎 2 , 𝑊~𝜎 2𝜒𝑚 2 当Σ = 𝐼𝑝时，𝑊𝑝 𝑚,𝐼𝑝 称为标准的Wishart分布，简记作𝑊𝑝 𝑚
注1：W=zTz是随机矩阵，也称为Wishartensemble。统计物理概率论中一般称随机矩阵或其分布为ensemble(系综、集成)，最著名的是GOE：Gaussianorthogonalensemble（另外还有GUE,GSE，Wishart)。一个n×n对称实随机矩阵H~GOE→H=（G+GT)/V2n，其中G=（gi),gij,i,j=1,...n,idN(0,1),H的概率密度函数为1ntr(H2p(H)Zexp4注2：当p>1时，虽然Z=（Z1,，Zm）T的每一行都不是球对称的：Zi ~Np(o,2), i = 1,..,m但Z=(z(1),，Z(p))的每一列都服从球对称正态分布：zG)~Nm(0,j Im) = Wj= Iz()l/~ ~j xm, j = 1, ., p即W的对角元都服从scaled卡方分布。我们下面讨论z=（z1,，zm）T的球对称性，以及如何利用这种对称性求解Wishart分布的概率密度。4
4 注2：当𝑝 > 1时，虽然𝑍 = (𝐳1, . , 𝐳𝑚) ⊤的每一行都不是球对称的： 𝐳𝑖 ~𝑁𝑝(𝟎, Σ), 𝑖 = 1, . , 𝑚 但𝑍 = (𝐳(1) , . , 𝐳(𝑝))的每一列都服从球对称正态分布： 𝐳(𝑗)~𝑁𝑚 0, 𝜎𝑗𝑗 𝐼𝑚 ⇒ 𝑤𝑗𝑗= 𝐳(𝑗) 2 ~𝜎𝑗𝑗 𝜒𝑚 2 , 𝑗 = 1, . , 𝑝 即𝑊的对角元都服从scaled 卡方分布。 注1：𝑊 = 𝑍 ⊤𝑍是随机矩阵，也称为Wishart ensemble。统计物理、 概率论中一般称随机矩阵或其分布为ensemble(系综、集成)，最著名 的是GOE: Gaussian orthogonal ensemble (另外还有GUE,GSE, Wishart)。 一个𝑛 × 𝑛对称实随机矩阵𝐻~GOE ⇔ 𝐻 = (𝐺 + 𝐺 ⊤)/ 2𝑛，其 中𝐺 = 𝑔𝑖𝑗 , 𝑔𝑖𝑗, 𝑖,𝑗 = 1, . 𝑛, 𝑖𝑖𝑑 ~𝑁(0,1), 𝐻的概率密度函数为 𝑝 𝐻 = 1 𝑍 exp − 𝑛 4 𝑡𝑟 𝐻 2 . 我们下面讨论𝑍 = (𝐳1, . , 𝐳𝑚) ⊤的球对称性，以及如 何利用这种对称性求解Wishart分布的概率密度
m×p矩阵z是把同分布的z1..，zm逐行排列而成的“列向量”：Z各行独立且同分(zT)布Z =:(zm该“列向量”的第个位置放置的不是一个实数，而是一个frame（行向量zj），与p=1情形类似，各个frame独立且同为正态分布，因此Z应该也是球对称的：Z是球对命题1.Z的概率密度即z1..…,Zm的联合概率密度称的1p(Z) = p(z1, ., zm) = Cexp(-{tr(2-1zTz)(2元)pm/2/2jm/2仅与zTz有关，对于Vm×m正交矩阵H,Hz兰z.1验证: p(2) = p(1., m) =I1(2n)/2/z exp(-z[2-1z /2)= Cexp(-1zT-1zi) = Cexp(-tr(2-1zTz))且对v正交矩阵H，p(HZ)=p(Z),即Hz 兰z。5
5 𝑍 = 𝐳1 ⊤ ⋮ 𝐳𝑚 ⊤ 𝑍各行独 立且同分 布 𝑚 × 𝑝矩阵𝑍是把同分布的𝐳1, . , 𝐳𝑚逐行排列而成的“列向量”： 该“列向量”的第𝑖个位置放置的不是一个实数，而是一个frame （行向量𝐳𝑖 ⊤），与𝑝 = 1情形类似， 各个frame独立且同为正态 分布，因此𝑍应该也是球对称的： 𝑑 命题1. 𝑍的概率密度即 𝐳1, . , 𝐳𝑛的联合概率密度 𝑝 𝑍 = 𝑝 𝐳1, . , 𝐳𝑚 = 𝐶exp − 1 2 𝑡𝑟(Σ −1𝑍 ⊤𝑍) 仅与 𝑍 ⊤𝑍有关，对于∀ 𝑚 × 𝑚正交矩阵𝐻, 𝐻𝑍 = 𝑍. 𝑍是球对 称的 验证： 𝑝 𝑍 = 𝑝 𝐳1, . , 𝐳𝑚 = ς𝑖=1 𝑚 1 (2𝜋) 𝑝/2|Σ| 1/2 exp −𝐳𝑖 ⊤Σ −1𝐳𝑖/2 = 𝐶exp − 1 2 σ𝑖=1 𝑚 𝐳𝑖 ⊤Σ −1𝐳𝑖 = 𝐶exp − 1 2 𝑡𝑟(Σ −1𝑍 ⊤𝑍) ， 且对∀正交矩阵𝐻， 𝑝 𝐻𝑍 = 𝑝 𝑍 , 即𝐻𝑍 = 𝑍。 𝐶 = 1 (2𝜋) 𝑝𝑚/2|Σ|𝑚/2 𝑑