ZTZ:Z的W=zTz=m,zz是z的各个分量/frame的“平方和”模长平方可看作是Z的“模长平方”。因此我们有理由相信W分布的求解应该与一元情形(p=1)的求解类似。第二讲P12定理1求解了一般球对称分布的模长分布,定理2给出了Nn(O,In)情形的结论。下面针对球对称正态Nm(O,α21m),即Wishart分布p=1情形,再次重复第二讲定理2的证明过程:假设z1,.,zmiid~N(O,α2),排成列向量Wishart分布的求解:Z1)p=1情形:~Nn(O,g2In),z =(Zm)其概率密度(2元g2)m/2该分布仅与模长有关,是球对称的。为了求z分布,以及给定lz条件下z的分布,考虑变换z-rur=zu=zz(我们略去,其实不需要,u中的球坐标细节)6
6 𝑊 = 𝑍 ⊤𝑍 = σ𝑖=1 𝑚 𝐳𝑖𝐳𝑖 ⊤ 是 𝑍的 各个分量/frame的“平方和” , 可看作是Z的“模长平方” 。因此我们有理由相信W分布的 求解应该与一元情形(𝑝 = 1)的求解类似。 𝑍 ⊤𝑍: 𝑍的 模长平方 Wishart分 布的求解: 𝑝 = 1情形 假设 𝑧1, . , 𝑧𝑚 iid ~𝑁(0, 𝜎 2 ),排成列向量 𝐳 = 𝑧1 ⋮ 𝑧𝑚 ~𝑁𝑛(𝟎, 𝜎 2 𝐼𝑛), 其概率密度 𝑝 𝐳 = 1 (2𝜋𝜎2)𝑚/2 exp − 1 2𝜎2 𝐳 2 , 该分布仅与模长有关,是球对称的。为了求 𝐳 分布,以及给定 𝐳 条件下𝐳的分布,考虑变换 𝐳 → 𝑟, 𝐮 , 𝑟 = 𝐳 , 𝐮 = 𝐳/ 𝐳 , 第二讲P12定理1求解了一般球对称分布的模长分布,定理2给 出了𝑁𝑛(𝟎,𝐼𝑛)情形的结论。下面针对球对称正态𝑁𝑚(𝟎, 𝜎 2 𝐼𝑚), 即Wishart分布𝑝 = 1情形,再次重复第二讲定理2的证明过程: (我们略去,其实不需要,𝐮中的球坐标细节)
Jacobian: J(z →(r,u) =rm-1 dz = rm-1dr(du)形式记号(du):sm-1面积元doexpr22g2rm-1dr(du) ≤ g(r)dr(du)= p(z)dz =(1)(2元g2)2令t=r2/2g2(1)式表明径向长度r与方向u可分离,即ru。两边积分,r部分的积分利用gamma g(r)dr =(2g2)z积分容易求得(参看右边推导),则我们可1r(m/2)以得到球面面积(高斯积分法),并同时+m/2-1dt2元m/22元m/2得到r的概率密度:(1)式两边积分1= J p(2)dz= J g(r)dr J(du) = Fm/2 sm-1 = Ism-1| = 2mm/2/(m/2)2元m/= p(z)dz = g(r)dr(du) = [sm-1lg(r)dr × Ism-1) (du)2azr2)rm-1|sm-1exp(-dr x(du)[sm-1](2元g2)m/2→ r~oXm,u~U(sm-1), rll u
7 形式记号 d𝐮 : 𝑆 𝑚−1面积元𝑑𝜎 = exp(− 1 2𝜎2 𝑟 2)𝑟𝑚−1|𝑆𝑚−1| (2𝜋𝜎2)𝑚/2 𝑑𝑟 × 1 𝑆𝑚−1 (𝑑𝐮) ⇒ 𝑟~𝜎𝜒𝑚 , 𝐮~𝑈(𝑆 𝑚−1 ), 𝑟⫫ 𝐮 (1)式两边积分 = �𝑑� �𝑑�(��)�� = �𝑑� �� �� = 1 Γ(𝑚/2) 2𝜋𝑚/2 𝑆 𝑚−1 ⇒ 𝑝 𝐳 𝑑𝐳 = 𝑔 𝑟 𝑑𝑟 𝑑𝐮 = |𝑆 𝑚−1 |𝑔 𝑟 𝑑𝑟 × 1 𝑆𝑚−1 (𝑑𝐮) 令 𝑡 = 𝑟 2 /2𝜎 2 = �𝑑� �� �� exp − 1 2𝜎2 𝑟 2 2𝜋𝜎2 𝑚 2 𝑟 𝑚−1𝑑𝑟 = 1 2𝜋𝑚/2 න 𝑒 −𝑡 𝑡 𝑚/2−1𝑑𝑡 = Γ(𝑚/2) 2𝜋𝑚/2 Jacobian: 𝐽 𝐳 → 𝑟, 𝐮 = 𝑟 𝑚−1 ⇔ 𝑑𝐳 = 𝑟 𝑚−1𝑑𝑟(𝑑𝐮) (1)式表明径向长度𝑟与方向𝐮可分离,即 𝑟⫫ 𝐮。两边积分,𝑟部分的积分利用gamma 积分容易求得(参看右边推导),则我们可 以得到球面面积(高斯积分法),并同时 得到𝑟的概率密度: ⇒ 𝑝 𝐳 𝑑𝐳 = exp − 1 2𝜎2 𝑟 2 2𝜋𝜎2 𝑚 2 𝑟 𝑚−1𝑑𝑟(𝑑𝐮) ≜ 𝑔(𝑟)𝑑𝑟(𝑑𝐮) (1) ⇒ 𝑆 𝑚−1 = 2𝜋 𝑚/2 /Γ(𝑚/2)
现在回到p>1情形,z1,,zmiid~N,(0,2)联合概率密度Wishart分zT布的求解:.Zmxpp(Z) = p(Z1. ., zm) = Cexp(-tr(2-1zTz)p>1情形(zm)类似于p=1,我们对Z做极分解变换Z = UW1/2: W = zTz,U = Z(zTz)-1/2W>0,p×p正定矩阵,可看作是z的“模长平方”;U是z的"单位化":UTU=IpUE Vmp = (U E Rmxp:UT U = Ip)c RmpVm,p称为Stiefel 流形(manifold),dim(Vm,p)= mp=P(p+)2当p = 1,Vm1 = Sm-1;当p>1,Vmp是Rmp中既光滑又有旋转对称性的几何体。(李群:连续的变换群,兼具群对称性和流形的微分光滑性)例:当m=3,p=2,UeV3.2的一种"极坐标"参数化:cos(0)- sin(0) cos()U=(sin()cos(Φ)cos() cos(Φ)cos() —sin(Φ) sin()sin()sin(Φ)cos() sin(Φ)cos()+cos(Φ) sin() E(0,元),Φ E [0,2元), E[0,2元)0
8 现在回到𝑝 > 1情形, 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ)联合概率密度 𝑝 𝑍 = 𝑝 𝐳1, . , 𝐳𝑚 = 𝐶exp − 1 2 𝑡𝑟(Σ −1𝑍 ⊤𝑍) 类似于𝑝 = 1, 我们对𝑍做极分解变换 Wishart分 布的求解: 𝑝 > 1情形 𝑍 = 𝑈𝑊1/2 :𝑊 = 𝑍 ⊤𝑍,𝑈 = 𝑍(𝑍 ⊤𝑍) −1/2 • 𝑊 > 0, 𝑝 × 𝑝正定矩阵,可看作是Z的“模长平方”; • 𝑈是𝑍的“单位化”: 𝑈 ⊤𝑈 = 𝐼𝑝 𝑍𝑚×𝑝 = 𝐳1 ⊤ ⋮ 𝐳𝑚 ⊤ 𝑉𝑚,𝑝称为Stiefel 流形(manifold), 𝑑𝑖𝑚(𝑉𝑚,𝑝) = 𝑚𝑝 − 𝑝(𝑝+1) 2 • 当𝑝 = 1, 𝑉𝑚,1 = 𝑆 𝑚−1 ; • 当𝑝 > 1, 𝑉𝑚,𝑝是𝑅 𝑚𝑝中既光滑又有旋转对称性的几何体。 (李群: 连续的变换群,兼具群对称性和流形的微分光滑性) 𝑈 ∈ 𝑉𝑚,𝑝 = {𝑈 ∈ 𝑅 𝑚×𝑝 :𝑈 ⊤ 𝑈 = 𝐼𝑝} ⊂ 𝑅 𝑚𝑝 例:当𝑚 = 3, 𝑝 = 2, 𝑈 ∈ 𝑉3,2的一种“极坐标”参数化: 𝑈 = cos(𝜃) − sin 𝜃 cos(𝜑) sin 𝜃 cos(𝜙) cos 𝜃 cos 𝜙 cos 𝜑 − sin(𝜙) sin 𝜑 sin 𝜃 sin(𝜙) cos 𝜃 sin 𝜙 cos 𝜑 + cos(𝜙) sin 𝜑 , 𝜃 ∈ 0, 𝜋 ,𝜙 ∈ [0,2𝜋), 𝜑 ∈ [0,2𝜋)
极分解变换Z一→(W,U)的Jacobian(附录:定理A8)J = J(Z -→ (W,U)) = 2-P|W(m-p-1)/2 dz = 2-P|W|(m-p-1)/2(dW)(dU)I仅与W有关,我们可分离p(Z)中的径向W和方向U(即WⅡU):m-p-1(dw)(du)p(z)dZ = C2-Pexp(E-1W)IWI2tr2(2)≤ g(W)(dW)(dU), U e Vm,p(2)式两边同时积分1= J p(Z)dz = J g(W)(dW) JueVm(dU) = J g(W)(dW) IVm,pl积分『g(W)(dW)可以求得,与多元Gamma函数有关(参见下页),1则IVmpl=Tg(w)(aw’g(W)IVmpl 即是W的概率密度。9
9 极分解变换𝑍 → 𝑊, 𝑈 的Jacobian (附录: 定理A8) 𝐽 = 𝐽(𝑍 → 𝑊,𝑈 ) = 2 −𝑝 |𝑊| (𝑚−𝑝−1)/2 ⇔ 𝑑𝑍 = 2 −𝑝 |𝑊| (𝑚−𝑝−1)/2 (𝑑𝑊)(𝑑𝑈) 𝐽仅与𝑊有关,我们可分离𝑝 𝑍 中的径向𝑊和方向𝑈(即𝑊 ⫫ 𝑈 ): 𝑝 𝑍 𝑑𝑍 = 𝐶2 −𝑝 exp − 1 2 𝑡𝑟 Σ −1𝑊 𝑊 𝑚−𝑝−1 2 𝑑𝑊 𝑑𝑈 ≜ 𝑔 𝑊 𝑑𝑊 𝑑𝑈 , 𝑈 ∈ 𝑉𝑚,𝑝 (2) (2)式两边同时积分 ��,�𝑉�∋�� (�𝑑�)(��)�� = �𝑑� �� �� = 1 |��,�𝑉�| (�𝑑�)(��)�� = (�𝑑�) 积分 (�𝑑�)(��)�� 可以求得,与多元Gamma 函数有关(参见下页), 则|𝑉𝑚,𝑝| = 1 。即是W的概率密度 𝑔 𝑊 𝑑𝑊 , 𝑔 𝑊 |𝑉𝑚,𝑝|