第九讲Hotelling's T2 检验T2 = n(区- μo)TS-1(区-μo)~HoCFp,n-p
1 第九讲 Hotelling’s 𝑇 2 检验 𝑇 2 = 𝑛(𝐱ത − 𝝁𝟎) ⊤𝑆 −1 𝐱ത − 𝝁𝟎 ~𝐻0 𝑐𝐹𝑝,𝑛−𝑝
多元样本均值和样本方差矩阵样本均值假设x1,,XnERPiid～(u,)，即总体均值和方差矩阵分别为样本方差μ=E(x1),Z=var(x)，总体未必正态。的无偏性X= =1Xi, S =,=1(Xi - x)(Xi -x)Tn命题1.假设xu.,XnERPiid~(u,Z),则样本均值和样本方差分别是总体均值和方差矩阵的无偏估计：E(≤) =μ， var(β) ==,E(S) = Z.mZ证明: E(3) = Z-1 Exi = μ, var(3) =Z-1 var(x)=号注意到nn(n- 1)s =(Xi -x)(Xi x)T =(xi-μ)(xi-μ)T-n(区-μ)(区-μ)1i=1而E(n=1(Xi -μ)(xi -μ)T) = nE(X1 -μ)(x1 -μ)T = nvar(x1) = nZ ,E(n(x-μ)(x-μ)T) = nvar(x) = =→ E(n -1)S = nz-→ E(S) = Z
2 多元样本均值和样本方差矩阵 假设 𝐱1, . , 𝐱𝑛 ∈ 𝑅 𝑝 iid ~(𝝁, Σ) ，即总体均值和方差矩阵分别为 𝝁 = 𝐸 𝐱1 , Σ = 𝑣𝑎𝑟(𝐱1) ，总体未必正态。 𝐱ത = 1 𝑛 σ𝑖=1 𝑛 𝐱𝑖，𝑆 = 1 𝑛−1 σ𝑖=1 𝑛 (𝐱𝑖 − 𝐱ത)(𝐱𝑖 − 𝐱ത) ⊤ 样本均值 样本方差 的无偏性 命题1. 假设 𝐱1, . , 𝐱𝑛 ∈ 𝑅 𝑝 iid ~(𝝁, Σ), 则样本均值和样本方差 分别是总体均值和方差矩阵的无偏估计： 𝐸 𝐱ത = 𝝁， 𝑣𝑎𝑟 𝐱ത = Σ 𝑛 , 𝐸 𝑆 = Σ. 证明：𝐸 𝐱ത = 1 𝑛 σ𝑖=1 𝑛 𝐸𝐱𝑖 = 𝝁, var 𝐱ത = 1 𝑛2 σ𝑖=1 𝑛 var(𝐱𝑖) = Σ 𝑛 . 注意到 而 𝐸(σ𝑖=1 𝑛 (𝐱𝑖 − 𝝁) 𝐱𝑖 − 𝝁 ⊤) = 𝑛𝐸(𝐱1 − 𝝁) 𝐱𝟏 − 𝝁 ⊤ = 𝑛var(𝐱1) = 𝑛Σ ， 𝐸 𝑛 𝐱ത − 𝝁 𝐱ത − 𝝁 ⊤ = 𝑛var 𝐱ത = Σ ⇒ E 𝑛 − 1 𝑆 = 𝑛Σ − Σ ⇒ 𝐸 𝑆 = Σ 𝑛 − 1 𝑆 = 𝑖=1 𝑛 (𝐱𝑖 − 𝐱ത)(𝐱𝑖 − 𝐱ത) ⊤ = 𝑖=1 𝑛 (𝐱𝑖 − 𝝁) 𝐱𝑖 − 𝝁 ⊤ − 𝑛(𝐱ത − 𝝁)(𝐱ത − 𝝁) ⊤
多元正态分布参数的极大似然估计极大似然命题2.假设x1.,Xnid～Np(u,Z),则μ,Z的极大似然估计估计MLE分别为=×=S*=(n-1)S/n注：极大似然估计是最优或渐近最优的。S*～S。证明1：似然函数（x1，，Xn的联合概率密度）：L(u,2) = p(x1, .., Xn)1p/z II=1 exp(-(Xi - μ)Tz-1(xi - μ) /2)C=(2元)np/22/z exp(-(±-) T2-1(x-) ---(xi - )T-1(x; - x)显然u的极大点众=x。下面只需极大化7z exp(--1(xi - x)T2-1(x1 - x)= [2|n/2exp(-tr(αZr=-1(xi - x) (xi - x)T) = Z-1= [α/n/2exp(-"tr(2S)3
多元正态分布参数的极大似然估计 3 命题2. 假设𝐱1, . , 𝐱𝑛 𝑖𝑖𝑑 ~𝑁𝑝 𝝁, Σ , 则𝝁, Σ的极大似然估计 分别为 𝝁ෝ = 𝐱ത, Σ = 𝑆 ∗ = 𝑛 − 1 𝑆/𝑛 证明1: 似然函数（𝐱1, . , 𝐱𝑛的联合概率密度）： 𝐿 𝝁, Σ = 𝑝 𝐱1, . , 𝐱𝑛 = 𝐶 |Σ| 𝑛/2 ς𝑖=1 𝑛 exp −(𝐱𝑖 − 𝝁) ⊤Σ −1 (𝐱𝑖 − 𝝁)/2 = 𝐶 |Σ| 𝑛/2 exp − 𝑛 2 (𝐱ത − 𝝁) ⊤Σ −1 (𝐱ത − 𝝁) − 1 2 σ𝑖=1 𝑛 𝐱𝑖 − 𝐱ത ⊤Σ −1 𝐱𝑖 − 𝐱ത 显然𝝁的极大点𝝁ෝ = 𝐱ത。 Ω = Σ −1 C = 1 (2𝜋) 𝑛𝑝/2 注：极大似然估计是最优或渐近最优的。𝑆 ∗ ≈ 𝑆。 极大似然 估计MLE 下面只需极大化 1 |Σ| 𝑛/2 exp − 1 2 σ𝑖=1 𝑛 𝐱𝑖 − 𝐱ത ⊤Σ −1 𝐱𝑖 − 𝐱ത = |Ω| 𝑛/2 exp − 1 2 tr Ω σ𝑖=1 𝑛 𝐱𝑖 − 𝐱ത 𝐱𝑖 − 𝐱ത ⊤ = |Ω| 𝑛/2 exp − 𝑛 2 tr Ω𝑆 ∗
故求的极大似然估计等价于max f(), f(2) = log(/2) - tr(2s*)>0记A=2S*，其所有特征根入1,,入pf(n) = log(In) - tr(ns*) = log(I2s*D) - tr(ns*) - log(Is*D= log(IAD) - tr(A) - log(|S*D= Zr=1(log(ai) - i) -log(IS*D)令%=1-1= 0= =1,i= 1,.,paaiMi→A= lp→最优解=S*-1，=S*方差矩阵当或2=-1不是完全未知、具有参数结构时，比如2=2（0)的优化目似然方法极大化：标函数max (log(l2(0)D-tr(2(0)s*))2(0)>0其中一般用S替代S*。4
4 记𝐴 = Ω𝑆 ∗ ，其所有特征根 𝜆1, . , 𝜆𝑝 𝑓 Ω = log Ω − tr Ω𝑆 ∗ = log Ω𝑆 ∗ − tr Ω𝑆 ∗ − log 𝑆 ∗ = log 𝐴 − tr 𝐴 − log 𝑆 ∗ = σ𝑖=1 𝑝 log 𝜆𝑖 − 𝜆𝑖 − log 𝑆 ∗ 令 𝜕𝑓 𝜕𝜆𝑖 = 1 𝜆𝑖 − 1 = 0 ⇒ 𝜆𝑖 = 1, 𝑖 = 1, . , 𝑝 ⇒ 𝐴 = 𝐼𝑝 ⇒最优解Ω = 𝑆 ∗−1 ，Σ = 𝑆 ∗ 故求Σ的极大似然估计等价于 max Ω>0 𝑓 Ω ，𝑓 Ω = log Ω − tr Ω𝑆 ∗ 当Σ或Ω = Σ −1不是完全未知、具有参数结构时，比如Ω = Ω(𝛉), 似然方法极大化： max Ω(𝛉)>0 log Ω(𝛉) − tr Ω(𝛉)𝑆 ∗ ， 其中一般用𝑆替代𝑆 ∗。 方差矩阵 的优化目 标函数
证明2.不限制2对称，f(2）=log(/2D）一tr(2S*)对2求导afalog(a)atr(2s*):2-1- S*anana2令之为0，得=S*-1，2=S*矩阵、向量导数：(1)A对称则x'Ax=2Axaxotr(AX)(2)X，A为pxp矩阵，则log/X1axax一些矩阵微商公式表贵y-(X)axa1Az2AzIxI(x-y,IXI1 X 1 (2x1 ding(Xx1)(X对序)IAXBIIAXBIA'(AX B)-"YBI [4XB |A((AX B)-YB"2AX(X'AX)-1InIXAX(A对标)X(A+A)tr(XAX')A'Br(AXB)参见王松桂等（2004）线性模型引论P49tr(X'AX B)AX B + 4'X B'In/X12x1_ diag(X-1)(X对明)http://staff.ustc.edu.cn/~ynyang/vector/books/Wang-linear-model.pdftr(AX)(X对称)A+A'-diag(A)5
5 证明2. 不限制Ω对称，𝑓 Ω = log Ω − tr Ω𝑆 ∗ 对Ω求导 𝜕𝑓 𝜕Ω = 𝜕 log Ω 𝜕Ω − 𝜕tr Ω𝑆 ∗ 𝜕Ω = Ω −1 − 𝑆 ∗ 令之为0，得Ω = 𝑆 ∗−1 ，Σ = 𝑆 ∗ . tr( ) log | | (2) 1)A , 2 1 T T A X AX X X X X A p p A A ， 为 矩阵，则 ， （ 对称 则 矩阵、向量导数： x x x x 参见王松桂等（2004）线性模型引论 P49 http://staff.ustc.edu.cn/~ynyang/vector/books/Wang-linear-model.pdf