第十三讲因子分析当现象不能解释时，寻找潜变量f
第十三讲 因子分析 1 1 x 2 x f 当现象不能解释时，寻找潜变量𝑓
背景1：主成分变换的反变换-生成模型随机向量xpx1的主成分变换：y=VTx→逆变换：正交基展开/生X = Vy = Viy1 +. + Vpypi成模型其中 ≥ 2 ≥... ≥ p ≥ 0, var(yi) = i.口x=Vy是正交展开表示：x表示为正交基v,…,Vp的线性组合，系数为主成分y1,…,yp口x=Vy是生成模型：x由一组不相关的r.v.y1,,yp生成。PCA保留上述正交展开的前m项，舍弃em=Vm+1Ym+1++Vpyp最佳逼用于逼近x：近X=Viy1+...+Vmym+em=Vmym+em其中Vm = (V1,.,Vm),ym = (y1, .,ym)TX~ V1Y1 +...+Vmym由Eckart-Young-Mirsky定理，这是最佳逼近（参见后面）。2
2 背景1：主成分变换的反变换-生成模型 正交基 展开/生 成模型 最佳逼 近 随机向量𝐱𝑝×1的主成分变换：𝐲 = 𝑉 ⊤ 𝐱 ⇒逆变换： 𝐱 = 𝑉𝐲 = 𝐯1𝑦1 + ⋯ + 𝐯𝑝𝑦𝑝, 其中 𝜆1 ≥ 𝜆2 ≥. ≥ 𝜆𝑝 ≥ 0, var 𝑦𝑖 = 𝜆𝒊 . 𝐱 = 𝑉𝐲 是正交展开表示: 𝐱表示为正交基𝐯1, . , 𝐯𝑝的线性组合，系数为主成分𝑦1, . , 𝑦𝑝. 𝐱 = 𝑉𝐲 是生成模型： 𝐱由一组不相关的 𝑟. 𝑣. 𝑦1 , . , 𝑦𝑝生成。 PCA保留上述正交展开的前𝑚项，舍弃𝒆𝑚 = 𝐯𝑚+1𝑦𝑚+𝟏 + ⋯ + 𝐯𝑝𝑦𝑝， 用于逼近𝐱: 𝐱 = 𝐯1𝑦1 + ⋯ + 𝐯𝑚𝑦𝑚 + 𝒆𝑚 = 𝑉𝑚𝐲𝑚 + 𝒆𝑚, 其中𝑉𝑚 = 𝐯1, . , 𝐯𝑚 , 𝐲𝑚 = (𝑦1, . , 𝑦𝑚) ⊤ 𝐱 ≈ 𝐯1𝑦1 + ⋯ + 𝐯𝑚𝑦𝑚 由Eckart-Young-Mirsky定理，这是最佳逼近（参见后面）
X= Vmym +em主成分是潜变量口x可以观测，主成分v是从x推断得到的（不可直接观测）。口PCA以少数主成分/潜变量解释可观测变量x的相关性。将PCA表示x=Vmym+em一般化，我们有如下因子模型，PCA拓展也称为概率PCA模型：对于任何p×1随机向量x可以观测，假设存在m<p个不可观测的潜变量（称为因子），使得X=Lf+E,EIf其中?是x中f所不能解释的部分，称为误差/个性因子。注意，这看起来是一个线性回归模型（确实是），但其中的f是不可直接观测的（没有数据）。我们将在后面详细讨论因子模型。3
3 将PCA表示𝐱 = 𝑉𝑚𝐲𝑚 + 𝒆𝑚一般化，我们有如下因子模型， 也称为概率PCA模型： 主成分是 潜变量 𝐱 = 𝑉𝑚𝐲𝑚 + 𝒆𝑚 𝐱可以观测，主成分 𝐲是从𝐱推断得到的（不可直接观测）。 PCA以少数主成分/潜变量解释可观测变量𝐱的相关性。 PCA拓展 对于任何𝑝 × 1随机向量𝐱可以观测，假设存在𝑚 < 𝑝个不 可观测的潜变量（称为因子），使得 𝐱 = 𝐿𝐟 + 𝛆, 𝛆 ⫫ 𝐟 其中𝛆是𝐱 中𝐟所不能解释的部分，称为误差/个性因子。 注意，这看起来是一个线性回归模型（确实是），但其中的𝐟 是不可直接观测的（没有数据）。我们将在后面详细讨论因子 模型
随机函数或随机过程存在与PCA类似的Karhunen-Loeve展开：任一随机函数随机函数（随机过程）可表示为相互正交的常函数的线性组合，的主成分组合系数互不相关。Mercer定理(谱分解)：假设二元连续函数K(s,t)是对称正定的：定义线性变换K(s,)f(s)ds(Tf)O) =则存在常数入k≥0和正交基函数Vk使得K(s,t)vk(s)ds = ΛkVk(t),k = 1,2,..TVk(t) = 即ak，Vk(t)是线性变换Tf =『K(s,)f(s)ds的特征根和特征函数。则存在谱分解K(s,t) =NkVk(s)Vk(t) 。k=1
4 Mercer定理(谱分解): 假设二元连续函数𝐾 𝑠,𝑡 是对称正定的， 定义线性变换 (𝑇𝑓)(∙) = න 𝐾 𝑠,∙ 𝑓 𝑠 𝑑𝑠 则存在常数𝜆𝑘 ≥ 0和正交基函数𝑣𝑘 ∙ 使得 𝑇𝑣𝑘(𝑡) = න𝐾 𝑠,𝑡 𝑣𝑘 𝑠 𝑑𝑠 = 𝜆𝑘𝑣𝑘 𝑡 , 𝑘 = 1,2, . 即𝜆𝑘，𝑣𝑘 𝑡 是线性变换𝑇𝑓 = �𝑑� �� �� ∙,�� ��的特征根和特征函 数。则存在谱分解 𝐾 𝑠,𝑡 = 𝑘=1 ∞ 𝜆𝑘𝑣𝑘 𝑠 𝑣𝑘 𝑡 。 随机函数或随机过程存在与PCA类似的Karhunen-Loève展开: 任一 随机函数（随机过程）可表示为相互正交的常函数的线性组合， 组合系数互不相关。 随机函数 的主成分
Karhunen-Loeve定理xt=x(t)是平方可积的随机过程，tER，E(xt)=0,假设协方差函数K(s,t)=cov(xs,xt)是正定函数，有谱分解K(s,t) = Zk=1 MkVk(s)Vk(t),其中常函数vk(t),k=1,2,...是线性变换Tf=『K(s,)f(s)ds的特征函数，相互正交模长为1。定义主成分为x(t)在方向Vk(t)上的投影坐标：Yk = J xtVk(t)dt则xt有正交展开80YkVk(t)Xt =其中 E(yk) = 0, var(yk) = Λk,cov(yk,yj) = 0
5 Karhunen-Loève定理. 𝑥𝑡 = 𝑥(𝑡)是平方可积的随机过程， 𝑡 ∈ 𝑅， 𝐸 𝑥𝑡 = 0, 假设协方差 函数𝐾 𝑠,𝑡 = 𝑐𝑜𝑣(𝑥𝑠 , 𝑥𝑡 )是正定函数，有谱分解 𝐾 𝑠,𝑡 = σ𝑘=1 ∞ 𝜆𝑘𝑣𝑘 𝑠 𝑣𝑘 𝑡 ， 其中常函数𝑣𝑘 𝑡 , 𝑘 = 1,2, . 是线性变换 𝑇𝑓 = �𝑑� �� �� ∙,�� ��的特 征函数，相互正交模长为1。定义主成分为𝑥(𝑡)在方向𝑣𝑘 𝑡 上的投 影坐标： �𝑑� �� �𝑣𝑡𝑥� = �𝑦� 则 𝑥𝑡有正交展开 𝑥𝑡 = 𝑘=1 ∞ 𝑦𝑘𝑣𝑘 𝑡 其中 𝐸(𝑦𝑘) = 0, 𝑣𝑎𝑟 𝑦𝑘 = 𝜆𝑘, 𝑐𝑜𝑣(𝑦𝑘, 𝑦𝑗) = 0