第四讲多元正态分布 (μ, 2)
第四讲 多元正态分布 1 𝑁𝑝(𝛍, Σ)
内容多元生成分布：球对称正态、Boltzmann分布椭球分布多元正态分布高斯图模型概率图模型：马氏随机场Hammersley-Clifford定理
内容 • 多元生成分布：球对称正态、Boltzmann分布 • 椭球分布 • 多元正态分布 • 高斯图模型 • 概率图模型：马氏随机场 • Hammersley-Clifford定理 2
多元生成模型：球对称正态、Boltzmann分布球对称分布的仿射变换可以生成椭球分布，最重要的是Nn(O,α2In）。Boltzmann分布是物理学中的重要概率模型，众多分布与其有关，我们也把它视作多元离散分布的生成模型X=（x1,..，xn）T~N（0,α21n）（α2=1时是标准正态）球对称正态N(0,-In)X1,...,xniid~N(O,o2),一概率密度函数f(x)=(2no0)/exp(-1x1)一前~ (s"-1)，岚 Ixl, Ix~0xn；概率密度:-1rn-1e-r2/202, r >0Pn,g(r) = 2n/2-1r(n/2)封闭物理系统在热力学温度T时处于能量状态E：的概率（或密度Boltzmann(Gibbs)分布p(Ei) =zexp(-E;/kT),其中配分（partition）函数Z=Z,exp(-Ei/kT），Boltzmann常数k=1.380649×10-23焦耳/开尔文。5
5 多元生成模型：球对称正态、Boltzmann分布 𝐱 = (𝑥1, . . , 𝑥𝑛) ⊤~𝑁𝑛 0, 𝜎 2 𝐼𝑛 (𝜎 2= 1时是标准正态） ⇔ 𝑥1, . . , 𝑥𝑛 iid ~𝑁 0, 𝜎 2 ， ⇔ 概率密度函数𝑓 𝐱 = 1 (2𝜋𝜎2) 𝑛/2 exp − 1 2𝜎2 𝐱 2 ⇔ 𝐱 𝐱 ~𝑈 𝑆 𝑛−1 ， 𝐱 𝐱 ⫫ 𝐱 , 𝐱 ~𝜎𝜒𝑛 ，概率密度: 𝑝𝑛,𝜎 𝑟 = 𝜎 −𝑛 2 𝑛/2−1Γ(𝑛/2) 𝑟 𝑛−1𝑒 −𝑟 2/2𝜎 2 ， 𝑟 > 0 球对称正 态𝑁𝑛 0, 𝜎 2 𝐼𝑛 球对称分布的仿射变换可以生成椭球分布，最重要的是 𝑁𝑛 0, 𝜎 2 𝐼𝑛 。Boltzmann分布是物理学中的重要概率模型，众多 分布与其有关，我们也把它视作多元离散分布的生成模型。 封闭物理系统在热力学温度𝑇时处于能量状态𝐸𝑖的概率(或密度) 𝑝 𝐸𝑖 = 1 𝑍 exp(−𝐸𝑖/𝑘𝑇), 其中配分 partition 函数 𝑍 = σ𝑖 exp(−𝐸𝑖/𝑘𝑇), Boltzmann常数 𝑘 = 1.380649 × 10−23焦耳/开尔文。 Boltzmann (Gibbs)分布
分子速率的麦克斯韦-玻尔兹曼分布(Maxwell-Boltzmann)：0X3分布kT2/元g3 v?e-2 /2g2P3,(v) =,v>0,=Nm这是oX3分布，其中m：质量，T：温度，k:Boltzmann常数。麦克斯韦(1860)和玻尔兹曼考虑热平衡状态下理想气体分子（或粒子）速度向量v=(1,V2,V3)T和速率=++的概率分布。麦克斯韦假设v各向同性且分量独立→V1,V2,V3id~N(0,α2)。Hershell(1850)更早发现了这一结果。玻尔兹曼从热力学角度推导出球对称正态，得到。2=，，（是一m般的Boltzmann能量分布的基础）从而速率=++~0X3，=kT/m由此可得能量E=mv2/2服从()x3Maxwell-Hershell定理：随机向量x球对称分布且所有分量独立 X~Nn(0,α2In)6
6 分子速率的麦克斯韦-玻尔兹曼分布(Maxwell–Boltzmann)： 𝑝3,𝜎 𝑣 = 2 𝜋𝜎3 𝑣 2𝑒 −𝑣 2/2𝜎 2 , 𝑣 > 0, 𝜎 = 𝑘𝑇 𝑚 这是𝜎𝜒3 分布，其中𝑚: 质量, 𝑇:温度, 𝑘:Boltzmann常数。 麦克斯韦(1860)和玻尔兹曼考虑热平衡状态下理想气体分子（或粒子） 速度向量𝐯 = (𝑣1, 𝑣2, 𝑣3) ⊤和速率𝑣 = 𝑣1 2 + 𝑣2 2 + 𝑣3 2 的概率分布。 • 麦克斯韦假设𝐯各向同性且分量独立⇒ 𝑣1, 𝑣2, 𝑣3 iid ~𝑁 0, 𝜎 2 。 Hershell(1850)更早发现了这一结果。 • 玻尔兹曼从热力学角度推导出球对称正态，得到 𝜎 2 = 𝑘𝑇 𝑚 , （是一 般的Boltzmann能量分布的基础） 从而速率𝑣 = 𝑣1 2 + 𝑣2 2 + 𝑣3 2 ~𝜎𝜒3 ，𝜎 = 𝑘𝑇/𝑚 由此可得能量𝐸 = 𝑚𝑣 2 /2服从( 𝑘𝑇 2 )𝜒3 2 𝜎𝜒3 分布 Maxwell-Hershell定理：随机向量𝐱球对称分布且所有分量 独立⇔ 𝐱~𝑁𝑛 0, 𝜎 2 𝐼𝑛
*球对称多元正态的仿射变换生成（球）多元正态分布这是本课程的主要模型；常见的统计模型，比如线性回归模型、误差正态的时间序列、纵向数据模型实际上是具有特殊结构的多元正态模型。*Boltzmann分布应用于特定场合，假定能量的特殊形式生成一些物理学中重要的多元离散分布或模型Ising model, Boltzmann machine, restrictedBoltzmann machine, energy-based models anddeepBoltzmannmachine
7 球对称多元正态的仿射变换生成（椭球）多元正态分布， 这是本课程的主要模型； Boltzmann分布应用于特定场合, 假定能量的特殊形式， 生成一些物理学中重要的多元离散分布或模型。 常见的统计模型，比如线性回归模型、误差 正态的时间序列、纵向数据模型实际上是具 有特殊结构的多元正态模型。 Ising model, Boltzmann machine, restricted Boltzmann machine, energy-based models and deep Boltzmann machine