3.3EM算法 ·主要思想： ①给日自主规定个初值 ②根据样本和当前参数日，求隐变量z的条件概率分布的期望 ③基于上式得到的z,根据极大似然估计求最优的日 ④重复第二步和第三步，直到收敛
3.3 EM算法 • 主要思想： ① 给θ自主规定个初值 ② 根据样本和当前参数θ，求隐变量z的条件概率分布的期望 ③ 基于上式得到的z，根据极大似然估计求最优的θ’ ④ 重复第二步和第三步，直到收敛
3.3EM算法 ·公式推导： ·似然函数： L()=L(,,x:0)=Πpx;),6e⊙. ·对数似然函数（求导困难，引入z):() =∑1ogp;) i-1 = ∑卫65n ·引入z后： ∑1ogpr0)=∑log∑p(x0,20:0) z() ∑1g∑Q.(e0Pe9,9:0 Q(z0） z( ∑ec9e89 ≥】
3.3 EM算法 • 公式推导： • 似然函数： • 对数似然函数（求导困难，引入z）： • 引入z后：
3.3EM算法 ·Jensen:不等式：如果f是凸函数，X是随机变量，那么：E[fX)]>=f(E[X);X 是常量时，上式取等号 ·期望： ∑o[89鬥] ·根据]ensen不等式，可得： f(a (e普9]）≥ar(9门 E可X】 f(b) fE 闪
3.3 EM算法 • Jensen不等式：如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])；X 是常量时，上式取等号 • 期望： • 根据Jensen不等式，可得：
3.3EM算法 ·证明收敛（等号成立）：X为常量 p(x0,20;0) Q(z0) 变换：∑px,0)=∑0(e)e,由于∑0(e)=1 可得：∑p(x,:)=c 可得： Qi(:)= p(x⊙，z0;0) ∑2p(r0,z) p(x@,z0:0) p(x;0の p(zz@:0) 结论：在固定参数后，使下界拉升的Q(z)的计算公式就是条件概率
3.3 EM算法 • 证明收敛（等号成立）：X为常量 变换： ，由于 可得： 可得： 结论：在固定参数θ后，使下界拉升的Q(z)的计算公式就是条件概率 , ; i i i i z z p x z Q z c , ; i i z p x z c 1 i i z Q z
3.3EM算法 ·算法步骤： ①随机初始化分布参数日 ②循环E步和M步，直到收敛 (E步，求Q函数)第i次迭代，根据第i-1次迭代得的参数日计算隐变量 z的后验概率，作为隐变量z的现估计值： 隐变量z的（条件）期望等 Q:(z@)=p(z01x0;0) 于其条件概率。 (M步，求使Q函数获得极大时的参数日)将似然函数最大化以获得新 的参数日 0=arg mgx∑∑Q.(e)1og p(x0,20;0) Q(2z@)】 i z(i)
3.3 EM算法 • 算法步骤： ① 随机初始化分布参数θ ② 循环E步和M步，直到收敛 （E步，求Q函数）第i次迭代，根据第i-1次迭代得的参数θ计算隐变量 z的后验概率，作为隐变量z的现估计值： （M步，求使Q函数获得极大时的参数θ ）将似然函数最大化以获得新 的参数θ 隐变量z的（条件）期望等 于其条件概率