为方便推导，重新用其它符号代替样本均值和方差有： =∑Xs”-∑x-,n=N 则样本方差的期望为： $到=片∑x-1=∑x-W-R-9 =∑x-2-2-四月∑X-川+-9州 =∑X-2-2区-区-4)+- =n∑x-P-G-9 =∑X-49-E-9=2-G-<2 10/56
为方便推导，重新用其它符号代替样本均值和方差有： X = 1 n Xn i=1 Xi , S 2 = 1 n Xn i=1 (Xi − X) 2 ; n = N 则样本方差的期望为： E[S 2 ] = E[ 1 n Xn i=1 (Xi − X) 2 ] = E[ 1 n Xn i=1 ((Xi − µ) − (X − µ))2 ] = E[ 1 n Xn i=1 (Xi − µ) 2 − 2(X − µ) 1 n Xn i=1 (Xi − µ) + (X − µ) 2 ] = E[ 1 n Xn i=1 (Xi − µ) 2 − 2(X − µ)(X − µ) + (X − µ) 2 ] = E[ 1 n Xn i=1 (Xi − µ) 2 − (X − µ) 2 ] = 1 n Xn i=1 E[(Xi − µ) 2 ] − E[(X − µ) 2 ] = σ 2 − E[(X − µ) 2 ] < σ2 10 / 56
由样本具有相互独立有： om国=ur后∑0=∑)-爱 方差var()写成期望的形式即： ar国=R-的=女2 则： s9=g2-R-9="22=21-为 样本方差的无偏估计应该为： s=nx- 11/56
由样本具有相互独立有： var(X) = var( 1 n Xn i=1 Xi) = 1 n 2 Xn i=1 var(Xi) = σ 2 n . 方差 var(X) 写成期望的形式即： var(X) = E[(X − µ) 2 ] = 1 n σ 2 则： E[S 2 ] = σ 2 − E[(X − µ) 2 ] = n − 1 n σ 2 = σ 2 (1 − 1 n ) 样本方差的无偏估计应该为： S ′ 2 = 1 n − 1 Xn i=1 (Xi − X) 2 11 / 56
则 =, (化-)1 i=1 =”2-的 ”9 、 n n-1o2 n-1 n g2 12/56
则 E [ S ′ 2 ] = E [ 1 n − 1 Xni=1 (Xi − X) 2 ] = n n − 1 E [ 1n Xni=1 (Xi − X) 2 ] = n n − 1 E [ S2 ] = n n − 1 n − 1 n σ 2 = σ 2 12 / 56
8.2.3.什么是高斯分布ML的全局最优？ 据最小二乘法LMS,我们知以下函数在元处具有最小值： ∑-≤∑-=∑ 则对任意σ2有： 1 1 1/2含-wP/o2 (2mo2)12e (2m2e 因此元是μ的全局最优估计。那σ2是否为全局最优解？ 13/56
8.2.3. 什么是高斯分布 ML 的全局最优？ 据最小二乘法 LMS，我们知以下函数在 ¯x 处具有最小值： 1 n Xn i=1 (xi − x) 2 ≤ 1 n Xn i=1 (xi − µ) 2 , ¯x = 1 n Xn i=1 xi . 则对任意 σ 2 有： 1 (2πσ2 ) n/2 e −(1/2) ∑n i=1 (xi−¯x) 2/σ 2 ≥ 1 (2πσ2 ) n/2 e −(1/2) ∑n i=1 (xi−µ) 2/σ 2 因此 ¯x 是 µ 的全局最优估计。那 σ 2 是否为全局最优解？ 13 / 56
求σ2的二阶导数： 代入4和σ2的一阶导数的结果有： 有： h=品-P- 02 2646n62= n 264 i=1 ML函数的二阶导数在2点为负，有最大值。 14/56
求 σ 2 的二阶导数： ∂ 2 ∂(σ 2 ) 2 ln L(µ, σ2 |x) = n 2σ 4 − 1 σ 6 Xn i=1 (xi − µ) 2 代入 µ 和 σ 2 的 一阶导数的结果有： µˆ = ¯x, σˆ 2 = 1 n Xn i=1 (xi − ¯x) 2 有： ∂ 2 ∂(σ 2 ) 2 ln L(µ, σ2 |x) = n 2σ 4 − 1 σ 6 Xn i=1 (xi−µ) 2 = n 2ˆσ 4 − 1 σˆ 6 nσˆ 2 = − n 2ˆσ 4 ML 函数的二阶导数在 σˆ 2 点为负，有最大值。 14 / 56