二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量,而贝叶斯 估计则是把待估的参数作为具有某种先验分布的随机变量,通 过对第类学习样本X的观察,使概率密度分布P(ⅹ0)转化为 后验概率P(0X),再求贝叶斯估计 估计步骤 ①确定θ的先验分布P(θ待估参数为随机变量。 ②用第类样本x=(x1,x2x)求出样本的联合概率密度分布 P(x),它是θ的函数 ③利用贝叶斯公式求0的后验概率P(1)=。P(x0)P() 「P(x|)P(O)dO ④求贝叶斯估计O=(x)dO(证明略)
二.贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量，而贝叶斯 估计则是把待估的参数作为具有某种先验分布的随机变量，通 过对第i类学习样本Xi的观察，使概率密度分布P(Xi /θ)转化为 后验概率P(θ/Xi ) ，再求贝叶斯估计。 估计步骤: ① 确定θ的先验分布P(θ),待估参数为随机变量。 ② 用第i类样本x i=(x1 , x2 ,…. xN ) T求出样本的联合概率密度分布 P(xi |θ)，它是θ的函数。 ③ 利用贝叶斯公式,求θ的后验概率 ④ = P X P d P X P P X i i i ( | ) ( ) ( | ). ( ) ( | ) = 求贝叶斯估计 P( | X i )d（证明略）
下面以正态分布的均值估计为例说明贝叶斯估计的过程 维正态分布已知G2,估计u 假设概率密度服从正态分布 P(Ⅺu)=N(2o2),P(u)=N(p0202) 第i类学习样本x=(x,x2,…xN) ⅰ=1.2.M 第类概率密度P(x|μ,x)=P(xx) 所以后验概率P(|X) P(X|)P() P(x1)P(d叶斯公式)
下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布:已知σ 2 ,估计μ 假设概率密度服从正态分布 P(X|μ)=N(μ,σ2 ), P(μ)=N(μ0 ,σ0 2 ) 第i类学习样本x i=(x1 , x2 ,…. xN ) T , i=1,2,…M 第i类概率密度P(x|μi ,xi )=P(x|xi ) 所以后验概率 (贝叶斯公式) = P X P d P X P P X i i i ( | ) ( ) ( | ). ( ) ( | )
因为N个样本是独立抽取的,所以上式可以写成 uix)=a P(x Iu).P( 共中a=D k=1 P(X|1)P(A)d为比例因子只与x有关,与无关 P(XK H=N(H, 0),P(u=(Ho, 0o P(ulr)=al exp(- -10 e k=1V2兀 丌oO 00 1-0 00 expf +12)2-2(∑M+2)] 00 其中a',a”包含了所有与u无关的因子
因为N个样本是独立抽取的，所以上式可以写成 其中 为比例因子,只与x有关,与μ无关 ∵ P(Xk | μ)=N(μ,σ2 ),P(u)=N(μ0 ,σ0 2 ) 其中a’,a’’包含了所有与μ无关的因子 = = N k k i P X P X a P 1 ( | ) ( | ). () = P X P d a i ( | ) ( ) 1 ( ) ( )]} 2 1 exp[ 2 1 2 1 exp{ 2 1 ( | ) 0 0 2 2 1 − − − = − = k N k i X P X a [ ( ) ( )]} 2 1 'exp{ 1 0 0 2 2 = − + − = − N k Xk a ) ]} 1 ) 2( 1 [( 2 1 ''exp{ 2 0 0 1 2 2 2 0 2 = − + − + = N k Xk N a
∴P(μ|x)是u的二次函数的指数函数 P(u|x)仍然是一个正态函数,P(uX)=N(uNO3) 另外后验概率可以直接写成正态形式:P(|X) u-UN 2ION 2 比较以上两个式子对应的系数应该相等 ON 0 00 2=∑X 00
∴P(μ| x i )是u的二次函数的指数函数 ∴P(μ| xi )仍然是一个正态函数, P(μ|Xi )=N(μN ,σN 2 ) 另外后验概率可以直接写成正态形式： 比较以上两个式子,对应的系数应该相等 ∴ ( )] 2 1 exp[ 2 1 ( | ) 2 N N N i P X − = − = + = + = 0 2 0 1 2 2 2 0 2 2 1 1 1 N k k N N X N N
解以上两式得p、Nd+kNo2+n2A0 ∑ Xk+ 00O N 将μNN2代入P(X)可以得到后验概率,再用公式 OP(O|x)dO,求的估计
解以上两式得 将μN ,σN 2代入P(μ|Xi )可以得到后验概率，再用公式 0 2 0 2 2 1 2 0 2 0 2 + + + = = N X N N k k N 2 0 2 2 0 2 2 + = N N 求的估计 ( | ) , = P X d i