线性贝叶斯估计问题
线性贝叶斯估计问题
贝叶斯估计总是后验概率最小均方差估计（MMSE)密度的均值（后验均值）最大后验概率估计（MAP））总是后验概率密度的峰值（后验峰值）当后验概率密度函数为对称于其后验均值的单峰密度函数时，MMSE估计或MAP估计是众多类型代价函数的最佳估计量
贝叶斯估计 最小均方差估计（MMSE）总是后验概率 密度的均值（后验均值） 最大后验概率估计（MAP）总是后验概 率密度的峰值（后验峰值） 当后验概率密度函数为对称于其后验均 值的单峰密度函数时，MMSE估计或MAP 估计是众多类型代价函数的最佳估计量
估计量的不变性由于代价函数的选择往往带有某些主观的武断性，如能证明在一定条件下最佳估计量与所选定的代价函数无关是很有意义的。性质1：若代价函数C(c)是对称的凸U函数，且后验概率密度函数p(0x)对称于其后验均值，即1）C()=C(-ε)(对称性)2)C(b+(1-b)ε,)≤bC()+(1-b)C(,)(凸性)0≤b≤1def3) p(gl )=p(-olx) (对称性) β=0-MMSE =-E(| x)在这种情况下，使上述这一类代价函数最小的最佳估计é与MA或者MMSs一致。若C(s)是严格凸U函数，则最佳估计是惟一的，且等于?MAp或MMSE?
估计量的不变性 由于代价函数的选择往往带有某些主观的武断性，如能证明 由于代价函数的选择往往带有某些主观的武断性，如能证明 在一定条件下最佳估计量与所选定的代价函数无关是很有意 在一定条件下最佳估计量与所选定的代价函数无关是很有意 义的。 1 ( ) ˆ (|) ˆ ˆ ˆ MMSE MAP MMSE C E x ε θ ε ε ε εε ε ϕ ϕ ϕ θθ θ θ θ θ θ ε ≤ ≤ ≤ − =− 1 21 2 def 性质 ：若代价函数 是对称的凸U函数，且后验概率密度函数 p( |x)对称于其后验均值，即 1）C( )=C(- )(对称性) 2) C(b +(1-b) ) bC( )+(1-b)C( )（凸性）0 b 1 3) p( |x)=p(- |x)(对称性) ＝ 在这种情况下，使上述这一类代价函数最小的最佳估计 与 或者 一致。若C( ˆ ˆ ˆ MAP MMSE θ θ θ )是严格凸U函数，则最佳估计 是惟一的， 且等于 或
估计量的不变性性质2：若代价函数C(c)是对称的非减函数，即1） C(c)=C(-ε)(对称性)≥0≥0d2)≤0≤0de同时后验概率密度是对称于条件均值的单峰函数，即def3)p(μlx)=p(-lx)(对称性)β=-MMSE=0-0MAF且满足条件44) lim C(p) p(βl x)=00则使这一类代价函数最小的最佳估计与MMSe或者MAP一致。估计量的不变性告诉我们：对相当广泛的一类代价函数，只要性质1和2的条件得以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计
估计量的不变性 2 ( ) 0 0 ( ) 0 0 ˆ ˆ lim ˆˆ ˆ MMSE MAP MMSE MAP C C C ϕ ε ε ε ε ε ε ε ϕ ϕ ϕ θθ θθ ϕ ϕ θθ θ →∞ ⎧≥ ≥ ⎨ ⎩≤ ≤ − =− def 性质 ：若代价函数 是对称的非减函数，即 1）C( )=C(- )(对称性) d 2) d 同时后验概率密度是对称于条件均值的单峰函数，即 3) p( |x)=p(- |x)(对称性) ＝ 且满足条件4 4） （ ）p( |x)=0 则使这一类代价函数最小的最佳估计 与 或者 一致。 估计量的不变性告诉我们：对相当广泛的一类代价函数，只要性质 1 和 2的条件得 以满足，则最小均方误差估计或最大后验概率估计总是使代价最小的最佳估计
线性贝叶斯估计量的引出最佳贝叶斯估计量是很难用闭合形式确定的，并且在实践中因其计算量太大而难以实现■MMSE估计量含有多重积分；MAP估计量含有多维最大值求解问题在不能做出高斯假定的时候，就必须利用另外的方法：选择保留MMSE准则，但是限定估计量是线性的，则估计量的显式表示可以很容易地根据PDF的前两阶矩来确定一实践中的维纳滤波器
线性贝叶斯估计量的引出 最佳贝叶斯估计量是很难用闭合形式确定的， 并且在实践中因其计算量太大而难以实现 MMSE估计量含有多重积分； MAP估计量含有多维最大值求解问题 在不能做出高斯假定的时候，就必须利用另外 的方法：选择保留MMSE准则，但是限定估计 准则，但是限定估计 量是线性的，则估计量的显式表示可以很容易 地根据PDF的前两阶矩来确定－实践中的维纳 滤波器