线性贝叶斯估计器由数据集x(O),x()，..,x(N-1))估计标量参数e，e是随机变量的一个实现，如果将估计限制在一个线性估计器：N-1-Zan·x(n)+an(5)n=0选择系数集(an，n=O,...N，使BayesianMSE最小，即：imse(0))=E[(0 -0)"]= [(@-0)"p(x,0)dxdemin(an)先求解anN-1a-2EA-Zanr(n)-antan.x(n)HanoaNn=0得N-1an=E(0)-a,E(x(n)7=0
线性贝叶斯估计器
线性贝叶斯估计器将a~表达式代入Bmse()中将a和a代入(5)：[N-1N-1-Zan x(n)+anBmse(0)= EZan(x(n) -E(x(n) -(β -E(0)Ln=0n=0N-1N-= E(a(x - E(x)-(β- E()Panx(n)+E(0)-a,E(x(n)n=0n=0=aTCa-aTCxe-Ce'a+Cee=aT (x-E(x)+E(0)为使其最小，令：= E(0)+C ·C(x - E(x)Bmse(0)2=2Cx-a-2Cxeaa将a代入Bmse表达式，得最小Bmse为得：a=C·CxBmse(@) = Cee -Ce ·Cl ·Cxe
线性贝叶斯估计器
线性贝叶斯估计器若有E（）=0，E（x（n））=0，则上面各式简化为：[a=CCxe0=-Cte.Cd.x(6)1*[Bmse() =Coo -Cte ·C ·这组关系式可以直接联系到Wiener滤波问题·线性Bayesian估计与高斯分布下的一般Bayesian估计是一致的，在高斯分布下，线性估计可达最优。注：在以上推导和讨论中，Cxe=E[(x - E(x)(@ - E(0)]（NX1矩阵或列矢量）Ce =E[(0 -E(0) (x- E(x)T（1XN矩阵或行矢量）"TOxe
线性贝叶斯估计器
量LMMSE估计量贝叶斯高斯一马尔可夫定理：如果观测数据x可以使用贝叶斯线性模型表示一x=He+w其中x是一个N×1的数据矢量，H是一个已知的N×p矩阵，0是一个p×1的的随机矢量，它的现实是要估计的，其均值和协方差分别为E(①)和Ce;w是一个N×1的噪声矢量，均值和协方差分别为零和C，且与0是不相关的（另外，联合PDFp（w，①）是任意的）。那么的MMSE估计量为=E(0)+CHT(HCβHT +C,)-'(x-HE(0)=E(0) +(C +H'C_"H)"H'C='(x- HE(0))估计量的性能是通过误差=θ一0来度量的，误差的均值为零，协方差矩阵为C,=Ex.(csT)=Co-CoHT(HCoHT+C,)-"HCoe=(C + H'C,'H)误差协方差矩阵也是最小的MSE矩阵M，其对角线上的元素产生最小贝叶斯MSE,即M。=[C],=Bmse(
矢量LMMSE估计量 ˆ 1 ( )( w T T w x C MMSE HH H C xH θθ θθ θθ θ θ θ θ θ θ θ θ θ − × × × × + +− 如果观测数据 可以使用贝叶斯线性模型表示－x=H +w 其中x是一个N 1的数据矢量，H是一个已知的N p矩阵，是一个 p 1的的随机矢量，它的现实是要估计的，其均值和协方差分别为E( ) 和C ;w是一个N 1的噪声矢量，均值和协方差分别为零和 ,且与 是不 相关的（另外，联合PDFp(w, )是任意的）。那么 的 估计量为 ＝E( ) C C E( ( ) ( ) ( ) [ ] 1 11 1 1 , 1 1 1 ˆ ˆ ) ˆ () ( ) , ˆ ( ) T T w w T TT x w T w i ii ii C HC H HC x H C E HH H C H C HC H MSE M Bmse θθ ε θ θθ θθ θθ θθ θθ θ θ ε θ θ εθθ εε θ − −− − − − − − + − = =− + = + ⎡ ⎤ = ⎣ ⎦ ) ＝E( )＋ E( ) 估计量的性能是通过误差 ＝ － 来度量的，误差的均值为零，协方差 矩阵为 C C C C 误差协方差矩阵也是最小的 矩阵 其对角线上的元素产生最小 贝叶斯MSE,即 M C ＝ 贝叶斯高斯－马尔可夫定理： 贝叶斯高斯－马尔可夫定理：
贝叶斯线性模型贝叶斯一般线性模型为x=HO+W其中x是一个N×1的数据量，H是一个已知的N×p矩阵，6是一个p×1的具有先验概率PDFN(ue，C。）的随机矢量，w是一个N×1的噪声矢量，具有PDFN(O,C.），且与无关。它和经典的一般线性模型的区别在于，将0看作为一个具有高斯先验PDF的随机变量。如果观测数据x满足上面的模型，那么后验PDFp(αx)是高斯分布的，它的均值和协方差分别为E(0Ix)=μ。 +C,H'(HC,H +C,)'(x-Hμo)Cox =C。-C,H'(HC,HT +C,)-"HC为确保HC,HT+C的可逆性，那么H不必是满秩的
贝叶斯线性模型 0 ( | w H w N p p N C w N N C p E θ θ θ θ μ θ θ θ θ × × × × 贝叶斯一般线性模型为 x= + 其中x是一个N 1的数据矢量，H是一个已知的 矩阵， 是一个 1的具有先验概率PDF ( , )的随机矢量， 是一个 1的噪声矢量，具有PDF ( , ),且与 无关。它和经典的一 般线性模型的区别在于，将 看作为一个具有高斯先验PDF的随 机变量。 如果观测数据x满足上面的模型，那么后验PDF ( |x)是高斯 分布的，它的均值和协方差分别为 x 1 1 | ) ( )( ) ( ) T T w T T w T w C H HC H C H C C C H HC H C HC HC H C H θθ θ θ θ θθ θ θ θ μ μ − − =+ + − =− + + x x 为确保 的可逆性，那么 不必是满秩的