LeastsquaresEstimation,LSE例8.2正弦频率估计设信号模型为sn]=cos2πfon其中频率为待估计量通过使N-1J(fo) = (α[n) - cos 2 fun)?n=0最小可求得LSE。与DC电平信号很容易求得最小值相反，此处LS误差是fo的高度非线性的函数，最小化不能用闭合形式求出。因为误差指标是信号的二次型函数，所以与未知参数呈线性关系的信号产生了J的一个二次型函数，如上例所示。于是最小化是很容易做到的。与未知参数成线性关系的信号模型可以产生一个线性最小二乘估计问题。反之，如本例所示的问题就是一个非线性最小二乘估计问题。通过8.9节所介绍的网格搜索法或选代最小化方法，可以求解非线性LS问题。应当注意到，信号本身并不要求是线性的，只是要求未知参数是线性的，下面的例题将加以说明
例8.2 正弦频率估计 Least squares Estimation, LSE Least squares Estimation, LSE
LeastsquaresEstimation,LSE例8.3正弦信号幅度估计如果信号为s[n=Acos2元fon，其中fo是已知的，A是待估计的参数，那么，ISE在A上使N-1J(A) = (z[n) - A cos 2 fon)2n=0最小。因为J（A）是A的二次型函数，通过求导可以很容易求出最小值。从实际的观点来看，这种线性IS问题是我们所希望的。然而，如果已知A而频率是待估计量，那么该问题可等效为例8.2的问题，也就是说，它将是一一个非线性的LS问题。最后的-一种可能性是在矢量参数情况下，A和f。皆为待估计量。于是，误差指标N-1J(A.fo)=(a[n)-Acos2afon)2n=0是A的二次型函数，但不是f的二次型函数。最终结果是对于给定的，能使用闭合形式求出关于A的最小值，从而把求！的最小化问题简化成只是对的问题，在这类问题中，信号对某些参数是线性的，而对另外一些参数是非线性的，这称为可分离的最小二乘问题。在8.9节中，我们将进一步讨论该问题
例8.3 正弦信号幅度估计 Least squares Estimation, LSE Least squares Estimation, LSE
LeastsguaresEstimation,LSE线性最小二乘估计对于标量参数应用线性LS方法时，我们假设s[n]= h[n]其中h[n]是一个已知序列。LS误差指标变为N-1J(0)= Z(x[n] - 0h[n])2n=0已经证明通过求最小值，可求得LSE为2x[n]h[n]0= n=0N-IEh[n]n=0
线性最小二乘估计 对于标量参数应用线性LS方法时，我们假设 其中h[n]是一个已知序列。LS误差指标变为 已经证明通过求最小值，可求得LSE 为 s[] [] n hn = θ 1 2 0 ( ) ( [ ] [ ]) N n J θ θ xn hn − = = − ∑ 1 0 1 2 0 [ ][ ] ˆ [ ] N n N n x nhn h n θ − = − = = ∑ ∑ Least squares Estimation, LSE Least squares Estimation, LSE
LeastsguaresEstimation,LSE最小LS误差为：VJmin = J(①) = Z(x[n]-θh[n])(x[n]-h[n])n=0N-1N-1ohx[n](x[n] -Oh[n)-h[n](x[n]-Oh[n])n=0n=0N -1N-1Z1-02x[n]h[n]x[nn=on=0N-1(x[n]h[n])N-12[n]-_n=0JX二minN-1n=0Z,h [n]数据的原n=0始能量最小LS误差总是位于这两个极端之间N-艺x?[n]O≤J≤minn=0
最小LS误差为： 最小LS误差总是位于这两个极端之间 1 min 0 ˆ ˆˆ ( ) ( [ ] [ ])( [ ] [ ]) N n J J xn hn xn hn θ θθ − = == − − ∑ 1 0 ˆ [ ]( [ ] [ ]) N n xn xn hn θ − = = −− ∑ 1 1 2 0 0 ˆ [ ] [ ][ ] N N n n x n xnhn θ − − = = = − ∑ ∑ 1 2 1 2 0 m in 1 0 2 0 ( [ ] [ ]) [ ] [ ] N N n N n n x nhn J xn h n − − = − = = = − ∑ ∑ ∑ 1 2 m in 0 [ ] N n 0 J x n − ≤ ≤ ∑ 1 0 ˆ ˆ [ ]( [ ] [ ]) N n θ θ hn xn hn − = ∑ − = 数据的原 始能量 Least squares Estimation, LSE Least squares Estimation, LSE
LeastsguaresEstimation,LSE线性LSE一矢量参数我们假定S=Hθ，这里H是一个满秩为P的N×P矩阵（N>P），称为观测矩阵（没有对噪声概率密度函数作出假设）LSE可通过使下式最小来求得考察和比较它与线性模型的有效估计量以J(O)=(x-HO)(x-H0及BLUE的结果= x'x-x'H0-0= x x-2xH0+0'H'HoJ(@)= -2H'x+2H'H0令梯度等于得LSE为a0=(H"H)-"HxHTHO= HTx(标准方程)
线性LSE －矢量参数 我们假定 s=Hθ，这里H是一个满秩为P的N×P矩阵 （N>P），称为观测矩阵（没有对噪声概率密度函数作 ），称为观测矩阵（没有对噪声概率密度函数作 出假设） LSE可通过使下式最小来求得 可通过使下式最小来求得 令梯度 等于0，得LSE为 () ( )( ) T J HH θ =− − x x θ θ T T TT TT =− − + xx x x Hθ θ θθ H HH 2 T T TT =− + xx x H HH θ θ θ ( ) 2 2 J T T H H H θ θ θ ∂ =− + ∂ x 1 ˆ ( ) T T θ H H H− = x 考察和比较它与线性 模型的有效估计量以 及BLUE的结果 T T H H H θ = x (标准方程) Least squares Estimation, LSE Least squares Estimation, LSE