可得到 y=6+ (8) 式中:y为N维输出向量;ξ为N维噪声向量;θ 为(2n+)维参数向量;Φ为N×(2n+)测量矩阵。 式(8)式一个含有(2n+1)个未知参数,由N个方程 组成方程组。 当N<2n+1,方程数少于未知数数目,则方程组的 解是不定的。 当N=2n+1,方程数正好与未知数相等,当噪声5=0 时,就能准确的解出 0=①
❖ 可得到 ❖ （8） ❖ 式中： 为N维输出向量； 为N维噪声向量； 为 维参数向量； 为 测量矩阵。 ❖ 式（8）式一个含有 个未知参数，由N个方程 组成方程组。 ❖ 当 ，方程数少于未知数数目，则方程组的 解是不定的。 ❖ 当 ，方程数正好与未知数相等，当噪声 时，就能准确的解出 y y = + (2n +1) N (2n +1) (2n +1) N 2n +1 N = 2n +1 y −1 = = 0
令如果噪声5≠0,则 0=Φy-Φ 从上式可以看出噪声5对参数估计有影响, 为了尽量减少噪声对估值的影响,应 取 N>(2n+ 此时,要采用数理统计的方法求θ的值,以 减少噪声对θ估计值的影响
❖ 如果噪声 ，则 ❖ 从上式可以看出噪声 对参数估计有影响， 为了尽量减少噪声 对 估值的影响，应 取 ❖ 此时，要采用数理统计的方法求 的值，以 减少噪声对 估计值的影响。 0 −1 −1 = y − N (2n +1)
最小二乘估计算法 设表示θ的最优估值,y表示y的最优估值,则 有 y= pe 今式中 y(n+1) y(n+2) 0= ly(n+N
最小二乘估计算法 ❖ 设 表示 的最优估值， 表示 的最优估值，则 有 ❖ 式中 ^ y ^ y ^ ^ y = = + + + = n n b b a a y n N y n y n y ^ 0 ^ ^ 1 ^ ^ ^ ^ ^ ^ , ( ) ( 2) ( 1)
设6表示)8)与之差,即 e(k)=a(x-)y(k)+b()u(k)k=n+,n+2,…,n+N 今式中 (二)=1+a12+…+anz b(=2)=b+b1z2+…+b 将e(k)称为残差。把k=n+1,n+2,…,n+N分别代入上 式可得残差e(n+1)e(n+2)…,e(n+N)。设 e=[(m+1)e(n+2)…c(n+N 今则有 e=y-y=y-g
❖ 设 表示 与 之差，即 ❖ 式中 ❖ 将 称为残差。把 分别代入上 式可得残差 。设 ❖ 则有 e(k) ( ) ^ y k y(k) e k = a z y k + b z u k k = n + n + n + N − − ( ) ( ) ( ) ( ) ( ) 1, 2, , 1 ^ 1 ^ e(k) n n n n b z b b z b z a z a z a z − − − − − − = + + + = + + + ^ 1 1 ^ 0 ^ 1 ^ ^ 1 1 ^ 1 ^ ( ) ( ) 1 e(n +1), e(n + 2), ,e(n + N) k = n +1,n + 2, ,n + N T e = e(n +1) e(n + 2) e(n + N) e = y − y = y − ^
最小二乘估计要求残差的平方和为最小,即按照目 标函数 J=ee=y-中0y- 冷为最小来确定估值。 冷求J对的偏导数并令其等于0,可得 0=便Φ)Φ J为极小值的充分条件是 =ΦΦ>0 06 即矩阵Φ①为正定矩阵
❖ 最小二乘估计要求残差的平方和为最小，即按照目 标函数 ❖ 为最小来确定估值 。 ❖ 求J对 的偏导数并令其等于0，可得 ❖ J为极小值的充分条件是 ❖ 即矩阵 为正定矩阵。 − = = − ^ ^ J e e y y T T ^ 0 2 ^ 2 = J T ( ) y T T = −1 ^ T ^