《系统辨识》课程教学课件（讲稿）第3章 最小二乘参数辨识方法及原理

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法>对?m，当wm)=1，加权递推最小二乘算法变为例3.5对3.4采用递推最小二乘估计辨识模型参数般最小二乘算法。=(k)+1.5=(k-1)+0.7z(k-2)= u(k1)+0.5u(k-2)+V(k)>w(m）可以在(0,I)范围内选择，如果w(m)<1则表示削弱式中，V(k）是服从正态分布的白噪声N(0,I)。输入信号采过去的观测数据的作用。用4阶M序列，其幅值为1。>当w(k)=a-(a>0,0<<1)时，加权最小二乘算选择如下的辨识模型进行递推最小二乘参数辨识。=(k)+a,=(k-1)+a,=(k-2)=b,u(k-1)+b,u(k-2)+V(k)法变又称为渐消记忆最小二乘算法。W.=I遵推最小二乘参数妍识游识精座1.4a,12001000by8000el600O4000.4ba2000.2-2000.2103.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法数据饱和..=0.+K..[=(m+1)-h(m+1),] =0. +K.[=(m+1)-h(m+1)0.]P_,=P,-P,F(m+I)[v(m+1)+h(m+)P,F(m+I)F"Mm+1)P,P.,=P_P_r(m+I)+m+DP(m+I)r'h(m+)PKm=P_h"(m+D[w-(m+)+hm+I)P_h(m+ITK..=Ph'(m+D+h(m+)P.h(m+DT)增益矩阵K表示修正程度，K越大，修正效果越好。/-P(m)-P(m+D)20.随着递推次数的增加，P(m）和K（m）逐渐减小，直至趋于0。0.-+ =0. +K.[=(m+1)-h(m+1)0.]P,=P,-P(m++hm+)PT(m+Irm+)P数据饱和后，由于遵推计算的合入误差，不仅新的观测值对参数估计不起修正作用，反而使P（m）失去正定性，导致=P(m+D+hm+DPh(m+T估计误差增加。11

2016/10/26 11 3.3 递推最小二乘法原理及算法  对m ，当w(m) 1，加权递推最小二乘算法变为一 般最小二乘算法。  当 ( )  (  0,0  1)  w k a a  m k 时，加权最小二乘算 法变又称为渐消记忆最小二乘算法。  w(m)可以在(0,1]范围内选择，如果w(m) 1则表示削弱 过去的观测数据的作用。 3.3 递推最小二乘法原理及算法 式中，V(k) 是服从正态分布的白噪声 N(0,1) 。输入信号采 用 4 阶M 序列，其幅值为 1。 例3.5 对3.4采用递推最小二乘估计辨识模型参数 z(k) 1.5z(k 1)  0.7z(k  2)  u(k 1)  0.5u(k  2) V(k) ( ) ( 1) ( 2) ( 1) ( 2) ( ) 1 2 1 2 z k  a z k   a z k   b u k   b u k  V k 选择如下的辨识模型进行递推最小二乘参数辨识。 W I m  1 a 2 a 1 b 2 b 1 a a2 b1 2 b 3.3 递推最小二乘法原理及算法 m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            1 1 1 ( 1)[ ( 1) ( 1) ( 1)]   K   P h m  w m   h m  P h m  T m T m m ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m      K  z     W I m  m T m T Pm Pm Pmh (m 1)[1 h(m 1)P h (m 1)] h(m 1)P 1 1          1 1 ( 1)[1 ( 1) ( 1)] K   P h m  h m P h m T m T m m ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m     K  z      增益矩阵 Km1表示修正程度， Km1越大，修正效果越好。 3.3 递推最小二乘法原理及算法  P(m)  P(m1)  0，随着递推次数的增加， P(m) 和 K(m) 逐 渐减小，直至趋于 0。 数据饱和后，由于递推计算的舍入误差，不仅新的观测 值对参数估计不起修正作用，反而使 失去正定性，导致 估计误差增加。 P(m) ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m     K  z     m T m T Pm Pm Pmh (m 1)[1 h(m 1)P h (m 1)] h(m 1)P 1 1          1 1 ( 1)[1 ( 1) ( 1)] K   P h m  h m P h m T m T m m 数据饱和

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法1.0+>矩形窗当系统参数随时间变化时，因新数据被旧数据所滤没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重（降低），增加新数据的0ii+1i+m-1i+m作用。在k=i+m，获得新观测数据=(i+m)，于是+m/=0+m-u+K+m,[=(i+m)h(i+m)O++m-1)]主要方法有数据窗法和Kalman滤波法。Pum,=Pum-u-Pu-uh(i+m)-(i+m)+h(i+m)Pm,h(i+m)"i+m)Pe-u数据窗法主要有矩形窗和指数窗。Km=P+mu,h(i+m)[w-(m+1)+h(i+m)Pm-h(i+m))3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法1.0+2m-矩形窗M指数窗1.0J()=.vV.=min,i=1,2.mOii+li+m-1i+m0 n+1m_, =_ + Km[=(m+1)h(m+1)e_)]为了保持数据窗的长度m，剔除时刻的观测=(i)，于是[P.-K.-h(m+1)P.]0+m+ =0+m/ +Km[2()-h(00m)]Pmui =P=PPu(w(+m)+h()Ph())"h()PKm-Pm,h(m+[a+h(m+)P.h(m+1)Kmgu=Pm/h(0[w(m+1)+h()Pmh(0)3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法T0..,=0.+K..[=(m+1)-h(m+1)0.]>指数窗1.0P.,=[P_K./b(m+1)P_]=(P,-K_(m+I)P))P就典..=0_+K..[=(m+1)(m+1)0_)小+12++IPW(m+)Dpie票Pmat[P.-K.h(m+1)P.]Km=P.mhm+D[a+(m+1)P_h(m+DOn+1m可适用时变参数系统只适用于时不变系统参数慢时多数快时引入入后，相当于对老数据进行截尾lim p(10.-0>6)=0一般0<入<1。入取得越小，意味着老数据对参数估计的影limP,t0响降低，新数据影响加大，算法能很好地跟踪时变参数。但是，lim P=0入越小，噪声干扰影响越大，估计误差的方差越大。limK_*0lim K, =00.9</<0.9912

2016/10/26 12 3.3 递推最小二乘法原理及算法 当系统参数随时间变化时，因新数据被旧数据所 淹没，递推算法无法直接使用。为适应时变参数的情 况，修改算法时旧数据的权重(降低)，增加新数据的 作用。 主要方法有数据窗法和Kalman滤波法。 数据窗法主要有矩形窗和指数窗。 3.3 递推最小二乘法原理及算法  矩形窗 o i i 1 i  m1 i  m k 1.0 i m i T i m i T Pi m i Pi m i Pi m ih i m w i m h i m P h i m h i m P 1, 1 1, 1 , 1, 1, ( )[ ( ) ( ) ( )] ( )                    1 1, 1 , 1, ( )[ ( ) ( ) ( )]    K   P  h i  m w mi  h i  m P h i  m T i m i T i m i i m i ] ˆ [ ( ) ( ) ˆ ˆ i m,i i m 1,i i m,i m i m 1,i K z i m h i              在k  i  m，获得新观测数据z(i  m)，于是 3.3 递推最小二乘法原理及算法  矩形窗 o i i 1 i  m1 i  m k 1.0 i m i T i m i T Pi m i Pi m i Pi m ih i w i m h i P h i h i P , 1 , 1 , 1 , , ( )[ ( ) ( ) ( )] ( )             1 , 1 , 1 ,1 ( )[ ( 1) ( ) ( )]   K    P h i w m  h i P h i T i m i T i m i i m ] ˆ [ ( ) ( ) ˆ ˆ i m,i 1 i m,i i m,i 1 i m,i K z i h i            为了保持数据窗的长度m，剔除i时刻的观测z(i)，于是 3.3 递推最小二乘法原理及算法  指数窗 o n 1 m k 1.0 [ ( 1) ] 1 Pm1  Pm  Km1h m  Pm  1 1 1 ( 1)[ ( 1) ( 1)] K   P  h m  h m P h m T m m  m ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m     K  z     mi  J V Vm i m T m m i ) min, 1,2 , ˆ (       3.3 递推最小二乘法原理及算法 ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m     K  z     [ ( 1) ] 1 Pm1  Pm  Km1h m  Pm  1 1 1 ( 1)[ ( 1) ( 1)] K   P  h m  h m P h m T m m  m 加 权 最 小 二 乘 [ ( 1) ] Pm1  Pm  Km1h m Pm 1 1 1 ( 1)[1 ( 1) ( 1)] K   P  h m  h m P h m T m m m 一 般 最 小 二 乘  1 可适用时变参数系统 只适用于时不变系统 | ) 0 ˆ (| lim        m m p 0 lim   m m P 0 lim   m m lim  0 K  m m K 0 lim   m m P 引入 后，相当于对老数据进行截尾 3.3 递推最小二乘法原理及算法  指数窗 o n 1 m k 1.0 [ ( 1) ] 1 Pm1  Pm  Km1h m  Pm  1 1 1 ( 1)[ ( 1) ( 1)] K   P  h m  h m P h m T m m  m ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m     K  z     mi  一般0   1。 取得越小，意味着老数据对参数估计的影 响降低，新数据影响加大，算法能很好地跟踪时变参数。但是，  越小，噪声干扰影响越大，估计误差的方差越大。 0.9    0.99 参数快时 变—— 小 参数慢时 变—— 大