《系统辨识》课程教学课件（讲稿）第3章 最小二乘参数辨识方法及原理

2016/10/262.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法当系统的量测噪声V是均值为0，方差为R的随机向》最小二乘法的几何解释Z, =H,0+V,量，则最小二乘估计有如下性质。（1）最小二乘估计是无偏估计（无偏性）a.abE(0)=0或E(0)=0[h(1]]H,=[(2)]h(1)(2）最小二乘估计是有效估计（有效性）E(")=(HH)"H,RH(HH_)"最小H,o[=(1]Z, =(3）最小二乘估计是一致估计（一致性）[=(2]lim p(10. -0)=02.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法(1)最小二乘估计是无偏估计，即E（0)=O或E（）=0(2）最小二乘估计为有效估计。证明：-0-0-0-(HH)HZE(")-(H"H.)"HRH.(H"H.)-=(HH)(HH.)O-(H"H.)"H"Z证明：根据第（1）式的证明，显然有=(HH.)"H(H_O-Z.)E(OT)-(HH.)"H"E(V.V)H.(H"H.)=-(H"H.)"H"V.=(H"H.)-"H"RH.(H"H.)-E()=E(0-)=E[-(HH_)"HV.)V.中的各个量是→R=G1同分布、零均值、=-(HH.)"H"E(V.)独立随机变量0=(H"H.)-"H"H.(H"H.)-如果由测量噪声及模型误差等引起的误差V的均值为0，且=G(H"H.)-V与输入失量H是统计独立，最小二乘的估计值是无偏的。2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法例3.2用2台仪器对未知标量0各直接测量一次，量（3）最小二乘估计是一致估计，其估计值依概率收效于真值，即测量分别为=,和2，，仪器的测量误差均值为0，方差分别lim p(0. -0)=0为r和4r的随机量，求e的最小二乘估计，并计算估计的证明：最小二乘估计依概率收敛于9。均方误差。等价于随着m-→00E(08T)-→0解：由题意得量测方程(IHH)Z, =H,0+V,lim o(HH.)"-lim %CHH.是非[=,]RI50H, =Z,=0.4r奇异常数阵im（H.)"=06

2016/10/26 6 2.2 一般最小二乘法原理及算法  最小二乘法的几何解释 Z2  H2 V2 Z2 h(1) h(2) V ˆ  ˆ H2        (2) (1) 2 z z Z   T n n a  a b  b   1 1        (2) (1) 2 h h H 当系统的量测噪声Vm 是均值为 0，方差为 R 的随机向 量，则最小二乘估计有如下性质。 2.2 一般最小二乘法原理及算法 (1) 最小二乘估计是无偏估计（无偏性） E( ˆ )   或 ) 0 ~ E(  (2) 最小二乘估计是有效估计（有效性） 1 1 ) ( ) ( ) ~~ (    m T m m T m m T m T E  H H H RH H H (3) 最小二乘估计是一致估计（一致性） | ) 0 ˆ (| lim        m m p 最小 (1) 最小二乘估计是无偏估计，即 E( ˆ )   或 ) 0 ~ E(  证明： m T m m T Hm H H Z 1 ( ) ˆ ~         ) [ ( ) ] ˆ ) ( ~ ( 1 m T m m T E E E Hm H H V        ( ) ( ) 1 m m T m m T  Hm H H H  Z   m T m m T Hm H H V 1 ( )     0 m T m m T m m T m m T Hm H H H H H H Z 1 1 ( ) ( ) ( )      ( ) ( ) 1 m T m m T Hm H H E V    2.2 一般最小二乘法原理及算法 如果由测量噪声及模型误差等引起的误差V 的均值为0，且 V与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。 (2) 最小二乘估计为有效估计。 1 1 ) ( ) ( ) ~~ (    m T m m T m m T m T E  H H H RH H H 证明： 1 1 ) ( ) ( ) ( ) ~~ (    m T m m T m m T m m T m T E  H H H E V V H H H 1 1 ( ) ( )    m T m m T m m T Hm H H RH H H 根据第（1）式的证明，显然有 2.2 一般最小二乘法原理及算法 2 1 1 ( ) ( )    m T m m T m m T  Hm H H H H H 2 1 ( )   m T  Hm H 独立随机变量 同分布、零均值、 Vm中的各个量是 R I 2  (3) 最小二乘估计是一致估计，其估计值依概率收敛于真值，即 证明： 2.2 一般最小二乘法原理及算法 | ) 0 ˆ (| lim        m m p 最小二乘估计 ˆ 依概率收敛于 。 等价于随着m ， ) 0 ~~ E( T  1 2 2 1 1 ( ) lim lim            m T m m m T m m H H m m H H   ( ) 0 2 1 lim    m T m m  H H 奇异常数阵 Hm T Hm是非 例 3.2 用 2 台仪器对未知标量 各直接测量一次，量 测量分别为 1 z 和 2 z ，仪器的测量误差均值为 0，方差分别 为 r 和 4r 的随机量，求 的最小二乘估计，并计算估计的 均方误差。 2.2 一般最小二乘法原理及算法 解：由题意得量测方程 Z2  H2 V2        2 1 2 z z Z        1 1 H2        r r R 0 4 0

2016/10/262.2一般最小二乘法原理及算法2.3加权最小二乘法原理及算法Z,=H,0+V>一般最小二乘估计精度不高的原因之一是对测量数据同等对待》各次测量数据很难在相同的条件下获得的2.-[] -[ -[6 ]>有的测量值置信度高，有的测量值置信度低>对不同置信度的测量值采用加权的办法分别对待>置信度高的，权重取得大些；置信度低的，权重取的小些0-(-(+)J()=(Zm-H.0)(Zm-H.0)=minJ()=(Zm-H.)W.(Z.-H.)=minW. = diag[ w(1),w(2),..", w(m))2.3加权最小二乘法原理及算法2.2加权最小二乘法原理及算法当系统的量测噪声V是均值为0，方差为R的随机向J(O)=(Z.-H.0)W.(Zm-H.)=min量，则加权最小二乘估计有如下性质。（1）加权最小二乘估计是无偏估计（无偏性）ajlC(HRH)--2HW.(Z.-H.)=0aeleE(①)=0或E(0)=0O（2）加权最小二乘估计是有效估计（有效性）=(H"W.H.)"H.W.ZmE(00)=(HW_H_)-"HW_RW_H_(H,W_H_)-(3）最小二乘估计是一致估计（一致性）lim (10. ->)=02.3加权最小二乘法原理及算法2.3加权最小二乘法原理及算法"-(H"W.H.)-"H"W.Z.当W=/时，加权最小二乘算法变为一般最小二乘算法。如果W.=R，则加权最小二乘估计有如下性质。>当W=a(a>0,0<<I)时，加权最小二乘算法变-(HR"H")"HR-"Z.又称为渐消记忆最小二乘算法。马尔可夫估计的均方误差为马尔可夫估计》加权最小二乘法仅用于事先能估计方程误差V对参数E(@")=(HW.H.)"HW.RW.H.(H"W_H.)估计的影响。(H"W.H.)"H"W.RW.H.(H"W.H.)"≥(H.R-H.)缺点3一7

2016/10/26 7     ( ) 2 1 1 1 1 1 1 1 ˆ 1 2 2 1 1 z z z z                                r r r r E T                                              4 5 1 1 1 1 1 1 0 4 0 1 1 1 1 ) 1 1 ~~ ( 1 1  2.2 一般最小二乘法原理及算法 Z2  H2 V2        2 1 2 z z Z        1 1 H2        r r R 0 4 0 2.3 加权最小二乘法原理及算法  一般最小二乘估计精度不高的原因之一是对测量数据同等对待  各次测量数据很难在相同的条件下获得的  有的测量值置信度高，有的测量值置信度低  对不同置信度的测量值采用加权的办法分别对待  置信度高的，权重取得大些；置信度低的，权重取的小些 ) min ˆ ) ( ˆ ) ( ˆ (    m  m  T J Zm Hm Z H ) min ˆ ) ( ˆ ) ( ˆ (    m m  m  T J Zm Hm W Z H W diag[w(1),w(2), ,w(m)] m   ) min ˆ ) ( ˆ ) ( ˆ (    m m  m  T J Zm Hm W Z H 2.3 加权最小二乘法原理及算法 ) 0 ˆ 2 ( ˆ            m m m T HmW Z H J m m T m m m T HmW H H W Z 1 ( ) ˆ    当系统的量测噪声Vm 是均值为 0，方差为 R 的随机向 量，则加权最小二乘估计有如下性质。 2.2 加权最小二乘法原理及算法 (1) 加权最小二乘估计是无偏估计（无偏性） E( ˆ )   或 ) 0 ~ E(  (2) 加权最小二乘估计是有效估计（有效性） (3) 最小二乘估计是一致估计（一致性） | ) 0 ˆ (| lim        m m p 1 ( )  m T Hm RH 1 1 ) ( ) ( ) ~~ (    m m T m m m m T m m m T m T E  H W H H W RW H H W H 2.3 加权最小二乘法原理及算法 如果 1 Wm  R ，则加权最小二乘估计有如下性质。 m m T m m m T HmW H H W Z 1 ( ) ˆ    m T m m T Hm R H H R Z 1 1 1 ( ) ˆ      1 1 ) ( ) ( ) ~~ (    m m T m m m m T m m m T m T E  H W H H W RW H H W H 马尔可夫估计的均方误差为 1 1 1 1 ( ) ( ) ( )      m T m m m T m m m m T m m m T HmW H H W RW H H W H H R H 马尔可夫估计 2.3 加权最小二乘法原理及算法  当W I m  时，加权最小二乘算法变为一般最小二乘算法。  当  (  0,0  1)  W a a  m k m 时，加权最小二乘算法变 又称为渐消记忆最小二乘算法。  加权最小二乘法仅用于事先能估计方程误差Vm 对参数 估计的影响。 缺点

2016/10/262.3加权最小二乘法原理及算法2.3加权最小二乘法原理及算法例3.3对例3.2采用加权最小二乘估计，权阵W-R-例3.3对例3.2采用加权最小二乘估计，权阵W，-R并计算估计的均方误差。并计算估计的均方误差。解：由题意得量测方程Z,=H,0+V21H,=卡Z，=H例3.2用2台仪器对未知标量各直接测量一次量测量分别为z,和Z2，仪器的测量误差均值为0，方差分别为r和4r的随机量，求其最小二乘估计，并计算估计的均方误差。2.3加权最小二乘法原理及算法防例3.4考虑仿真对象M厅=(k)+1.5=(k1)+ 0.7=(k 2)= u(k-1)+0.5u(k 2)+V(k)列式中，V(k)是服从正态分布的白噪声N(0,I)。输入信号采(k)+1.52(k-1)+0.7z(k2)=(k-1)+0.5u(k-2)+V(k)用4阶M序列，其幅值为1。选择如下的辨识模型进行一般的最小二乘参数辨识。输z(k)+a,=(k-1)+a,=(k-2)=b,u(k-1)+b,u(k-2)+V(k)出信W.=I号开始解：由于输入信号为4阶M序列，所以M序列的循产生输入信号M序列环长度为L=2*-1=15。因此设输入信号的取值从k=1般最小二乘参数辨识流程图产生输出信号：（）到k=16的M序列，于是可得h(3) =(2)(0) (2)(0)[=(3) 7a给出样本矩阵H_和Z。(4) (3) u(3)(2)=(4)=(2)i-H.Z. =[例]：:1估计参数[=(16][h(16]=(15)-=(14) (15) (14)表3.2一般最小二乘算法的辨识结果分离估计参数a,、at、b,和b参数1b,b2HHt0=回图：输入/输出信号和估计参数值0.5真-150.71.0结束估计值-1.4960.6970.9660.4828

2016/10/26 8 例3.2 用2台仪器对未知标量各直接测量一次， 量测量分别为z1和z2，仪器的测量误差均值为0，方 差分别为r和4r的随机量，求其最小二乘估计，并 计算估计的均方误差。 2.3 加权最小二乘法原理及算法 例3.3 对例3.2采用加权最小二乘估计，权阵 1 Wm  R ， 并计算估计的均方误差。 2.3 加权最小二乘法原理及算法        2 1 2 z z Z        1 1 H2 例3.3 对例3.2采用加权最小二乘估计，权阵 1 Wm  R ， 并计算估计的均方误差。 解：由题意得量测方程 Z2  H2 V2              r r Wm R 4 1 0 0 1 1     1 2 2 1 1 5 1 5 4 4 1 0 0 1 1 1 1 1 4 1 0 0 1 1 1 ˆ z z z z r r r r                                                        r r r r r r r r E T                                                                          5 4 1 1 4 1 0 0 1 1 1 1 1 0 4 0 1 1 1 1 4 1 0 0 1 ) 1 1 ~~ ( 1 1  式中，V(k) 是服从正态分布的白噪声 N(0,1) 。输入信号采 用 4 阶 M 序列，其幅值为 1。 例3.4 考虑仿真对象 z(k) 1.5z(k 1)  0.7z(k  2)  u(k 1)  0.5u(k  2) V(k) ( ) ( 1) ( 2) ( 1) ( 2) ( ) 1 2 1 2 z k  a z k   a z k   b u k   b u k  V k 选择如下的辨识模型进行一般的最小二乘参数辨识。 W I m  2.3 加权最小二乘法原理及算法 4 阶 M 序 列 输 出 信 号 z(k) 1.5z(k 1)  0.7z(k  2)  u(k 1)  0.5u(k  2) V(k) 解：由于输入信号为 4 阶M 序列，所以M 序列的循 环长度为 2 1 15 4 L    。因此设输入信号的取值从 k 1 到k 16 的M 序列，于是可得              (16) (4) (3) z z z Z m                                  (15) (14) (15) (14) (3) (2) (3) (2) (2) (1) (2) (1) (16) (4) (3) z z u u z z u u z z u u h h h Hm                   2 1 2 1 ˆ b b a a  m T m m T Hm H H Z 1 ( ) ˆ    表 3.2 一般最小二乘算法的辨识结果 参 数 1 a 2 a 1 b 2 b 真 值 -1.5 0.7 1.0 0.5 估计值 -1.496 0.697 0.966 0.482 开始 产生输入信号 M 序列 产生输出信号 z（k） 给出样本矩阵 Hm 和 Z m 估计参数 分离估计参数 1 a 、 2 a 、 1 b 和 2 b 结束 画图：输入/输出信号和估计参数 一 般 最 小 二 乘 参 数 辨 识 流 程 图

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法(k)根据加权最小二乘法，利用m次测量数据所得到的估值u(k)A)..=(H.W.H.)"H.W.Z..图SISO系统的“灰箱”结构当新获得一对输入、输出数据时》一般最小二乘或加权最小二乘为一次完成算法或批处理算法。=(m+1)= h(m+1)@+v(m+I)》计算量大、存储大、不适合在线辨识。利用m十1次输入、输出数据，得到的方程为》采用参数递推估计递推最小二乘算法。Zm+ =Hm+0+Vm1当前估计值0(k)=上次估计值(k-1)十修正项3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法-(HW.H)HW.ZZ.- = Hm0+V+1O.-(HW.H.)"H.W.Z. [x-] -[,2.如果设[]Z. =Z(m+1)=(m+1)P.-[H..H.]'HH -P--[H.W+H.-=(H"WH.)-"H"WmZm+Ihm+)则有o.=P.H"W.Z.-: 0WW =0Wm+D).. = P..,H.W./Z...=(H.W.H.)"H..Z.3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法H0[h(m+D]w..oTZ..- . [HW(m+D]w(m+1)h(m+D)[0w(m+1)(m+1)]=[HW.H.+h (m+1)w(m+1)h(m+1)-=Pm,HW.Z.+P.h (m+1)w(m+1)=(m+1)Pm+ =[P-" + hT (m+ 1)w(m+1)h(m+1)]-o.=P.H.W.Z.H.w.Z.-P-'P-l = Pm+ - h (m+1)w(m+ 1)h(m+ 1)0m./=Pm,P-0m+Pm,hT(m+1)w(m+1)=(m+1)I(A+BCD)- = A-- A-'B(C-1 +DA-B)-DA-IPa=P,-P_h(m+I)[w-(m+1)+m+1)P_h(m+D"h(m+1)P9

2016/10/26 9 3.3 递推最小二乘法原理及算法 G(k) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构  一般最小二乘或加权最小二乘为一次完成算法或批处理算法。  计算量大、存储大、不适合在线辨识。 当前估计值 ( ) ˆ  k ＝上次估计值 ( 1) ˆ  k  ＋修正项  采用参数递推估计——递推最小二乘算法。 3.3 递推最小二乘法原理及算法 根据加权最小二乘法，利用m 次测量数据所得到的估值 m m T m m m T m HmW H H W Z 1 ( ) ˆ    当新获得一对输入、输出数据时 z(m 1)  h(m 1)  v(m 1) 利用 m＋1 次输入、输出数据，得到的方程为 Zm1  Hm1 Vm1 3.3 递推最小二乘法原理及算法 Zm1  Hm1 Vm1          ( 1) 1 z m Z Z m m          ( 1) 1 h m H H m m          ( 1) 1 v m V V m m 1 1 1 1 1 1 1 1 ( ) ˆ          m m T m m m T  m Hm W H H W Z m m T m m m T m HmW H H W Z 1 ( ) ˆ             0 ( 1) 0 1 w m W W m m 3.3 递推最小二乘法原理及算法 1 [ ]   m m T Pm HmW H 1 1 1 1 1 [ ]     m m T Pm Hm W H 如果设 则有 1 1 1 1 1 1 1 1 ( ) ˆ          m m T m m m T  m Hm W H H W Z m m T m m m T m HmW H H W Z 1 ( ) ˆ    m m T  m  Pm HmW Z ˆ 1 1 1 1 1 ˆ     m m T  m Pm Hm W Z          ( 1) 1 z m Z Z m m          ( 1) 1 h m H H m m          0 ( 1) 0 1 w m W W m m                     0 ( 1) ( 1) 0 ( 1) ˆ 1 1 z m Z w m W P H h m T T m m  m m m ( 1) ( 1) ( 1)  P 1H W Z  P 1h m  w m  z m  T m m m T m m m m T  m  Pm HmW Z ˆ m m m m T HmW Z P  1 ˆ  ( 1) ( 1) ( 1) ˆ ˆ 1 1 1  1        P  P P h m w m z m T  m m m  m m 3.3 递推最小二乘法原理及算法 3.3 递推最小二乘法原理及算法 1 [ ( 1) ( 1) ( 1)]  H W H  h m  w m  h m  T m m T m   1 1 0 ( 1) ( 1) 0 ( 1)                           h m H w m W P H h m T T m m m m 1 1 1 1 1 1 1 ( ) ( )        A BCD  A  A B C  DA B DA m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            ( 1) ( 1) ( 1) 1 1 1         P P h m w m h m T m m 1 1 1 [ ( 1) ( 1) ( 1)]   P   P  h m  w m  h m  T m m

2016/10/263.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法m =Pm,P-"0. +Pa,h(m+1)w(m+1)=(m+1).,=.+Ph(m+1)w(m+1)[=(m+1)-h(m+1)0_]m+ = Pm+[P -h' (m+1)w(m+1)h(m+1)j0.Pm, =P, -P,h (m+1)[w"(m+)+h(m+1)P,h (m+1)"h(m+D)P,+ Pm+h (m+I)w(m+1)=(m+1)今Km+ = Pm+h(m+1)w(m+ 1)m/=0m-Pm+h(m+1)w(m+1)h(m+1)0.+Pm+h (m+1)w(m+1)z(m+1)Km-I= P.hT(m+I)[w-(m+1)+h(m+1)P.h (m+1)-.,=0. +Pm/h (m+1)w(m+1)[=(m+1)h(m+1)0_)3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法m., =.+K.[=(m+1)-h(m+1)@m]z(m+1) h(m+1)输原+YPa=P, -P,h (m+D)[w(m+I)+h(m+1)P,h (m+1)"h(m+)P,00有出递推最小二乘K+/=P.h(m+I[w-(m+1)+h(m+I)P.h(m+)]-参数估计算法信信PPmt)息tu(m+1)息》_为前一时刻的参数估值。>(m+1)是当前时刻的量测值。>(m+1)e.是在前一量测的基础上对在（m+1）的预测。[0(m+1)-0(m)max>=（m+1)-h(m+1)o为预测误差，又称为新息。0.(m)》修正的增益矩阵为K3.3递推最小二乘法原理及算法3.3递推最小二乘法原理及算法（1）根据一批数据，利用批处理算法获得广生大取前m组数据，采用加权最小二乘算法获得打始化0），0_-(HW.H.)"H,W.Z.联P.-[H.W.H.]-0(k1)=0(k)（2）任意假设和P，通过递推算法进行选代P(k-1)=P(k)为方便，取。=0，P=αl，α为正实数。K>I10

2016/10/26 10 ( 1) ( 1) ( 1) ˆ ˆ 1 1 1  1        P  P P h m w m z m T  m m m  m m 3.3 递推最小二乘法原理及算法 m T  m Pm Pm h m w m h m  ˆ [ ( 1) ( 1) ( 1)] ˆ 1 1  1 1         ( 1) ( 1) ( 1)  P 1h m w m z m T m m T  m  m Pm h m w m h m  ˆ ( 1) ( 1) ( 1) ˆ ˆ 1   1    ( 1) ( 1) ( 1)  P 1h m w m z m T m ] ˆ ( 1) ( 1)[ ( 1) ( 1) ˆ ˆ 1 1 m T  m  m  Pm h m w m z m  h m  ] ˆ ( 1) ( 1)[ ( 1) ( 1) ˆ ˆ 1 1 m T  m  m  Pm h m w m z m  h m  3.3 递推最小二乘法原理及算法 ( 1) ( 1) K 1  P 1h m  w m  T m m 令 m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            1 1 1 ( 1)[ ( 1) ( 1) ( 1)]   K   P h m  w m   h m  P h m  T m T m m m T m T Pm Pm Pmh (m 1)[w (m 1) h(m 1)P h (m 1)] h(m 1)P 1 1 1            1 1 1 ( 1)[ ( 1) ( 1) ( 1)]   K   P h m  w m   h m  P h m  T m T m m 3.3 递推最小二乘法原理及算法 ] ˆ [ ( 1) ( 1) ˆ ˆ m 1 m m 1 m h m m      K  z       m ˆ 为前一时刻的参数估值。  h m  m ˆ ( 1) 是在前一量测的基础上对在（m+1）的预测。  z(m 1)是当前时刻的量测值。  m h m m z  ˆ ( 1)  ( 1) 为预测误差，又称为新息。  修正的增益矩阵为 K m1 。 递推最小二乘 参数估计算法 息 信 有 原 m  ˆ Pm 1 ˆ m  Pm1 w(m 1) z(m 1) h(m 1) 息 信 出 输 3.3 递推最小二乘法原理及算法         ( ) ˆ ( ) ˆ ( 1) ˆ max m m m i i i i 产生输入数据u和 输出数据z 结束 开始 初始化P(0)、θ(0)、w和ε 计算P(k)，θ(k)和K(k)          ( 1) ˆ ( 1) ˆ ( ) ˆ max k k k i i i i kL ( 1) ( ) ( 1) ( ) P k P k k k       是 是 否 否 3.3 递推最小二乘法原理及算法 3.3 递推最小二乘法原理及算法 （1）根据一批数据，利用批处理算法获得 取前 m 组数据，采用加权最小二乘算法获得 m m T m m m T m HmW H H W Z 1 ( ) ˆ    1 [ ]   m m T Pm HmW H （2）任意假设 0 ˆ  和 P0 ，通过递推算法进行迭代 为方便，取 0 ˆ  0  ， P  I 0 ， 为正实数