《系统辨识》课程教学课件（讲稿）第3章 最小二乘参数辨识方法及原理

2016/10/26本章内容1、最小二乘辨识的基本概念系统辩识2、一般最小二乘辨识方法3、加权最小二乘辨识方法第3章最小二乘参数辨识方法4、递推最小二乘参数辨识方法5、处理有色噪声的最小二乘法6、多变量最小二乘辨识方法1、问题的提出例：表中是在不同温度下测量同一热教电阻的阻值，根据本章的学习目的测量值确定该电阻的教学模型1、掌握最小二乘参数辨识方法的基本原理电阳表ioeR2、掌握常用的最小二乘辨识方法温度计热敏电阳3、熟练应用最小二乘参数辨识方法进行模型参数辨识热敏电阻的测量值4、能够编程实现最小二乘参数辨识t(°C)2010101032CR=a+bt+y1、问题的提出1、问题的提出辨识目的：根据过程所提供的测量信息，在某种准则意辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。义下，估计模型的未知参数。InputProcessOutputInputOutputProcesst(℃)R(2)2076532826工程实践目模型结构的5187373942R=a+bt+y881010模型确定模型校验参数辨识95a,b10321

2016/10/26 1 系统辨识 第3章 最小二乘参数辨识方法 1、最小二乘辨识的基本概念 2、一般最小二乘辨识方法 3、加权最小二乘辨识方法 4、递推最小二乘参数辨识方法 5、处理有色噪声的最小二乘法 6、多变量最小二乘辨识方法 本章内容 本章的学习目的 1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识 1、问题的提出 热敏电阻的测量值 t C)( 20 32 51 73 88 95 R )( 765 826 873 942 1010 1032 例：表中是在不同温度下测量同一热敏电阻的阻值，根据 测量值确定该电阻的数学模型。 aR  bt  v 1、问题的提出 辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input Process Output 工程实践 目 的 模型结构 模型确定 模型校验 参数辨识 1、问题的提出 辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Input Process Output aR bt  v t(℃) 20 32 51 73 88 95 R(Ω) 765 826 873 942 1010 a, b 1032

2016/10/261、问题的提出1、问题的提出般人会想，只发一枪便打中，猎人命中的概率一般例子：O大于该同学命中的概率，看来这一枪是猎人射中的某位同学与一位猎人一起外出打猎一只野兔从前方审过80该例子所作的推断已体现了极大似然法的基本思想只听一声枪响，野免应声倒下，辨识准则：以观测值的出现概率最大为准则。思路：设一随机试验已知有若干个结果A，B,C，如果在如果要你推测，次试验中A发生了，则可认为当时的条件最有利于A发生，故应如此选择分布的参数，使发生A的率最大。是谁打中的呢？K你会如何想呢？InputProcess-Output1、问题的提出1、问题的提出InputInputProcessOutputProcessOutput极大似然：构造一个以数据和未知参数为自变量的似然函数。极大似然：构造一个以数据和未知参数为自变量的似然函数。Jmx = P(Z|0)Jmx = P(Z10)要求：？要求：独立观测条件下，知道输出量的概率分布缺点：？a缺点：输出量概率密度分布未知，极大似然无法工作e0计算量大，得不到解析解1、问题的提出1、问题的提出y(t)=a+ah(t)+a,h(t)+...+a,h,(t)G(Lk)(5)m次独立试验的数据m次独立试验的数据(k)J(k)TK)(t1,2)(t1,2.)(t2,=2)(t2,22)r(k)r(k)TA**(tmzm)(tms=m)z(k)=a +a,h(k)+a,h(k)+..-+a,h,(k)+(k)z(k)= y(k)+v(k)-1795年，高斯提出了最小二乘方法。2

2016/10/26 2 例子： 是谁打中的呢？ 某位同学与一位猎人一起外出打 猎 .一只野兔从前方窜过 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 1、问题的提出 1、问题的提出 一般人会想，只发一枪便打中,猎人命中的概率一般 大于该同学命中的概率. 看来这一枪是猎人射中的. 辨识准则：以观测值的出现概率最大为准则。 思路：设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,.，如果在一 次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故 应如此选择分布的参数，使发生Ａ的概率最大 。 该例子所作的推断已体现了极大似然法的基本思想. Input Process Output 1、问题的提出 极大似然：构造一个以数据和未知参数为自变量的似然函数。 Input Process Output ( | ) Jmax  P Z  缺点：? 要求：? 1、问题的提出 极大似然：构造一个以数据和未知参数为自变量的似然函数。 Input Process Output ( | ) Jmax  P Z  要求：独立观测条件下，知道输出量的概率分布 缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解 m次独立试验的数据 ( , ) 1 1 t z ( , ) 2 2 t z  ( , ) m m t z ( ) ( ) ( ) ( ) 0 1 1 2 2 y t a a h t a h t a h t     n n G(k) t(k) y(k) v(k) z(k) G(k) t(k) y(k) 1、问题的提出 z(k)  y(k) v(k) m次独立试验的数据 ( , ) 1 1 t z ( , ) 2 2 t z  ( , ) m m t z ( ) ( ) ( ) ( ) ( ) 0 1 1 2 2 z k a a h k a h k a h k v k     n n  z t f (t) •1795年，高斯提出了最小二乘方法。 G(k) t(k) y(k) v(k) z(k) 1、问题的提出

2016/10/261、问题的提出1、问题的提出1795年，高斯提出的最小二乘的基本原理是1795年，高斯提出的最小二乘的基本原理是未知量的最可能值是使各项实未知量的最可能值是使各项实际观测值和计算值之间差的平方乘际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。以其精确度的数值以后的和为最小。z(k)= y(k)+v(k)z(k)= y(k)+v(k)Gauss (1777-1855)Gauss (1777-1855):使(k)|=(k)-(k)P最小使w(k)[=(k)-(kK)P 最小2、最小二乘辨识方法的基本概念2.1利用最小二乘法求模型参数根据最小二乘的准则有通过试验确定热敏电阻阻值和温度间的关系Jm-2v-2[R -(a+bl)Pr(°C)312Ix-1tR(2)R,R,Rn-1Rx根据求极值的方法，对上式求导R=a+btaj·当测量没有任何误差时，仅需2个测量值。(R-a-bt)=0da·每次测量总是存在随机误差。=laJ(R-a-bt)t=0y,=R+v,或y,=a+bt+y,ab(=l, =y-R或v-y, -a-bt,Ca-bt)=0aRXERIEtal=R-a-bt)t,=0NZ-(2)abNaNZRI-ZRZN2r-(2)R,t-3

2016/10/26 3 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 1、问题的提出 Gauss（1777-1855） z(k)  y(k) v(k) 使  最小   m k w k z k y k 1 2 ( )| ( ) ( )| 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 1、问题的提出 Gauss（1777-1855） z(k)  y(k) v(k) 使  最小   m k w k z k y k 1 2 ( )| ( ) ( )| 2、最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 t C)( 1 t 2 t  N1 t N t R )( R1 R2  RN1 RN • 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。 R  a  bt i i i y  R  v 或 i i y  a  bt  v i i i i i a bti v  y  R或v＝y   2.1 利用最小二乘法求模型参数 根据最小二乘的准则有         N i i i N i J vi R a bt 1 2 1 2 min [ ( )] 根据求极值的方法，对上式求导                            N i i i i b b N i i i a a R a bt t b J R a bt a J ˆ 1 ˆ 1 2 ( ) 0 2 ( ) 0                            N i i i i b b N i i i a a R a bt t b J R a bt a J ˆ 1 ˆ 1 2 ( ) 0 2 ( ) 0                      N i N i i i N i i i N i N i i i a t b t R t Na b t R 1 1 1 2 1 1 ˆ ˆ ˆ ˆ                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a

2016/10/26表1热敏电阻的测量件2.1利用最小二乘法求模型参数例：表1中是在不同温度下测量同一热敏电阻的阻值，根R(2)760101032据测量值确定该电阻的数学模型，并求出当温度在70°C时R=a+bt的电阻值。ZRZE-ZRZ表1热救电阻的测量伯N2r-(2)1032NZRI-ZRZ宫(2)表1热电阻的测量件表1热敏电阻的测量价t(°C)1onR=a+btR=a+bta=702.762ZRZr-ZRIb = 3.434412-(2)1=70℃N2R-22R=943.168Q2N2c-(2)2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法r(k)v(k)k Gk()u(k)y(k)=KG(k)图SISO系统的“灰箱”结构图3.4SISO系统的“灰箱”结构若考虑被辨识系统或观测信息中含有噪声PZa,(k-)+Zbu(k-I)+ (k)=(k)= -*b2-*+b,++b,"G(=)=()_1a1u() 1+a," +a,-- +..+a, -z(k)为系统输出量的第k次观测值;(k)为系统输出量的第k次真值；1Za,(k-i)+b,u(k-i)y(k)=u(k)为系统的第k个输入值：i=li=lv(k)是均值为0 的随机噪声。4

2016/10/26 4 例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型，并求出当温度在70C 时 的电阻值。 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032 2.1 利用最小二乘法求模型参数 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a R  a  bt 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032 a ˆ  702.762 3.4344 ˆ b  t  70C R  943.168 R  a  bt 表 1 热敏电阻的测量值 t C)( 20.5 26 32.7 40 51 61 73 80 88 95.7 R )( 765 790 826 850 873 910 942 980 1010 1032                                                        2 1 1 2 1 1 1 2 1 1 2 1 1 1 2 1 ˆ ˆ N i i N i i N i i N i i N i i i N i i N i i N i i N i i i N i i N i i N t t N R t R t b N t t R t R t t a R  a  bt 2.2 一般最小二乘法原理及算法 G(k) u(k) y(k) v(k) z(k) 图 3.4 SISO 系统的“灰箱”结构 n n n n a z a z a z b z b z b z u z y z G z                  2 2 1 1 2 2 1 1 ( ) 1 ( ) ( )          n i i n i i y k a y k i b u k i 1 1 ( ) ( ) ( ) 2.2 一般最小二乘法原理及算法 G(z) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构 若考虑被辨识系统或观测信息中含有噪声 ( ) ( ) ( ) ( ) 1 1 z k a y k i b u k i v k n i i n i   i       z(k)为系统输出量的第k 次观测值; y(k)为系统输出量的第k 次真值; u(k) 为系统的第k 个输入值; v(k) 是均值为 0 的随机噪声

2016/10/262.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法M(kRZa,(k-i)+Zbu(k-i)+(k)(K)G(2(k) = -Az(k)= h(k)0 +v(k)(=lf=l图SISO系统的“灰箱”结构如果定义令k=1,2….m，则有h(k)=[-(k-1),-(k-2),..(k-n),u(k-),u(k-2),.u(k-n)[=(1) ][h(1)]3(0)-(I-n)0)(ln)=(2) h(2)-y(l)-2n)()(2-n)Z=H.:O-[aa2,an,b,b,.,b,].=(m)-m-1)-y(m-m) α(m-I)... (m-m)iz(k) = h(k)0 +v(k)-[aa,b ...b,V-)(2) ... (m)式中0为待估参数。Z.=H.0+V2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法如果H_的行数大于等于列数，即m≥2n，HH_满秩，即最小二乘的思想就是寻找一个0的估计值，使得各次测量rank(HH_)=2n，则（H_H_)-"存在。则e的最小二乘估计为的Z,(i=1,-m)与由估计O确定的量测估计之,=H,之差的平方和最小，即=(HH)"HIZ.J()=(Z.-H.)"(Z.-H.)=min最小二乘估计虽然不能满足式Z=H_e+V中的每一个方ajl=-2H(Z.-H_0)=0程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最0olo=小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑H'H.O-H.Z.制测量误差(i)(i-1,m)是有益的。2.2一般最小二乘法原理及算法2.2一般最小二乘法原理及算法》最小二乘法的几何解释最小二乘估计虽然不能满Zm=H.0+VmZ.=H.0+V.足式Z.=H_0+V.中的每一个=(H"H.)"HZ.[=( ][()-3(0)-(1-n)(0)..(1n)=(2)h(2) -3(0).. -(2-n)u(1).(2n)方程，使每个方程都有偏差，但Z, =+:(m)它使所有方程偏差的平方和达.(m-n)（m-1)dm(m-1)到最小，兼顾了所有方程的近似o-[aabb]程度，使整体误差达到最小，这foZ.是m维空间中基向量(h(1),h(2),.h(m)的线性组合对抑制测量误差(i)(i=1,,m)-H_提在最小二乘意义下对Z_的近似是有益的。H_应该等于Z_在(h(1),h(2),-h(m)的张成的空间的投影。5

2016/10/26 5 ( ) ( ) ( ) ( ) 1 1 z k a y k i b u k i v k n i i n i   i       h(k)  [y(k 1),y(k  2), ,y(k  n),u(k 1),u(k  2), ,u(k  n)] 如果定义 T n n [a ,a , ,a ,b ,b , ,b ]   1 2  1 2  z(k)  h(k)  v(k) 式中 为待估参数。 2.2 一般最小二乘法原理及算法 z(k)  h(k)  v(k) 令k 1,2,  ,m，则有              ( ) (2) (1) z m z z Z m                                          ( 1) ( ) ( 1) ( ) (1) (2 ) (1) (2 ) (0) (1 ) (0) (1 ) ( ) (2) (1) y m y m n u m u m n y y n u u n y y n u u n h m h h Hm                T n n a  a b  b   1 1   T Vm  v(1) v(2)  v(m) 2.2 一般最小二乘法原理及算法 Zm  Hm Vm G(z) u(k) y(k) v(k) z(k) 图 SISO 系统的“灰箱”结构 最小二乘的思想就是寻找一个 的估计值  ˆ，使得各次测量 的 Z (i 1, m) i   与由估计 ˆ 确定的量测估计  ˆ ˆ Zi  Hi 之差的平方 和最小，即 2.2 一般最小二乘法原理及算法 ) min ˆ ) ( ˆ ) ( ˆ (    m  m  T J Zm Hm Z H ) 0 ˆ 2 ( ˆ            m m T Hm Z H J m T m m T Hm H   H Z ˆ 如果 Hm 的行数大于等于列数，即 m  2n， m T Hm H 满秩，即 H Hm n T rank( m )  2 ，则 1 ( )  m T Hm H 存在。则 的最小二乘估计为 2.2 一般最小二乘法原理及算法 m T m m T Hm H H Z 1 ( ) ˆ    最小二乘估计虽然不能满足式 Zm  Hm Vm 中的每一个方 程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最 小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑 制测量误差 v(i)(i 1,  ,m)是有益的。 2.2 一般最小二乘法原理及算法 m T m m T Hm H H Z 1 ( ) ˆ    最小二乘估计虽然不能满 足式 Zm  Hm Vm 中的每一个 方程，使每个方程都有偏差，但 它使所有方程偏差的平方和达 到最小，兼顾了所有方程的近似 程度，使整体误差达到最小，这 对抑制测量误差 v(i)(i 1,  ,m) 是有益的。 Zm  Hm Vm z t f (t) 2.2 一般最小二乘法原理及算法  最小二乘法的几何解释 Zm  Hm Vm              ( ) (2) (1) z m z z Z m                                          ( 1) ( ) ( 1) ( ) (1) (2 ) (1) (2 ) (0) (1 ) (0) (1 ) ( ) (2) (1) y m y m n u m u m n y y n u u n y y n u u n h m h h Hm                T n n a  a b  b   1 1 Zm是m维空间中基向量{h(1),h(2),h(m)}的线性组合 Hm ˆ是在最小二乘意义下对Zm的近似 Hm ˆ应该等于Zm在{h(1),h(2),h(m)}的张成的空间的投影