自动控制原理电子教案 第10章系统辨识 10.1系统辨识的概念 10.1.1系统辨识的定义 系统辨识是利用观测到的系统输入输出数据构造系统数学模型的方法 在实际应用中,往往把分析法和实验法这两种建模方法结合起来。尽量利 用对物理过程的认识,将系统模型分为已知的和未知的两部分,用实验法确定 未知部分的模型 定义系统辨识是在输入和输出信息的基础上,从一类系统中确定一个与所 观测系统等价的系统 可见,这个定义包括三个要素:输入、输出数据,模型类,等价准则。因 此,系统辨识是按照一个等价准则,在模型类中选择一个与输入、输出数据拟 合得最好的模型。 按照需要的系统先验知识的多少来分类,辨识问题可以分成以下两大类 (1)黑箱问题,也叫完全辨识问题 在这种情况下,被辨识对象的基本特性是完全未知的,甚至不知道系 统是线性的还是非线性的、动态的还是静态的这些最基本的信息。要辨识 这类系统当然是很困难的,目前尚无有效的办法。 (2)灰箱问题,又叫不完全辨识问题 也就是说,在辨识系统之前,已经知道系统的一些基本特征。例如: 已经知道系统是线性的,其通频带大致是多少,不能确切知道的只是系统 的动态方程的阶次以及方程的系数值等。对于这类辨识问题,系统辨识内 容就简化成阶的辨识和参数估计问题了 10.12系统辨识的基本内容 系统辨识的内容包括:模型结构的确定、参数估计、模型验证等。系统辨 识的一般步骤如图10.1所示 试验设计 模型结构 勺确定 物理定律 验前信息 参数估计 图101系统辨识的一般步骤 (1)验前信息 浙江工业大学自动化研究所
自 动 控 制 原 理 电 子 教 案 第 10 章 系统辨识 10.1 系统辨识的概念 10.1.1 系统辨识的定义 系统辨识是利用观测到的系统输入输出数据构造系统数学模型的方法。 在实际应用中，往往把分析法和实验法这两种建模方法结合起来。尽量利 用对物理过程的认识，将系统模型分为已知的和未知的两部分，用实验法确定 未知部分的模型。 定义 系统辨识是在输入和输出信息的基础上，从一类系统中确定一个与所 观测系统等价的系统。 可见，这个定义包括三个要素：输入、输出数据，模型类，等价准则。因 此，系统辨识是按照一个等价准则，在模型类中选择一个与输入、输出数据拟 合得最好的模型。 按照需要的系统先验知识的多少来分类，辨识问题可以分成以下两大类： (1) 黑箱问题，也叫完全辨识问题 在这种情况下，被辨识对象的基本特性是完全未知的，甚至不知道系 统是线性的还是非线性的、动态的还是静态的这些最基本的信息。要辨识 这类系统当然是很困难的，目前尚无有效的办法。 (2) 灰箱问题，又叫不完全辨识问题 也就是说，在辨识系统之前，已经知道系统的一些基本特征。例如： 已经知道系统是线性的，其通频带大致是多少，不能确切知道的只是系统 的动态方程的阶次以及方程的系数值等。对于这类辨识问题，系统辨识内 容就简化成阶的辨识和参数估计问题了。 10.1.2 系统辨识的基本内容 系统辨识的内容包括：模型结构的确定、参数估计、模型验证等。系统辨 识的一般步骤如图 10.1 所示。 被控对象 参数估计 试验设计 模型结构 的确定 模型验证 物理定律 验前信息 最终模型 输入 输出 图 10.1 系统辨识的一般步骤 （1）验前信息 浙 江 工 业 大 学 自 动 化 研 究 所 1
控制原理电子教 在辨识模型之前,对系统的机理和操作条件的了解,以及建模最终目的的 了解,称为验前信息或先验知识 (2)试验设计 选择变量:包括状态变量、输入变量、输出变量。选择变量的一个简单 原则是,选择的输入变量能够设置,输出变量能够测量,并且和设计人员感兴 趣的现象有关,应包含丰富的信息。因为试验的目的在于获取被测系统的内在 信息 2)选择试验期限与采样间隔:试验期限越长,试验数据中所包含的内容越 丰富。从这方面说,试验期限越长越好,但另一方面,时间越长,信息处理量 就越大,辨识时间就越长,不利于在线辨识与实时控制。而且实验时间长,容 易出现突变式干扰、漂移等,还有经济上的限制,因此选择的试验时间应适中。 3)腧输入、输出数据的检测和存储。因为系统辨识是根据系统的试验数据 建立系统的数学模型,所以,首先要检测并存储试验数据。 4)离线或在线辨识:系统的离线辨识方法是先检测到所有试验数据,然后 离线一次处理,从而得到系统的数学模型。如果辨识的目的是为了实现实时控 制,特别是为了实现自适应实时控制,则需要采用在线辨识方法。在线辨识方 法是一边检测系统输入、输出数据,一边在线辨识系统的数学模型 关于系统辨识的试验设计,只是这几年刚刚形成的理论,还有许多问题需 要研究。而且这些理论结果的实际应用也仅仅是开始 (3)模型结构的确定 线性动态模型结构的辨识可以归结为确定系统的阶数和输出量对于输入量 的滞后时间的问题 (4)参数估计 当已知或者假设模型结构后,模型未知部分是动态模型的参数,需要根据 输入、输出数据估计这些参数,所以称为参数估计。参数估计是系统辨识的中 心内容 (5)模型验证 验证辨识出的模型与实际过程的特性的一致性。最终模型应当是在满足 精度的要求下,尽可能简单的数学模型 10.2线性静态模型的最小二乘参数估计 10.2.1参数估计问题 假定被控对象的结构如图102所示,其中,y是输出变量;x1,…,xn是 输入变量;B1,…,On是模型的参数,这些参数可能部分或全部未知。 系统参数|” 图10.2被控对象结构 若已知系统的输入输出关系为下列线性关系 y=b1x1+62x2+…+6nxn (10.1) 设对输入、输出进行m次观测得到的数据为{x1(i),x2(1,…xn(i),y(i)}, 1=1.2 m。现在的问题是:怎样根据这些观测数据估计系统的参数 浙江工业大学自动化研究所
自 动 控 制 原 理 电 子 教 案 在辨识模型之前，对系统的机理和操作条件的了解，以及建模最终目的的 了解，称为验前信息或先验知识。 （2）试验设计 1)选择变量：包括状态变量、输入变量、输出变量。选择变量的一个简单 原则是，选择的输入变量能够设置，输出变量能够测量，并且和设计人员感兴 趣的现象有关，应包含丰富的信息。因为试验的目的在于获取被测系统的内在 信息。 2) 选择试验期限与采样间隔：试验期限越长，试验数据中所包含的内容越 丰富。从这方面说，试验期限越长越好，但另一方面，时间越长，信息处理量 就越大，辨识时间就越长，不利于在线辨识与实时控制。而且实验时间长，容 易出现突变式干扰、漂移等，还有经济上的限制，因此选择的试验时间应适中。 3)输入、输出数据的检测和存储。因为系统辨识是根据系统的试验数据， 建立系统的数学模型，所以，首先要检测并存储试验数据。 4)离线或在线辨识：系统的离线辨识方法是先检测到所有试验数据，然后 离线一次处理，从而得到系统的数学模型。如果辨识的目的是为了实现实时控 制，特别是为了实现自适应实时控制，则需要采用在线辨识方法。在线辨识方 法是一边检测系统输入、输出数据，一边在线辨识系统的数学模型。 关于系统辨识的试验设计，只是这几年刚刚形成的理论，还有许多问题需 要研究。而且这些理论结果的实际应用也仅仅是开始。 （3）模型结构的确定 线性动态模型结构的辨识可以归结为确定系统的阶数和输出量对于输入量 的滞后时间的问题。 （4）参数估计 当已知或者假设模型结构后，模型未知部分是动态模型的参数，需要根据 输入、输出数据估计这些参数，所以称为参数估计。参数估计是系统辨识的中 心内容。 （5）模型验证 验证辨识出的模型与实际过程的特性的一致性。最终模型应当是在满足 精度的要求下，尽可能简单的数学模型。 10.2 线性静态模型的最小二乘参数估计 10.2.1 参数估计问题 假定被控对象的结构如图 10.2 所示，其中，y 是输出变量； 是 输入变量； n x , , x 1 L θ θ n , , 1 L 是模型的参数，这些参数可能部分或全部未知。 系统参数 θ θ 1 2 , ,L,θn x1 x2 xn y 图 10.2 被控对象结构 若已知系统的输入输出关系为下列线性关系： (10.1) n n y = θ x + θ x + L + θ x 1 1 2 2 设对输入、输出进行 m 次观测得到的数据为{ x ( i )，x (i)，…,x ( i )，y ( i ) }， i = 1 , 2 , … , m。现在的问题是：怎样根据这些观测数据估计系统的参数 1 2 n θ1 ， θ 2 ，…，θ n 。 浙 江 工 业 大 学 自 动 化 研 究 所 2
如果模型准确,测量数据也准确,则不难看出,只要n组测量数据,构 成下列线性方程组,解线性方程组就可唯一地确定系统参数O1,B2,…,On y(i)=61x1(1)+62x2(1)+…+bnxn(i) (10.2) 若写成矩阵向量形式,则有 Y=X6 (10.3) 式中 x1(1)x2(1)…xn(1) y(2) 62 x=x1(2)x2(2) n(2) (n) x1(m)x2(m) n(n) 若测量数据使X非奇异,则系统参数为 10.4) 但是,实际系统的模型总是近似的,测量输入、输出数据不会绝对精确,而且 测量装置的误差,读数误差,以及系统中存在的随机误差都会使观测数据不能 准确地反映系统特性。这些误差常常是随机的,我们通常用一随机变量c(i 反映上述随机误差,这样,m组观测数据和系统参数间的关系可表示为 y(i)=61x1(i)+62x2(1)+…+bnxn()+e() (10.5) 或表示为 (10.6 其中E=[e()e(2)…c(m)为误差向量,又称残差。 由于残差的存在,不同的m组观测数据会得出不同的参数O值,这些 值显然不是系统参数的真正值。“参数估计”的任务就是用统计的方法,从带 有噪声的观测数据中,按照某种准则估计出最接近实际值的参数。最小二乘参 数估计方法是广泛应用于工程界的统计估计方法 1022最小二乘法的基本原理和算法 已知某系统的输入与输出成正比,即y=θx。显然如果没有误差,则只 要测量一次测量值(x1,y1)即可确定系数θ,即θ=y1/x1°当有噪声存在时 实际的测量值为y=θx+E。最小二乘法就是使系统输出的估计值θx()与系统 输出的实际测量值y()之差的平方和最小,即 ()-6x(i (10.7) 对于任一个参数估计值6,其残差平方和为 2[v(-6x)] 当θ是最小二乘估计时,J取得最小值。根据数学分析中熟知的结论,应有 2>x(oy()-ah(0)=0 因此 ∑x0))-b∑x(0=0 浙江工业大学自动化研究所
自 动 控 制 原 理 电 子 教 案 如果模型准确，测量数据也准确，则不难看出，只要 n 组测量数据，构 成下列线性方程组，解线性方程组就可唯一地确定系统参数θ 1 ，θ 2 ，…，θ n ( ) ( ) ( ) ( ) 1 1 2 2 y i x i x i x i = θ + θ + L + θ n n (10.2) i = 1 , 2 , … , n 若写成矩阵向量形式，则有 Y = Xθ (10.3) 式中 ， ， ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ( ) (2) (1) y n y y Y M ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = θ n θ θ θ M 2 1 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ( ) ( ) ( ) (2) (2) (2) (1) (1) (1) 1 2 1 2 1 2 x n x n x n x x x x x x X n n n L M M M M L L 若测量数据使 X 非奇异，则系统参数为 X Y (10.4) −1 θ = 但是，实际系统的模型总是近似的，测量输入、输出数据不会绝对精确，而且 测量装置的误差，读数误差，以及系统中存在的随机误差都会使观测数据不能 准确地反映系统特性。这些误差常常是随机的，我们通常用一随机变量 e( i ) 反映上述随机误差，这样，m 组观测数据和系统参数间的关系可表示为 ( ) ( ) ( ) ( ) ( ) 1 1 2 2 y i x i x i x i e i = θ + θ + L + θ n n + (10.5) i = 1 , 2 , … , m 或表示为 Y = Xθ + ε (10.6) 其中ε = [e(1) e(2) L e(m)] T 为误差向量，又称残差。 由于残差的存在，不同的 m 组观测数据会得出不同的参数θ 值，这些θ 值显然不是系统参数的真正值。“参数估计”的任务就是用统计的方法，从带 有噪声的观测数据中，按照某种准则估计出最接近实际值的参数。最小二乘参 数估计方法是广泛应用于工程界的统计估计方法。 10.2.2 最小二乘法的基本原理和算法 已知某系统的输入与输出成正比，即 y =θ x 。显然如果没有误差，则只 要测量一次测量值(x1, y1 ) 即可确定系数θ ，即 1 1 θ = y / x 。当有噪声存在时， 实际的测量值为 y =θ x + ε 。最小二乘法就是使系统输出的估计值 与系统 输出的实际测量值 之差的平方和最小，即 θ ( ) ˆ x i y(i) (10.7) ∑ [ = = − m i J y i x i 1 2 min ( ) ˆ ( ) θ ] 对于任一个参数估计值θ ~ ，其残差平方和为 ∑ [ ] = = − m i J y i x i 1 2 ( ) ~ ( ) ~ θ ∑ [ ] [ ] = = − ⋅ − m i y i x i x i J 1 θ ( ) ( ) ~ ~ 2 ( ) ~ ∂θ ∂ 当θ ˆ是最小二乘估计时，J 取得最小值。根据数学分析中熟知的结论，应有 = θ =θ ∂θ ∂ ˆ ~ ~ ~ J [ ] ( ) 0 ˆ 2 ( ) ( ) 1 − ∑ − = = m i x i y i θx i 因此 ∑ ∑ = = − = m i m i x i y i x i 1 1 2 ( ) 0 ˆ ( ) ( ) θ 浙 江 工 业 大 学 自 动 化 研 究 所 3
控制原理电子教 所以,最小二乘估计O为 x(1)y() 下面讨论一般情况。设系统由下列多元静态线性数学模型描述: =61x1+62x2+…+6nxn+E (10.8) 其中,ⅹ,和y都是可以测量得到的已知量,只是存在着系统噪声和测量噪声, 它们总的效应用随机变量ε来表示。 若对式(108)述的系统进行m次实验,则可得到m个方程式 y(1)=1x1(1)+日2x2(1)+…+6nxn(1)+e(1) (2)=61x1(2)+62x2(2)+…+bnxn(2)+e(2) (10.9) y(m)=61x1(m)+62x2(m)+…+6nxn(m)+e(m) 写成矩阵向量形式,则有: 式中 (① x(1)x2(1)…x(1) y=12 x(2)x2(2)…x1(2) e(2) xm)x2(m)…x(m e(m) 按照最小二乘法的原理,选择参数O使残差的平方和为最小,即 inJ=∑e2()= 因为 所以 J=(r-0)(Y-X0 yy-ylxe-0xy+0Xxe YT-20XY+0Xxe 为了求取,下面先给出矩阵微分的公式 (10.12) O(X A) A a(xAX)=2AX (10.14) 应用上面公式得 浙江工业大学自动化研究所
自 动 控 制 原 理 电 子 教 案 所以，最小二乘估计θ ˆ 为 ∑ ∑ = = = m i m i x i x i y i 1 2 1 ( ) ( ) ( ) ˆθ 下面讨论一般情况。设系统由下列多元静态线性数学模型描述： =θ +θ + +θ + ε n n y x x L x 1 1 2 2 (10.8) 其中，x i 和 y 都是可以测量得到的已知量，只是存在着系统噪声和测量噪声， 它们总的效应用随机变量 ε 来表示。 若对式(10.8)描述的系统进行 m 次实验，则可得到 m 个方程式： (1) (1) (1) (1) (1) 1 1 2 2 y x x x e = θ + θ + L + θ n n + ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) 1 1 2 2 y x x x e = θ + θ + L + θ n n + (10.9) ： ( ) ( ) ( ) ( ) ( ) y m = θ 1 x1 m + θ 2 x 2 m + L + θ n x n m + e m 写成矩阵向量形式，则有： Y = Xθ +ε (10.10) 式中 ， ， ， 1 ( ) (2) (1) × ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = m y m y y Y M m n X × ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = x (m) x (m) x (m) x (2) x (2) x (2) x (1) x (1) x (1) 1 2 n 1 2 n 1 2 n L M M M M L L 1 2 1 × ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = n θn θ θ θ M 1 ( ) (2) (1) × ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = m e m e e M ε 按照最小二乘法的原理，选择参数θ 使残差的平方和为最小，即 = ∑ = = m i T J e i 1 2 min ( ) ε ε (10.11) 因为 ε = Y − Xθ 所以 J (Y Xθ) (Y Xθ) T = − − (Y θ X )(Y Xθ) T T T = − − Y Y Y Xθ θ X Y θ X Xθ T T T T T T = − − + Y Y θ X Y θ X Xθ T T T T T = − 2 + 为了求取 ∂θ ∂J ，下面先给出矩阵微分的公式： ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = n x f x f x f dx df x ∂ ∂ ∂ ∂ ∂ ∂ M 2 1 ( ) (10.12) A X X AT = ∂ ∂ ( ) (10.13) AX X X AX T 2 ( ) = ∂ ∂ (10.14) 应用上面公式得 浙 江 工 业 大 学 自 动 化 研 究 所 4
自动控制原理电子教 -2X+2XX6 由最小二乘估计的定义,θ应满足 因此 X XB=X Y (10.15) 若测量值构成的矩阵XX非奇异,则 0=(XX)XY (10.16) 由上式求得的6称为参数O的最小二乘估计。由于估计值O是在取得足够数 据后一次计算出来的,所以称为一次完成法 必须指出,当XX是奇异或接近奇异时,方程xTX6=xTy的解不唯 或解不稳定,这方面的理论问题可参看系统辨识专著。事实上,总可以选择 合适的输入和取足够多的测量值(m>n)使XX非奇异。 10.2.3最小二乘法的性质 从上面的讨论可以看出,最小二乘法对模型中存在的误差没有任何要求, 辨识时并不需要知道它的情况,这是最小二乘法的最大优点。但是,用最小二 乘法得到的估计值是否就是真正的参数值O?下面我们用统计的方法,分析 最小二乘估计的均值和方差,研究与θ的偏离情况 1.最小二乘估计的无偏性 由于测量值的随机性,最小二乘估计的6显然也具有随机性。下面考察 6的数学期望。由最小二乘算式(10.16)和(10.10),有 6=(XX-Xy=(XX)-X(x0+a) (XX)-XXe+(XY6=0+(XX)-X' (10.17) 其中,θ是系统参数的真值,是确定量。6的数学期望为 E[O]=0+E[(Xx)-1x2a] (10.18) 若E是均值不为0的随机变量,最小二乘估计e是有偏的。若E与X不相关且 均值为0,则 E[O]=0 所以,若ε是均值为0且与Ⅹ不相关的随机噪声,则最小二乘估计θ的均值 为参数真值θ。这一性质称为无偏性。 2.最小二乘估计的方差 的数学期望从总体上表明参数估计的取值情况,但不能反映θ与其真 值θ的偏离程度。下面考察θ的方差 ra16-0=E(-6)(6-0)] EI(XX Ell(xx) aj =ElX XX EEX(XX)] =(XX"X EE8X(xX) 令R为残差向量的方差阵,即R=EE],则 Var8-0=(XX)X RX(XX) (10.20) 上式是最小二乘估计方差的一般计算公式。 浙江工业大学自动化研究所
自 动 控 制 原 理 电 子 教 案 θ ∂θ ∂ X Y X X J T T = − 2 + 2 由最小二乘估计的定义，θˆ 应满足 0 ˆ 2 2 ˆ = − + = = θ ∂θ ∂ θ θ X Y X X J T T 因此 X X X Y (10.15) T T θ =ˆ 若测量值构成的矩阵 X XT 非奇异，则 X X X Y (10.16) T 1 T ( ) ˆ − θ = 由上式求得的θˆ 称为参数θ 的最小二乘估计。由于估计值 是在取得足够数 据后一次计算出来的，所以称为一次完成法。 $θ 必须指出，当 X XT 是奇异或接近奇异时，方程 的解不唯 一或解不稳定，这方面的理论问题可参看系统辨识专著。事实上，总可以选择 合适的输入和取足够多的测量值 使 X X X Y T T θ =ˆ (m >> n) X XT 非奇异。 10.2.3 最小二乘法的性质 从上面的讨论可以看出，最小二乘法对模型中存在的误差没有任何要求， 辨识时并不需要知道它的情况，这是最小二乘法的最大优点。但是，用最小二 乘法得到的估计值θˆ 是否就是真正的参数值θ ？下面我们用统计的方法，分析 最小二乘估计的均值和方差，研究θˆ 与θ 的偏离情况。 1. 最小二乘估计的无偏性 由于测量值的随机性，最小二乘估计的 显然也具有随机性。下面考察 的数学期望。由最小二乘算式(10.16)和(10.10)，有 θˆ $θ ( ) ( ) ( ) ˆ 1 1 θ = = θ + ε − − X X X Y X X X X T T T T θ ε θ ε (10.17) T T T T T T X X X X X X X X X X 1 1 1 ( ) ( ) ( ) − − − = + = + 其中，θ 是系统参数的真值，是确定量。θˆ 的数学期望为 ]ˆ E[θ [( ) ] 1 θ ε T T E X X X − = + (10.18) 若ε 是均值不为 0 的随机变量，最小二乘估计θˆ 是有偏的。若ε 与 X 不相关且 均值为 0，则 θ ] = θ (10.19) ˆ E[ 所以，若 是均值为 0 且与 X 不相关的随机噪声，则最小二乘估计 的均值 为参数真值 。这一性质称为无偏性。 ε $θ θ 2. 最小二乘估计的方差 θˆ 的数学期望从总体上表明参数估计的取值情况，但不能反映 与其真 值 的偏离程度。下面考察 的方差。 $θ θ θˆ ) ] ˆ )( ˆ ] [( ˆ [ T Varθ −θ = E θ −θ θ −θ {[( ) ][( ) ] } T 1 T T 1 T T E X X X ε X X X ε − − = = [( ) ( ) ] −1 −1 E X X X X X X T T T T εε = 1 1 ( ) [ ] ( ) − − X X X E X X X T T T T εε 令 R 为残差向量的方差阵，即 [ ]，则 T R = E εε 1 1 ] ( ) ( ) ˆ [ − − Var − = X X X RX X X T T T θ θ (10.20) 上式是最小二乘估计方差的一般计算公式。 浙 江 工 业 大 学 自 动 化 研 究 所 5