随机系统最优稳定化问题

D0I:10.13374/i.issn1001053x.1990.01.016 北京科技大学学报 第12卷第1期 Vol.12 No,1 1990年1月 Journal of University of Science and Technology Beijing Jan,1990 随机系统最优稳定化问题 杨晓明 (数华第一教研窄) 摘要：根据文献〔2)、〔4们的思想，作者利用Bc11man动态规划原理和L了a- puoⅴ函数解决了一般陆机系统的陆机稳定化问题，并以此建立了-一类线性随机系统的最优 随机指数稳定性的判定定理。 关键词：随机系统，最优稳定化，随机指数稳定，L了apunov函数，Bc11man动 态规化 On Optimal Stability of Stochastic System Yang Xiaoming ABSTRACT:This paper makes use of Bellman dynamic programming principle and Lyapunov function to solve the problem of stochastic optimal stability of general stochastic system.By using this method the a determine theorem on optimal exponent stability for a class of liner stochastic system is established. KEY WORDS:stochastic system,optimal stability,Lyapunov function,Bellman dynamic programming,stochastic exponent stability 1问题与背景 考虑It0型随机微分方程系统： dX=F(X,t)dt+G(X,1)dB (1) 这里XeR"是定义在〔t。,∞)上的状态向量，B是-m维Winner过程。 F(,)是-R·值函数，且相对 (X,t)eR"×〔ta,+∞)连续； 1988一04一18收藕 90

第 卷 第 期 北 京 科 技 大 学 学 报 护 广 年 月 随机 系统最优稳定化问题 杨 晓 明 数 学 第一 教研卞 摘 要 根 据文献 〔 〕 、 〔们 的 思 想 ， 作 者利 用 。 。 动态规 划原理 和 函数 解决 了一 般随 机 系统 的 随机稳 定化 问 厄 ， 并以 此 建立 了一 类线性 随 机 系统 的 最优 随机 指数稳 定性的 判定定理 。 关健词 随 机 系统 ， 最优稳定化 ， 随 机 指数稳 定 ， 函 数 ， 。 动 态 规化 犷 巾 ‘ ” 夕 了 ， ， ， ， ， 一 ， · 口 产 问题与背景 考虑 型随机微 分 方程系统 ， ， 刀 这 里 ’ 是定义 在〔 。 ， 五的状 态 向量 ， 刀是 一 维 过 程 。 · ， · 是 一 ’ 值函数 ， 且相对 ， 。 ’ 〔 。 ， 。 连 续 一 一 收藕 尸口 DOI ：10．13374／j ．issn1001－053x．1990．01．016

G(·,·)是n×m矩阵值函数，且对 (X,t)eR"X〔to,十∞)连续。 又X(t。)=X。,且下列条件成立： (a)Vtc〔t。,∞)，yeR",ZeR"。存在K>0,使得 F(y,)-F(z,t)+G(y,t)-G(2,1)y-z (b)fte〔t,∞)，yeR 11F(y,)112+11G(y,)112≤K2(1+1|yl12) (c)F(o,1)=G(o,1)=0, 由(3)知存在-n维扩散过程X(t,t。),其是(1)的唯一解。 定义1一型为系统(1)的平凡解X(t)三0(X。=0),称之为随机指数稳定的，如果任给 e>0,X。∈R,t≥0，存在a>0,K(e)>0,使得 5up1lXs1l≥‘}<K(e1lX.expC-at-t,门 s≥t 下面考虑系统： dX.=F(X.,t)di+U(X.,u,t)dt+Y(X.,u,t)d+G(X,t)dB (2) 这里5是与B相互独立的Wien1er过程，U(·,",),Y(·,·,)关于所有变量总体连续， 且满足Lipschit2条件及线性增长限制条件，并有X。(t。)=X。 U(0,0,t)=0,Y(0,0,t)=0,t≥t。 u(Xe,t)是-r维向量函数，u(0,t)=0,>≥t。 本文考虑的所有系统均为完全可控的。我们假定uU(全体容许控制组成的集合)使 得U(X。,u(X.,t),)和Y(X。,u(X。,t),t)相对(X。,t)是连续的，且对X。具有连续的一 阶和二阶微分，对t均一致有界的。于是系统(2)可化成： dX.=〔F(X。,t)+U(Xe,4(X,t),t)门dt 〔Y(X。,u(X.,t),t),G(X,t))d (8) 变为式(1)之形式，于是存在n维扩散过程X,(t,t。)。 考虑性能测度： 1=E〔，9X,t〕 (4) 这里E()是期望算子，9(·，·，)是(X,“,)的非负连续函数。 问题：假定状态向量是完全可观测的，要在U中找-“(X,),其使(3)之解具有随机 指数稳定性，且使(4)最小化，即： J=E〔gX,,d〕 min 91

、 ， · 是 。 矩 阵值函数 ， 且对 义 ， 。 尸 ’ 〔 。 ， 连续 。 又 。 。 ， 且下列 条件成 立 。 〔 。 ， ， 少。 ’ ， ’ 。 存 在 ， 使 得 ， 一 ， 川 口 ， 一 ， 川 日 一 日 。 〔 。 ， ， 少。 ” ， 川 “ ， 川 “ 毛尤 “ ， ， 二 ， 。 户 由 知存在 一 ” 维扩散过程 ， ‘ 。 ， 其 是 的唯一解 。 定 义 － 型为 系统 的平凡 解 二 。 二 ， 称 之为随机指数稳定的 ， 如果 任绪 ， 。 任 ’ ， 。 ， 存在 ， 。 ， 使 得 。 ‘ 川 “ 户 厂 。 ， ，。 屯 。 川 。 〔 一 一 。 〕 乃 多二 声 ‘ 下面考虑系统 。 。 ， 。 ， 。 ， 。 ， ， 考 。 ， 刀 这里 考是与 刀相互独立 的 过程 ， ， · ， · ， · ， · ， · 关 于所有 变量总 体 连 续 ， 且满足 条件及 线性增长限 制条件 ， 并有 。 。 二 。 ， ， ， ， ， 二 ， 。 。 。 ， 是 一 维向量 函数 ， ， ， 李 。 本文 考 虑 的所 有系 统 均为 完全可 控 的 。 我 们假定 “ 。 全体容 许控制组 成的 集 合 使 得 。 ， 。 ， ， 和 。 ， 。 ， ， 相对 。 ， 是连续 的 ， 且对 。 具有连 续 的 一 阶和二阶微分 ， 对 均一致 有 界 的 、 。 于 是系统 可 化 成 。 〔 。 ， 。 ， “ 。 ， ， 〕 〔 二〔 。 ， · 〔 。 ， ， ， ， 。 · ， ， 〕 ‘ 暴 变为式 之形式 ， 于是存在 ” 维扩散过 程 。 ， 。 。 考 虑性能测 度 ‘ 〔丁 。 ‘ 一 ‘， ‘ 〕 这里 。 是期望算子 ， · ， · ， 。 是 。 ， “ ， 的非 负连 续 函数 。 向题 假定状 态向量 是完全可 观 测 的 ， 要 在 中 找 一 ， ， 其使 之 解具有 随 礼 指数稳定性 ， 且使 最 小化 ， 即 器 ‘ 〔 。 一 万 ， ‘， ‘ 〕

2稳定最优控制 号虑与(3)有关的微分算子： =品+(r,,）+(Ux,),)+士(r,,x) +号(c(x,),) 这里 (z,)=含2品，(2，品)=云2，zx, ∂2 对于完全可控系统(3)，我们利用某一正值Lyapunov函数V:R·XR+→R+和动态 规划方法来求得控制“。 由文献〔1)知：如果存在一V,使满足： (C)VeCCR"×R+,R门，V,V,,存在且连续。 (C2)对任T>t。,(3)的解过程X.(t),有 VF(X.(t),)G(X,t)eMt。,T〕 VF。(X.(t),t)Y(X.(t),4(Xc,t),t)eMCt。,T〕 这里M2〔t。,T),M〔t。,T)是全体平方可积轶。 (C3)LV(X.,)5-kV(X.,f),k>0 (C.)a(X.)V(X,)-cx. 这里C>0常数，4()为r严格递增函数，则(3)之解为随机指数稳定的。 计算： L业sO业 、dV,1 o:y 0n+8F,+U,)6x,+28三，Yy+GG1) 1-1 令： 4=LV+g (5) 现在利用动态规划找出最优输入“： min(△)=min△(X,4,t)=△(X.,u,t)=0 u(UI◆ ucU◆ 04 如果最小值存在，则有，u=0,或： 会兴+日点会品w+韶0 (6) 92

稳定最优 控制 考虑与 有关 的微分算子 乙 丽 十 又 ， 矛 ， 二 、 月 丫 ， 一 ‘ ， 最 借 一 ， · ， ， ， 偿 一 合 ， ， ， 去 这 里 ， 韵 妙 ‘ 念 ， ， 蠢 ’ 乙 ‘ 艺 ， 几石厂百丁一 一 一 ， 人 一， 人 ， 对于完全可 控系统 ， 我们 利 用某一 正值 函数 犷 ‘ 一 和 动 态 规 划 方法来 求 得控制 “ 。 由文 献 〔 〕 知 如果 存在一犷 ， 〔 ’ ， 〕 ， 厂 ， ， 使 满 足 犷 二 ， 二 二 存 在且连续 。 对 任 。 ， 的解过程 。 ， 有 二 。 。 ， 。 ， ‘ 〔 。 ， 〕 犷二 。 。 ， 。 ， 。 ， ， ‘ 履〔 这 里 〔 。 ， 〕 ， 矛〔 。 ， 〕是全体平方可 积 鞍 。 。 ， 〕 犷 。 ， 《 一 犷 。 ， ， ‘ 川 。 日 互厂 ， 找 。 】 这里 常数 ， 为 严格递增 函数 ， 则 之 解 为随机指数稳定 的 。 计 算 ‘ 一 ‘ 口犷 二 ” ， ‘ 二 ‘ ’ 厉 了 。气 ， 月 ’ “ ， 行 行 ‘ “ ， 厂 口 ‘ 丫 力口︼日一」 乙厂 一一 令 厂 现 在利 用动态 规划找 出最 优输 人 “ △ △ 。 ， “ ， △ 。 ， ， 〔 … 二 如果 最小 值 存在 ， 则 有 ， 万奋二 ， 或 令 户鉴 · 黔 · 宁睿户斋 ‘ · 〕 厂瓷奇 · 豁

通过解式(6)，可找出最优解4，然后代入式(5)有： N,0+,,0g+号三r,,Yr,, oV 0x,0x,+g(x,4,t)=0 (7) 定理1一如果一正函数满足条件(C,),(C:),(Cs),(C4)以及Bellman方程(7)， 那么由式(6)给出的控制4是最优的，且使系统(3)是随机指数稳定的。 证：现在考虑性能测度（在有限时间里），由式(4)式(7)，我们有： J=E9,a,a=-rX,) 又因 ErX,=Erx.,+E到。 LV(X.,t)dr ,L7心-F<0、Er(X.(,),4)<+∞所以ELV(X,)dr收 存在(t→∞)。这样V(X:,)是正上半鞅，由式(6)式(7)即阳4是最优的；(C1),(C2), (Cs),(C)保证了指数稳定性。 现在考虑如下情形： g(￥，u,)=秒(x,)十uTR(t)4,≥0，R>0对称。 U(x,4,t)=M(x,t)4,M是nXm矩阵函数。 Y(x,u,t)=Q(t)4,Q是nXm矩阵函数。 于是式(2)、式(3)、式(4)成为： dX.=F(X.,t)dt+M(X.,t)udt+Q()uds+G(X.,t)dB (8) minJ=E(X.,t)+uRujdt (9) u 用前面步骤我们可写出表达式： Lr=N(,+M,+号U0gYqu =LV+p(x,t)十urRu=0 (10) 由式(10)得： (0 Q20 93

通 过 解式 ， 可找 出最 优 解 ， 然 后代 入式 有 刃 ， ‘ ， ， 声 夕竺十 粤 会 会 二 ， 万 ， ， 二 ， 万 ， ， · 劣 ‘ 乙 主 二 厂 劣 ‘ 劣 ， ， 定 理 －如果一正函数 满足 条件 ， ， ， 以 及 方 程 ， 那 么 由式 给 出的 控 制 是最优的 ， 且使系 统 是随 机 指数稳 定 的 。 证 现在考虑性能测 度 在有限 时间里 ， 由式 式 ， 我 们 有 ‘ 。 一 万 ， ‘ ， ‘ 一 ‘ 一， ‘ ， 又 因 厂 一 ‘ ， 犷 · 。 ， ， ‘ 。 ， 。 犷 一， · 而 犷 。 ， 五 环 毛 一 “ 、 · “ 。 ， ， 。 ， 一所 以 “ 。 ‘ 犷 ‘ 一， · “ 敛 ， 从 而 ‘ 存 在 了 、 。 这样 万 。 ， 是正上半鞍 ， 由式 式 即 知 是 最 优 的 ， ， ， 保证 了指数稳定性 。 现 在考 虑如 下情形 扭 ， ， 护 ‘ ， ， 劝乡 ， 对 称 。 ， “ ， ‘ ， 。 ， 是 。 矩 阵函数 。 ， “ ， “ ， 是 几 。 矩 阵函数 。 于 是式 、 式 、 式 成为 。 。 ， 。 ， 。 古 。 ， 声 。 ，· 〔 “ 一 ‘ ’ 十 “ “ “ 〕 ‘ 用前面步骤 我 们可 写 出表达式 ， 、 ， 厂 。 ， 、 ， ， ， 二 ， 口“ 厂 儿 挥 吸火 ， 月 十 一万 奋 丈以 义 ， 门 十 一石一 ‘ “ ‘ 下 不 叼 气 ‘ 劣 “ 月 刁 犷 护 二 ， ， 二 由式 得 、 二 ， ， 班十 嘿 万十 口 丁 丫 ‘

得最优控制： =-(:0+)'Mr,8 (11) 满足(x,u,t)=0,于是我们有： 定理2一如果正函数V(x,t)满足(C),(C,),(Cs),(C:)以及Bεllman方程式 (10),那么以闭形式给出的控制式(11)是问题(8)，(9)的最优解，且使式(8)解为随机指数 稳定的。 3线性系统 现在我们利用上节的结果来讨论一卜线性系统： dX=A(t)Xdi+M(1)udt+B(t)dB (12) in/(w)d (13) u 的最优稳定性问题。 假设Lyapunov函数具有形式： V(x,1)=XTD(t)X,D()>0,tct,,t) 则有LP=XTCD+ArD+DA+BrDB)X+DMu =LV+XTC(t)X+uR(t)u (14) 得 u=-R-IMTDX 将其代入式(14)，得Bellman方程： X'CD+C+AD+DA+BTDB-DMR-M'D]X=0 从而有： D+C+AD+DA+BDB-DMRMD=0 (15) 如果式(15)有解，那么trD()≤H(H为一正常数)。 与此同时，我们有： LV=XCD+AD+DA+BBD-DMR-MD)X (16) 定理2一设A(t),M(),t〔t,∞)是有界连续矩阵，A(),M(t)是一致可控的， 如果存在一系数K>0,使XTC()X≥K|川X|I2,那么系统(12)，(13)是最优随机指数稳 定的。 证：由一致可控性知，矩阵A()-M'()R()M()D()是稳定的（即特征值具有负 实部)。设其转移矩阵为中(t,T),那么方差矩阵为： 94

得最优控制 万 一 。 ， 豁 。 一 ‘ 、 · · ， ， 言蛋 满足 刁 二 ， “ ， ， 于是我 们 有 定理 －如果 正 函 数 犷 ， 满 足 ， ， ， ， ‘ 以 及 ‘ 方 程 式 ， 那 么以 闭形式 给出的控制式 是问题 ， 的最优 解 ， 且使式 解为随机 指 数 稳定 的 。 线 性 系 统 现 在我 们利 用上 节的结果来 讨论一 下线性系 统 月 刀 咒 · “ · ， 〔 · “ ， · “ ，· 〕 ‘ 的最 优稳定性 问题 。 假设 “ 函数具 有形 式 犷 ， ， ， 。 〔 。 ， 二 则 有 犷 〔 犷 丁 〕 刁 犷 丁 “ 得 一 一 ‘ 将其代 入 式 ， 得 方程 了 〔 刁 了 汉 一 一 ‘ 『 〕 一 二 从 而 有 过 月 ” 刃 一 一 ’ 了 如果 式 有解 ， 那么 簇 厅 万 为一正 常数 。 与此 同时 ， 我 们有 犷 〔 了 月 一 一 ’ 〕 定理 － 设 ， ， 。 〔 。 ， 二 是 有界连 续矩 阵 ， 刁 ， 是一致 可 控 的 ， 如果 存 在一系数 ， 使 日州 ， 那 么 系统 ， 是最 优随机指 数 稳 定 的 。 证 由一致可 控性 知 ， 矩 阵 过 一 一 ‘ 是稳 定 的 即特 征值具 有 负 实部 。 设 其转移矩阵为 价 ， ， 那 么方差矩 阵 为 」医