第六章马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov首先提出和研究的一类随机 过程，已成为内容丰富，理论较完善，应 用十分广泛的一门数学分支，应用涉及计 算机、自动控制、通信、生物学、经济、 气象、物理、化学等等. 子科技大学
电子科技大学 第六章 马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov 首先提出和研究的一类随机 过程, 已成为内容 丰富, 理论较完善, 应 用十分广泛的一门数学分 支,应用涉及计 算机、自动控制、通信、生物学、 经济、 气象、物理、化学等等
§6.1马尔科夫过程的概念 马尔科夫性及定义 在已知系统现在所处状态下，系统将来 的演变与过去无关，称为无后效性. 例如生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关； 某公司的经营状况具有无后效性； 子科技大学
电子科技大学 在已知系统现在所处状态下, 系统将来 的演变与过去无关, 称为无后效性. 例如 生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关； §6.1 马尔科夫过程的概念 某公司的经营状况具有无后效性； 一、马尔科夫性及定义
评估一个计算机系统的性能时，若系统将 来的状态，仅依赖于目前所处的状态，而与 过去的状态无关； 股票的交易行情也具有无后效性 与平稳过程的本质差别： 平稳过程具有平稳性：它的统计特性不 随时间的推移而改变，它的变化情况与过去 的情况有不可忽视的联系。 子科技大学
电子科技大学 评估一个计算机系统的性能时, 若系统将 来的状态, 仅依赖于目前所处的状态，而与 过去的状态无关； 股票的交易行情也具有无后效性. 平稳过程具有平稳性：它的统计特性不 随时间的推移而改变,它的变化情况与过去 的情况有不可忽视的联系. 与平稳过程的本质差别：
定义6.1.1随机过程{X(t),t∈T,如果对 于任意取定参数t1<t2<.<tn,有 P{Xt)≤xnX6)=x,X6)=5,…,X(t)=x} =P{X(t)xn X(tn1)=xn1} (1) 称{X(t),t∈T为马氏过程， 由条件分布函数定义，()式等价于 F(xntn,…,xn-I,…,tn-i)=F(xnitnXn1itn) 上子料技大学
电子科技大学 定义6.1.1 随机过程{X(t),t∈T}, 如果对 于任意取定参数t1<t2<…<tn , 有 1 1 2 2 1 1 { ( ) ( ) , ( ) , , ( ) } P X n n n n t x X t x X t x X t x 1 1 { ( ) ( ) } (1) P X n n n n t x X t x 称{X(t),t∈T}为马氏过程. 由条件分布函数定义, (1)式等价于 1 1 1 1 1 1 ( ; , , ; , , ) ( ; ; ) F n n n n n n n n x t x x t t F x t x t
()式等价于 f(xn;tn x1,,xn-1;t1,,tn-1)=f(xn;tn xn-1;tn-1) P{Xn=xn;tnlx1,…,xn-1;t1,…,tn-1 =P[Xn x;tn xn-1;tn-1} 二、 满足马氏性的过程 定理6.1.1 独立过程X(),t∈T是马氏过程； 证1)对于t1<t2<..<t,∈T,因X(t1)..X(tn) 相互独立， P(X(tn)<xn X(tx X(t2)=x2...,X(t1)x1 子料技大学
电子科技大学 (1)式等价于 二、满足马氏性的过程 定理6.1.1 独立过程{X(t),t∈T}是马氏过程； 证 1）对于t1< t2< …<tn ∈T, 因X(t1)…X(tn ) 相互独立, P{X(tn ) ≤ xn | X(t1)=x1 , X(t2)=x2 ,…, X(tn-1)=xn-1}