第三节马尔可夫链 般随机过程 1定义: 依赖于一个变动参数r的一族随机变量{X(t),t∈T} 其中,变动参数所有可取值的集合T为参数空间。 X(t)的值所构成的集合S称为随机过程的状态空间。 例如,从时间t=0开始记录某电话总机的呼叫次数, 设t=0时没有呼叫,至时刻的呼叫次数记为N,则 随机变量族{N1,t≥0}是随机过程
一、一般随机过程 1.定义： { ( ), } ( ) t X t t T t T X t S 依赖于一个变动参数 的一族随机变量 。 其中，变动参数 所有可取值的集合 为参数空间。 的值所构成的集合 称为随机过程的状态空间。 , 0 0 { , 0} t t t t t N N t 例如 从时间 开始记录某电话总机的呼叫次数， 设 时没有呼叫，至时刻 的呼叫次数记为 ，则 随机变量族 是随机过程
2.马氏过程: 若已知在时间t系统处于状态X的条件下,在时刻r(x>t) 系统所处状态与时刻以前系统所处的状态无关,此过程 便为马尔可夫过程(随机过程的一个子类) 例如,在布朗运动中,已知时刻下的运动状态条件下,微 粒在t后的运动情况和微粒在以前的情况无关。若X(t)表 示微粒在时刻位置,则X()是马尔可夫过程 T连续、S离散的马氏过程 马氏过程{T连续、S连续的马氏过程 T离散、S离散的马氏过程(马尔可夫链)
t X ( t) t 若已知在时间 系统处于状态 的条件下，在时刻 系统所处状态与时刻 以前系统所处的状态无关，此过程 便为马尔可夫过程（随机过程的一个子类）。 , ( ) ( ) t t t X t t X t 例如 在布朗运动中，已知时刻 下的运动状态条件下，微 粒在 后的运动情况和微粒在 以前的情况无关。若 表 示微粒在时刻 的位置，则 是马尔可夫过程。 T S T S T S 连续、 离散的马氏过程 马氏过程 连续、 连续的马氏过程 离散、 离散的马氏过程（马尔可夫链）
马尔可夫链 1定义: 设{Xn,n=1,2,…}是一个随机变量序列,用“Xn=”表示 时刻n系统处于状态这一事件,称pn(m)=p(Xn1=Xn=1) 为事件“Xn=”出现的条件下,事件“Xn1=邝”出现的概 率,又称它为系统的一步转移概率。若对任意的非负整数 、i2…n、、j及一切n≥0,有 p(m=JIX=i, Xk P(Xn+1=j1X,=D)=P2(n) 则称{Xn}是一个马尔可夫链
二、马尔可夫链 1.定义： 1 1 1 2 -1 1 { , 1, 2, } ( ) ( | ) “ ” “ ” 0 ( | , , 1, 2, -1) n n ij n n n n n n n k k X n X i n i p n p X j X i X i X j i i i i j n p X j X i X i k n 设 是一个随机变量序列，用“ ”表示 时刻 系统处于状态 这一事件，称 为事件 出现的条件下，事件 出现的概 率，又称它为系统的一步转移概率。若对任意的非负整数 、 、 、 、 及一切 ，有 1 ( | ) ( ), { } n n ij n p X j X i p n X 则称 是一个马尔可夫链
例如,有一位顾客每天向一家商店买一包香烟。他购买香烟 并不固定于一种牌号,商店中A、B D、E五种牌号的香 烟他都有可能购买。设X表示他在第m天购买的香烟牌号 若这个人只记得昨天抽烟的味道,以前的都记不得了,那么 X取什么值,只与Xm取什么值有关,则{Xn}构成一个马尔 可夫链
1 { } m m m m A B C D E X m X X X 例如，有一位顾客每天向一家商店买一包香烟。他购买香烟 并不固定于一种牌号，商店中 、 、 、 、 五种牌号的香 烟他都有可能购买。设 表示他在第 天购买的香烟牌号。 若这个人只记得昨天抽烟的味道，以前的都记不得了，那么 取什么值，只与 取什么值有关，则 构成一个马尔 可夫链
2齐次马尔可夫链 若系统无论何时从状态诎发,经k步转移到状态的 概率都相同,即有下式成立: p(Xsk=j Xs=1)=p(Xk=jIX=i) 其中,;j、k皆为正整数,s为任一正整数, 则称此马尔可夫链为齐次马尔可夫链。 若系统的一步转移概率Pn(n)=P(Xm=Xn=)与 初始时刻n无关,可以简记为pn P P
1 1 ( | ) ( | ) s k s k i k j p X j X i p X j X i i j k s 若系统无论何时从状态 出发，经 步转移到状态 的 概率都相同，即有下式成立： 其中， 、 、 皆为正整数， 为任一正整数， 则称此马尔可夫链为齐次马尔可夫链。 1 ( ) ( | ) n ij n n ij p n p X j X i p 若系统的一步转移概率 与 初始时刻 无关，可以简记为 。 i j ii p ij p jj p ji p