它的一步转移概率和一步转移概率矩阵分别 为 P=P{An1=儿Xn=}=P,j=i 4,j≠/=0,1 和 01 p q g p
12 它的一步转移概率和一步转移概率矩阵分别 为 , 0,1 , , , , { | } 1 = = = + = = = i j q j i p j i p P X j X i i j n n = q p p q P 1 0 0 1 和
例3一维随机游动设一醉汉Q在如图所示直 线的点集/={1,2,3,4,5}上作随机游动,且仅在1 秒2秒等时刻发生游动游动的概率规则是:如 果Q现在位于点1<5),则下一时刻以1/3概 率向左或向右移动一格,或以1/3的概率留在 原处;如果Q现在位于1(或5这点上,则下一时 刻就以概率1移动到2(或4)上.1和5这两点称 为反射壁.这叫带有两个反射壁的随机游动 3 4
13 例3 一维随机游动 设一醉汉Q在如图所示直 线的点集I={1,2,3,4,5}上作随机游动, 且仅在1 秒2秒等时刻发生游动. 游动的概率规则是:如 果Q现在位于点i(1<i<5), 则下一时刻以1/3概 率向左或向右移动一格, 或以1/3的概率留在 原处; 如果Q现在位于1(或5)这点上, 则下一时 刻就以概率1移动到2(或4)上. 1和5这两点称 为反射壁. 这叫带有两个反射壁的随机游动. 1 2 3 4 5
若以X表示时刻n时Q的位置,不同的位置就 是Xn不同的状态,那么{Xnn=0,1,2,…}是一随 机过程,状态空间就是,而且当Xn=i,i∈I为已 知时,Xn所处的状态的概率分别只与X有 关,而与Q在时刻n以前如何到达i是完全无关 的,所以{Xnn=0,1,2…}是一齐次马氏链,它的 步转移概率为 j=i-1,i,i+1,l<i<5, 3 P=P{Xn=Xn=}={1,i=1,=2或i=5,j=4 0,j-i2
14 若以Xn表示时刻n时Q的位置, 不同的位置就 是Xn不同的状态, 那么{Xn , n=0,1,2,...}是一随 机过程, 状态空间就是I, 而且当Xn =i, iI为已 知时, Xn+1所处的状态的概率分别只与Xn =i有 关, 而与Q在时刻n以前如何到达i是完全无关 的, 所以{Xn , n=0,1,2,...}是一齐次马氏链, 它的 一步转移概率为 - = = = = = - + = + = = = 0,| | 2 1, 1, 2 5, 4, , 1, , 1,1 5, 3 1 { | } 1 j i i j i j j i i i i p P X j X i i j n n 或
步转移概率矩阵为 123 1|01 0 0 0 P≤21/31/31/300 301/31/31/30 4001/31/31/3 如果把1这点改为吸收壁,就是说Q一旦到达1 这一点,则就永远留在点1上.此时,相应的转 移概率矩阵只需把P中第1横行改为(1,0,0,0,0 总之,改变游动的概率规则,就可得到不同方 式的随机游动和相应的马氏链
15 一步转移概率矩阵为 = 0 0 0 1 0 0 0 1/ 3 1/ 3 1/ 3 0 1/ 3 1/ 3 1/ 3 0 1/ 3 1/ 3 1/ 3 0 0 0 1 0 0 0 5 4 3 2 1 1 2 3 4 5 P 如果把1这点改为吸收壁, 就是说Q一旦到达1 这一点, 则就永远留在点1上. 此时, 相应的转 移概率矩阵只需把P中第1横行改为(1,0,0,0,0). 总之, 改变游动的概率规则, 就可得到不同方 式的随机游动和相应的马氏链
例4排队模型设服务系统由一个服务员和只 可以容纳两个人的等候室组成,如图所示.服 务规则是:先到先服务后来者在等候室依次 排队,假定一个需要服务的顾客到达系统时发 现系统内已有3个顾客(一个正在接受服务,两 个在等候室排队,则该顾客就离去 系统 随机到达者1等候室服务台1离去者 ○○
16 例4 排队模型 设服务系统由一个服务员和只 可以容纳两个人的等候室组成, 如图所示. 服 务规则是:先到先服务,后来者在等候室依次 排队, 假定一个需要服务的顾客到达系统时发 现系统内已有3个顾客(一个正在接受服务,两 个在等候室排队), 则该顾客就离去. 等候室 服务台 系统 随机到达者 离去者