定义5.1.4称矩阵为随机矩阵，若矩阵元素具有(5.1.3) 式中两条性质. 易见随机矩阵每一行元素的和都为1. 例5.1.1（一个简单的疾病、死亡模型，Fix-Neyman) 考虑一个包含两个健康状态S1,S2以及两个死亡状态S3,S4 (即由不同原因引起的死亡)的模型若个体病愈，则认为它 处于状态S1,若它患病，说它处于S2,个体可以从S1,S2进 7/113 入S3和S4,易见这是一个马氏链的模型，转移矩阵为 P11P12P13P14 P P21P22P23P24 0010 0001 GoBack FullScreen Close Quit
7/113 kJ Ik J I GoBack FullScreen Close Quit ½¬ 5.1.4 °› èëÅ› ße› ɉk(5.1.3) ™•¸^5ü. ¥ÑëÅ› zò1É⁄—è1. ~ 5.1.1 (òá{¸;æ!k .ßFix-Neyman) ƒòáù¹¸áËxGS1, S2 ±9¸ák GS3, S4 (=dÿ”œ⁄Âk ) ..eáNæïßK@èß ?uGS1ßeßáæß`ß?uS2ßáNå±lS1,S2? \S3⁄S4ß¥Ñ˘¥òáÍºÛ .ß=£› è P = p11 p12 p13 p14 p21 p22 p23 p24 0 0 1 0 0 0 0 1
例5.1.2（赌徒的破产或称带吸收壁的随机游动）系统 的状态是0~，反映赌博者在赌博期间拥有的钱数，当他 输光或拥有钱数为时，赌博停止，否则他将持续赌博.每次 以概率p赢得1，以概率g=1-p输掉1.这个系统的转移矩 阵为 1000..000 q0p0.000 P 0q0p…000 8/113 三 0000·q0p 0000.001 (n+1)×(n+1) GoBack FullScreen Close Quit
8/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.2 (Ÿ‰ª½°ë·¬9ëÅiƒ) X⁄ G¥0 ∼ nßáNŸÆˆ3ŸÆœmPkaÍ߶ —1½PkaÍènûßŸÆ é߃K¶Ú±YŸÆ.zg ±V«pI1 ß±V«q = 1 − p—K1.˘áX⁄=£› è P = 1 0 0 0 · · · 0 0 0 q 0 p 0 · · · 0 0 0 0 q 0 p · · · 0 0 0 · · · · · · · · 0 0 0 0 · · · q 0 p 0 0 0 0 · · · 0 0 1 (n+1)×(n+1)
y 例5.1.3（带反射壁的随机游动)设上例中当赌博者输 光时将获得赞助1让他继续赌下去，就如同一个在直线上做 随机游动的球在到达左侧0点处就立刻反弹回1一样，这就是 一个一侧带有反射壁的随机游动.此时转移矩阵为 0100·000 q0p0·000 0q0p··000 P 三 ::: ::: 9/113 0000.·q0p 0000.001 (n+1)×(n+1) 同样可考虑两侧均有反射壁的情况 GoBack FullScreen Close Quit
9/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.3 (ëá9ëÅiƒ) ˛~•ŸÆˆ— 1ûÚº7œ14¶UYŸeß“X”òá3ÜDzâ ëÅiƒ•3àÜ˝0:?“·èá£1òߢ“¥ òáò˝ëká9ëÅiƒ.dû=£› è P = 0 1 0 0 · 0 0 0 q 0 p 0 · · · 0 0 0 0 q 0 p · · · 0 0 0 ... ... ... ... ... ... ... 0 0 0 0 · · · q 0 p 0 0 0 0 · · · 0 0 1 (n+1)×(n+1) ”僸˝˛ká9ú¹
例5.1.4（自由随机游动）设一个球在全直线上做无限 制的随机游动，它的状态为0，士1，士2，·.它仍是一个Markov链 转移矩阵为 ..0g0 P 90p0.. 10/113 0 90p… GoBack FullScreen Close Quit
10/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.4 (gdëÅiƒ)òá•3 ÜDzâÃÅ õëÅiƒßßGè0, ±1, ±2, · · · .ßE¥òáMarkovÛß =£› è P = · · · · · · · · · · · · · · q 0 p 0 · · · · · · · · · 0 q 0 p · · · · · · ... ... ... · · · · · · q 0 p 0 · · · · · · · · · 0 q 0 p · · · · · · · · · · · · · ·
例5.1.5（图上的简单随机游动）设有一蚂蚁在如图5- 花 1上爬行，当两个结点相临时，蚂蚁将爬向它临近的一点， 并且爬向任何一个邻居的概率是相同的 11/113 则此Markov链的转移矩阵为 0 000 1-2 0 000 020 P= 44 44 001000 0000号 000010 GoBack FullScreen Close Quit
11/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.5 („˛{¸ëÅiƒ) kòȨ3X„5- 1˛˜1߸á(:ÉûßȨژïßCò:ß øÖ˜ï?¤òáÿV«¥É”. KdMarkovÛ=£› è P = 0 1 2 1 2 0 0 0 1 2 0 1 2 0 0 0 1 4 1 4 0 1 4 1 4 0 0 0 1 0 0 0 0 0 1 2 0 0 1 2 0 0 0 0 1 0