定义6.3.4对i∈E,若正整数集 {nn≥l,p台a>0} 非空，则定义其最大公约数(GCD)为状态i的 周期，记为 d,=GCD{nn≥1，Pa>0 若d=1,称状态i是非周期的. 若整数集{nn≥1，f四>0非空，记 h:=GCDn:n≥l,fm>0} 电子科技大学
电子科技大学 定义6.3.4 对i∈E, 若正整数集 ( ) { 1, 0} n n n ii p 非空, 则定义其最大公约数(GCD)为状态i 的 周期，记为 ( ) { 1, 0} n i ii d GCD n n p 若di =1, 称状态i 是非周期的. { : 1, 0} ( ) n i ii h GCD n n f
注若pmm>0,则有正整数m,使得n=md, 且d:是满足ml=n的最大整数，h:也相同. 引理1 h:和d:同时有定义，且二者相等. 以下根据状态的返回概率∫：对状态进 行分类。 定义63.5对状态i∈E,最终返回概率为fi, 若f=1,称状态i是常返的； 若f<1,称状态i是非常返的（或滑过的） 电子科技大学
电子科技大学 引理1 hi和 di同时有定义, 且二者相等. 以下根据状态的返回概率fii对状态进 行分类. 定义6.3.5 对状态i∈E, 最终返回概率为fii， 若 fii<1，称状态 i 是非常返的(或滑过的). 若 fii =1，称状态i 是常返的； 注 则有正整数m, 使得n=mdi, 且 di 是满足mdi= n 的最大整数, hi 也相同. ( ) 0 n ii 若 p
注 f=1表示系统从状态i出发几乎必定 会返回状态i. 定义6.3.6对常返状态i∈E,平均返回时间 为儿i) 若<+o,称状态i是正常返的； 若4=+oo,称状态i为零常返的. 定义63.7称非周期正常返的状态为遍历 状态 电子科技大学
电子科技大学 fii =1表示系统从状态i 出发几乎必定 会返回状态 i . 注 定义6.3.6 对常返状态i∈E, 平均返回时间 为μii， 若μii<+∞, 称状态i 是正常返的； 若μii = +∞, 称状态i 为零常返的. 定义6.3.7 称非周期正常返的状态为遍历 状态
以三个层次区分状态类型 非常返态 状态 零常返态 常返态 有周期 正常返态 首返 概率 非周期 遍历态 平均返 回时间 周期 电子科技大学
电子科技大学 首返 概率 平均返 回时间 周期 以三个层次区分状态类型 状态 非常返态 常返态 零常返态 正常返态 有周期 非周期 遍历态
EX.3醉汉问题 酒吧 家 2 3 4 5 醉汉在街上徘徊，在每一个街口以13的概 率停下，以13的概率向前或向后. 若他又返回酒吧或到家门，不再游动. 状态空间为E={1,2,3,4,5} 运动的转移矩阵为 电子科技大学
电子科技大学 EX.3 醉汉问题 酒吧 家 1 2 3 4 5 醉汉在街上徘徊, 在每一个街口以1/3的概 率停下, 以1/3的概率向前或向后. 若他又返回酒吧或到家门, 不再游动 . 状态空间为E=｛1,2,3,4,5｝ 运动的转移矩阵为