实例2马氏链模型 问题1.迷宫问题 3(白) 试验者想分析不同颜色对老鼠 1(红)2(蓝) 的吸引作用。他设计了一个迷宫如 右图 他把一只老鼠放入迷宫的某一间,然后周期性 地定时观察老鼠的位置 问题分析老鼠的运动带有随机性,利用概率 论中的马氏链理论进行研究 假设 1.若观察时老鼠位于第j个分隔间,称老鼠 处于状态j 2.以P表示老鼠处于初始状态j的概率, 概率向量 P(0)=(P,P,PB) 称为初始概率分布。 (一般地,一个行向量的所有分量非负,分量之 和为1,称为概率向量)。 *3P表示老鼠从状态i运动到状态j的概率, 称P,i=1,2,3为转移概率,矩阵A=(P)为转 移矩阵,满足 1)0≤P≤1;
实例 2 马氏链模型 问题 1．迷宫问题 试验者想分析不同颜色对老鼠 的吸引作用。他设计了一个迷宫如 右图. 他把一只老鼠放入迷宫的某一间，然后周期性 地定时观察老鼠的位置. 问题分析 老鼠的运动带有随机性，利用概率 论中的马氏链理论进行研究. 假设 *1. 若观察时老鼠位于第 j 个分隔间，称老鼠 处于状态 j； *2. 以 0 j P 表示老鼠处于初始状态 j 的概率， 概率向量 P （0） =（ 0 P1 ， 0 P2 ， 0 P3 ） 称为初始概率分布。 （一般地，一个行向量的所有分量非负，分量之 和为 1，称为概率向量）。 *3 Pij 表示老鼠从状态 i 运动到状态 j 的概率， 称 Pij ，i,j=1，2，3 为转移概率，矩阵 A=（ Pij ）为转 移矩阵，满足 1） 0≤ Pij ≤1； 3（白） 1（红） 2（蓝）
2)∑P (一般,若方阵A的行向量是概率向量,称之为 转移矩阵)。 建模P表示第n次观察时,老鼠位于第j 个分隔间的概率由全概率公式可得: P=PP1+PB1+P"P,j=1,23.(1) 老鼠的运动具有马氏性(无后效性):在第n次 观察时,老鼠处于各状态的概率仅与第n-1次观察 时所处状态的概率以及转移概率有关,而与第n-1 之前的状态无关 老鼠的这一种随机转移过程是一类马氏链。 式(1)可改写为矩阵形式 Pt-A n=1,2 其中,P0=(P,P2,P0),A=(P)3×3,有递推 公式: A A A 由老鼠的初始分布可确定任何一次的分布情况。 定理1设A是一个马氏链的转移矩阵,P是 初始分布,则第n步的概率分布为
2） 1 3 1 = j= Pij . （一般，若方阵 A 的行向量是概率向量，称之为 转移矩阵）。 建模 (n) Pj 表示第 n 次观察时，老鼠位于第 j 个分隔间的概率.由全概率公式可得： , 1,2,3. (1) 3 ( 1) 2 3 ( 1) 1 2 ( 1) 1 ( ) = + + = − − − P P P P P P P j j n j n j n n j 老鼠的运动具有马氏性（无后效性）：在第 n 次 观察时，老鼠处于各状态的概率仅与第 n-1 次观察 时所处状态的概率以及转移概率有关，而与第 n-1 之前的状态无关. 老鼠的这一种随机转移过程是一类马氏链。 式（1）可改写为矩阵形式： P (n) = P (n−1) A, n = 1,2, 其中， ( , , ) 0 3 0 2 0 1 (0) P = P P P ，A=（ Pij ）3×3, 有递推 公式： (n) P = (n−1) P A= (n−2) P A2=…= (0) P An , (2) 由老鼠的初始分布可确定任何一次的分布情况。 定理 1 设 A 是一个马氏链的转移矩阵， (0) P 是 初始分布，则第 n 步的概率分布为
P=P0A",n=1,2,… 模型分析 例取P=(13,1/3,1/3),老鼠运动的转移 矩阵是 0.10.70.2 A=0.30.40.3 0.50.20.3 第三次观察时,老鼠在各个分隔间的概率分布为 0.10.70.2 3 P3)=P0A=(13,13,13)030403 0.50.20.3 (0.295,0.434,0.271) 要了解老鼠最终的活动情况,需要考察当n→∞时, P的变化趋势 0.5 0.5 例设转移矩阵R=0703,有 0.5 0.5 0.6 0.4 R2=0.7 0.3 0.56 0.44 0.5 0.5 0.58 0.42 R3=0.7 0.3 0.588 0.412 0.50.5 0.584 0.416 R4= 0.7 0.3 0.5842 0.4158
(n) P = (0) P An , n=1，2，… 模型分析 例 取 (0) P =（1/3，1/3，1/3），老鼠运动的转移 矩阵是 A= 0.5 0.2 0.3 0.3 0.4 0.3 0.1 0.7 0.2 ， 第三次观察时，老鼠在各个分隔间的概率分布为 (3) P = (0) P A3=（1/3，1/3，1/3） 3 0.5 0.2 0.3 0.3 0.4 0.3 0.1 0.7 0.2 =（0.295，0.434，0.271）, 要了解老鼠最终的活动情况，需要考察当 n → 时， (n) P 的变化趋势. 例 设转移矩阵 R= 0.7 0.3 0.5 0.5 ，有 R2= 2 0.7 0.3 0.5 0.5 = 0.56 0.44 0.6 0.4 , R3= 3 0.7 0.3 0.5 0.5 = 0.588 0.412 0.58 0.42 ’ R4= 4 0.7 0.3 0.5 0.5 = 0.5842 0.4158 0.584 0.416
0.5833 0.4167 当n→∞时,Rr 1212 0.5833 0.4167≈75 1212 令m=(m/12,5/12),有R=u,称u是矩阵R 的不动点向量 若老鼠的转移矩阵具有不动点向量,说明随着 转移次数的增大(时间的推移),老鼠的运动规律趋 于稳定 哪些转移矩阵具有不动点向量? 定义:一个马氏链的转移矩阵A是正则的,当且 仅当存在正整数K,使A的每一个元素都是正数 具有正则转移矩阵的马氏链称为正则链 定理2若A是一个马氏链的正则阵,则 (1)A有唯一的不动点向量W,W的每一个 分量为正; (2)A的n次幂A"(n为正整数)随n的增大而 趋于矩阵W,W的每一个行向量等于不动点向量 老鼠的转移矩阵是正则阵,由定理2可得 P(m)p(0)An→p(ow, 老鼠的运动随时间推移,逐渐趋于稳定。 问题2信息传播问题
当 n → 时， Rn → 0.5833 0.4167 0.5833 0.4167 ≈ 12 5 12 7 12 5 12 7 令 u=（7/12 ， 5/12），有 uR=u, 称 u 是矩阵 R 的不动点向量. 若老鼠的转移矩阵具有不动点向量，说明随着 转移次数的增大(时间的推移), 老鼠的运动规律趋 于稳定. 哪些转移矩阵具有不动点向量？ 定义：一个马氏链的转移矩阵 A 是正则的，当且 仅当存在正整数 K，使 AK 的每一个元素都是正数. 具有正则转移矩阵的马氏链称为正则链。 定理 2 若 A 是一个马氏链的正则阵，则 （1）A 有唯一的不动点向量 W，W 的每一个 分量为正； （2）A 的 n 次幂 An (n 为正整数)随 n 的增大而 趋于矩阵 W ， W 的每一个行向量等于不动点向量 W. 老鼠的转移矩阵是正则阵，由定理 2 可得 P (n) = P (0) A n → P (0)W ， 老鼠的运动随时间推移，逐渐趋于稳定。 问题 2 信息传播问题
条消息在人群中传播,每次由第i个人传给 第计1人,每次传播消息时的失真概率为p,0<p <1,经过长时间传播后,第n个人得知消息的真 实程度如何? 建模设整个传播过程是随机转移过程,转移矩 阵为 假 真 P P 假 R P 真 因0<p<1,R是正则阵。 设初始分布为v,则经过n次传播以后,消息 处于真、假状态的概率 分布为 f,n=1.2 模型求解需求出R的不动点向量W 一般的2阶正则阵有如下形式 A b 1-b 0<a<1,0<b<1 记A的不动点向量为W=(w1,w2),应满足 WA=W,即 WA=(1,w2 b b WI(
一条消息在人群中传播，每次由第 i 个人传给 第 i+1 人，每次传播消息时的失真概率为 p ，0＜p ＜1，经过长时间传播后，第 n 个人得知消息的真 实程度如何？ 建模 设整个传播过程是随机转移过程，转移矩 阵为 R = − − p p p p 1 1 因 0＜p＜1，R 是正则阵。 设初始分布为 v, 则经过 n 次传播以后，消息 处于真、假状态的概率 分布为 P (n) =VRn , n = 1,2, 模型求解 需求出 R 的不动点向量 W. 一般的 2 阶正则阵有如下形式 − − = b b a a A 1 1 ，0＜a＜1，0＜b＜1， 记 A 的不动点向量为 W=（w1, w2）,应满足 WA=W，即 − − = b b a a WA w w 1 1 ( , ) 1 2 = w1(1 － 假 真 假 真