3.2.1平均互信息 (1)互信息量和条件互信息量 ①互信息量 信源X 有扰信道 信宿Y 〉互信息量定义 0最简单的通信系统模型: 干扰源 0X信源发出的离散消息集合 Y一信宿收到的离散消息集合 图213简单通信系统模型 信源通过有干扰的信道发出消息传递给信宿; 0信宿事先不知道某一时刻发出的是哪一个消息,所以每个 消息是随机事件的一个结果 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 26/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 26/171 信源X 有扰信道 信宿Y 干扰源 图2.1.3 简单通信系统模型 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 最简单的通信系统模型： ◦ X—信源发出的离散消息集合 Y—信宿收到的离散消息集合 ◦ 信源通过有干扰的信道发出消息传递给信宿； ◦ 信宿事先不知道某一时刻发出的是哪一个消息，所以每个 消息是随机事件的一个结果
3.2.1平均互信息 (1)互信息量和条件互信息量 ①互信息量 互信息量定义: 2 0信源X、信宿Y的数学模型为: X 19 x, 图324a具有归并性能的无噪信道举例 P(X)(x1,p(x),…,p(x)…,p(xn)例: Randomnumber;rx 34567 0≤p(x)s1,∑以(x) p(x)=1/5i=0,1234 y1∈{012j=0,12 Y y1,y2 y PY)」p(n),p(y2),…,p(y…,p(Jm yimod3-=x, mod 3 0sp()s,∑p)=1 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 27/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 27/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 信源 X、信宿Y 的数学模型为： = = = n i i i i n i n p x p x p x p x p x p x x x x x P X X 1 1 2 1 2 0 ( ) 1, ( ) 1 ( ), ( ), , ( ), , ( ) , , , , ( ) ， = = = m j j j j m j m p y p y p y p y p y p y y y y y P Y Y 1 1 2 1 2 0 ( ) 1, ( ) 1 ( ), ( ), ( ), ( ) , , , ( ) ， ， ， ， 图3.2.4a 具有归并性能的无噪信道举例 A x1 y1 x3 y3 x2 y2 x4 x5 例：Random number: xi∊R {3,4,5,6,7}, p(xi )=1/5, i=0,1,2,3,4; yj∊{0,1,2} , j=0,1,2; yi mod 3=xi mod 3
3.2.1平均互信息 (1)互信息量和条件互信息量x ①互信息量 〉互信息量定义: y2 0先验概率:信源发出消息x;的x 概率p(x;)。 y3 后验概率:信宿收到y后推测 图324a具有归并性能的无噪信道举例 信源发出x;的概率: P(x;/y;) 例: Randomnumber:x∈a{34567 p(x)=1/5,i=0,123 y∈012j=012 yimod3=X, mod3 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 28/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 28/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 先验概率：信源发出消息xi 的 概率 p(xi )。 ◦ 后验概率：信宿收到yj后推测 信源发出xi 的概率： p(xi / yj ) 图3.2.4a 具有归并性能的无噪信道举例 A x1 y1 x3 y3 x2 y2 x4 x5 例：Random number: xi∊R {3,4,5,6,7}, p(xi )=1/5, i=0,1,2,3,4; yj∊{0,1,2} , j=0,1,2; yi mod 3=xi mod 3
3.2.1平均互信息 (1)互信息量和条件互信息量 ①互信息量 互信息量定义 0互信息量:y对x的互信息量定义为后验概率与先验概率 比值的对数。 P(x1/y;) I(xiyi)=log2 i,J g log2 P(xi) P(x;/y;) 1(x)-1(xi/Vi) (xy;)=(x;)+(yx) &/e ash mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 29/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 29/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 互信息量：yj对 xi 的互信息量定义为后验概率与先验概率 比值的对数。 I( x ) I( x / y ) p( x / y ) 1 log p( x ) 1 log (i 1,2, ,n; j 1,2, ,m ) p( x ) p( x / y ) I( x ; y ) log i i j i j 2 i 2 i i j i j 2 = − = − = = = ( ) ( ) ( / ) i j i j xi I x y = I x + I y
3.2.1平均互信息 (1)互信息量和条件互信息量 ①互信息量 举例 0某地二月份天气构成的信源为: X]∫x(晴)x2(阴x3(雨,x4(雪 P(X) 8 收到消息n1:“今天不是晴天 收到y1后:p(x1/y1=0,p(x21)=1/2, p(x3/)=1/4,p(x41=1/4 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 30/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 30/171 (1) 互信息量和条件互信息量 ① 互信息量 举例 ◦ 某地二月份天气构成的信源为： ◦ 收到消息y1：“今天不是晴天” ◦ 收到 y1 后：p(x1 /y1 )=0， p(x2 /y1 )=1/2， p(x3 /y1 )=1/4，p(x4 /y1 )=1/4 = 8 1 8 1 4 1 2 1 1 2 3 4 ( ) ( ) ( ) ( ) ( ) ， ， ， x 晴 ， x 阴 ， x 雨 ， x 雪 P X X