3.2.1平均互信息(1)互信息量和条件互信息量互信息量1互信息的性质条件互信息量126/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 26/171 (1) 互信息量和条件互信息量 ① 互信息量 ② 互信息的性质 ③ 条件互信息量
3.2.1平均互信息(1)互信息量和条件互信息量①互信息量信宿Y信源X有扰信道互信息量定义：最简单的通信系统模型：干扰源X一信源发出的离散消息集合图2.1.3简单通信系统模型Y一信宿收到的离散消息集合信源通过有干扰的信道发出消息传递给信宿：信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果。27/171信息论与编码技术-离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 27/171 信源X 有扰信道 信宿Y 干扰源 图2.1.3 简单通信系统模型 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 最简单的通信系统模型： ◦ X—信源发出的离散消息集合 Y—信宿收到的离散消息集合 ◦ 信源通过有干扰的信道发出消息传递给信宿； ◦ 信宿事先不知道某一时刻发出的是哪一个消息，所以每个 消息是随机事件的一个结果
3.2.1平均互信息Xi(1)互信息量和条件互信息量Y1X2①互信息量X3y2互信息量定义：X4信源X、信宿Y的数学模型为：Xsy3XXi,X2,...,XnXi图3.2.4a具有归并性能的无噪信道举例P(X))(p(x),p(x,), ...,p(x,),..., p(x)例：Randomnumber:x,ER[3,4,5,6,7],px)=10 ≤ p(x,)≤1,p(x)=1/5, i=0,1,2,3,4;i=ly;E[0,1,2},j=0,1,2;YYr,Y2,ymYi....)..[P(Y)]-[p(yi), p(y2), .. p(y,), ., p(ym)]Yimod3=X; mod32p0)-10 ≤ p(y,)≤1,j-128/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 28/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 信源 X、信宿Y 的数学模型为： = = = n i i i i n i n p x p x p x p x p x p x x x x x P X X 1 1 2 1 2 0 ( ) 1, ( ) 1 ( ), ( ), , ( ), , ( ) , , , , ( ) ， = = = m j j j j m j m p y p y p y p y p y p y y y y y P Y Y 1 1 2 1 2 0 ( ) 1, ( ) 1 ( ), ( ), ( ), ( ) , , , ( ) ， ， ， ， 图3.2.4a 具有归并性能的无噪信道举例 A x1 y1 x3 y3 x2 y2 x4 x5 例：Random number: xi∊R {3,4,5,6,7}, p(xi )=1/5, i=0,1,2,3,4; yj∊{0,1,2} , j=0,1,2; yi mod 3=xi mod 3
3.2.1平均互信息(1)互信息量和条件互信息量Xiyi①互信息量X2X3互信息量定义：y2X4先验概率：信源发出消息x;的概率p(x;)。Xsy3后验概率：信宿收到y；后推测图3.2.4a具有归并性能的无噪信道举例信源发出x，的概率：例：Randomnumber:x,Er{3,4,5,6,7),p(x;/ y,)p(x)=1/5,i=0,1,2,3,4;y;={0,1,2},j=0,1,2;Yimod3=X; mod329/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 29/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 先验概率：信源发出消息xi 的 概率 p(xi )。 ◦ 后验概率：信宿收到yj后推测 信源发出xi 的概率： p(xi / yj ) 图3.2.4a 具有归并性能的无噪信道举例 A x1 y1 x3 y3 x2 y2 x4 x5 例：Random number: xi∊R {3,4,5,6,7}, p(xi )=1/5, i=0,1,2,3,4; yj∊{0,1,2} , j=0,1,2; yi mod 3=xi mod 3
3.2.1平均互信息(1)互信息量和条件互信息量①互信息量互信息量定义：互信息量：y,对x,的互信息量定义为后验概率与先验概率比值的对数。p(x; / yj)I(x;y;)= log2(i= l,2,...,n; j = 1,2,...,m)p(x;)11log2=log2p(x;)p(x; / y;)= I(x;)- I(x; / yj)I(x,j,) = I(x,)+ I(y, / x,)30/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 30/171 (1) 互信息量和条件互信息量 ① 互信息量 互信息量定义： ◦ 互信息量：yj对 xi 的互信息量定义为后验概率与先验概率 比值的对数。 I( x ) I( x / y ) p( x / y ) 1 log p( x ) 1 log (i 1,2, ,n; j 1,2, ,m ) p( x ) p( x / y ) I( x ; y ) log i i j i j 2 i 2 i i j i j 2 = − = − = = = ( ) ( ) ( / ) i j i j xi I x y = I x + I y