3.1信道的数学模型及分类（5）离散信道的分类一无于扰信道信道中没有干扰，输出Y与输入X之间有确定的一一对应关系1y= f(x)p(y / x)y=f(x)0yf(x)例: X:(x,=2,X,=4,X3=6);P(v;/x,)Yi=1Y2=2Y3=3p(x,)=p(x2)=1/4; p(x3)=1/2;100X1=2001X2=4Y: (yi=1,y2=2,y3=3)y=f(x;)=X;/2001X3=621/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 21/171 （5）离散信道的分类—无干扰信道 信道中没有干扰，输出Y与输入X之间有确定的一一对应 关系 例：X:{x1=2,x2=4,x3=6}; p(x1 )=p(x2 )=1/4; p(x3 )=1/2; Y: {y1=1,y2=2,y3=3} yi=f(xi )=xi /2 1 ( ) ( / ) 0 ( ) y f x p y x y f x = = y = f( x ) P(yi/xj ) y1=1 y2=2 y3=3 X1=2 1 0 0 x2=4 0 1 0 x3=6 0 0 1
3.1信道的数学模型及分类（5）离散信道的分类-有干扰无记忆信道有干扰：信道输出符号与输入符号间无确定的对应关系无记忆：任意时刻输出符号只依赖于对应时刻的输入符号：而与以前时刻的输入符号、输出符号无关，与以后的输入符号也无关。P(y Ix) = P(yiy...yn I x,x..xn)= P(y Ix)P(y, I x,)...P(yn Ix)例：X:X1=0,X2=1,X3=2);P(y/x,)Y3=2Yi=0V2=1p(x1)=p(×2)=1/4;p(x3)=1/2;01/32/3Xi=0Y:(Vi=0,Y2=1,Y3=2)k:(1, 2]02/31/3X2=1p(k=1)=1/3,p(k=2)=2/3y;=f(x;)=x;+kmod 302/31/3X3=222/171信息论与编码技术-离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 22/171 （5）离散信道的分类-有干扰无记忆信道 ◦ 有干扰：信道输出符号与输入符号间无确定的对应关系 ◦ 无记忆：任意时刻输出符号只依赖于对应时刻的输入符号， 而与以前时刻的输入符号、输出符号无关，与以后的输入 符号也无关。 ( | ) ( | ). ( | ) ( | ) ( . | . ) 1 1 2 2 1 2 1 2 N N N N P y x P y x P y x P y x P y y y x x x = = 例：X:{x1=0,x2=1,x3=2}; p(x1 )=p(x2 )=1/4; p(x3 )=1/2; Y: {y1=0,y2=1,y3=2} k:{1, 2} p(k=1)=1/3, p(k=2)=2/3 yi=f(xi )=xi+ k mod 3 P(yi/xj ) y1=0 y2=1 y3=2 X1=0 0 1/3 2/3 x2=1 2/3 0 1/3 x3=2 1/3 2/3 0
3.1信道的数学模型及分类（5）离散信道的分类--有干扰有记忆信道是更一般的信道情况处理方式：将记忆性较强的N个符号作为一个矢量符号处理，各矢量符号间认为是无记忆的马尔科夫链23/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 23/171 （5）离散信道的分类-有干扰有记忆信道 是更一般的信道情况 处理方式： 将记忆性较强的N个符号作为一个矢量符号处理，各矢量符 号间认为是无记忆的 马尔科夫链
3.2平均互信息及平均条件互信息平均互信息量，平均条件互信息24/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 24/171 平均互信息量 平均条件互信息
3.2.1平均互信息将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系（信道输入和输出之间）描述了信道的特性。(1）互信息量和条件互信息量(2)平均互信息量的定义(3)平均互信息量的物理含义25/171信息论与编码技术一离散信道及其信道容量
信息论与编码技术-离散信道及其信道容量 25/171 将信道的发送和接收端分别看成是两个“信源”，则两 者之间的统计依赖关系（信道输入和输出之间）描述了信 道的特性。 (1) 互信息量和条件互信息量 (2) 平均互信息量的定义 (3) 平均互信息量的物理含义