3.1信道的数学模型及分类 (5)离散信道的分类有干扰无记忆信道 0有干扰:信道输出符号与输入符号间无确定的对应关系 0无记忆:任意时刻输出符号只依赖于对应时刻的输入符号, 而与以前时刻的输入符号、输出符号无关,与以后的输入 符号也无关。 P(y|x)=P(yy2…yx1x2…x) =P(y|x1)P(y2|x2)…P(y|x) 例:x:{x1=0,x2=1,x3=2} Ply y1=0y2=1 2 p(x=p(x2)=1/4;p(x3)=1/2 Y:{y1=0,y2=1y3=2} 0 0 1/32/3 k:{1,2 soaP(k=1)=1/3,p(k=22/39 2/3 1/3 yi=f(xi =x+ k mod 3 2 /32/3 0 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 21/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 21/171 （5）离散信道的分类--有干扰无记忆信道 ◦ 有干扰：信道输出符号与输入符号间无确定的对应关系 ◦ 无记忆：任意时刻输出符号只依赖于对应时刻的输入符号， 而与以前时刻的输入符号、输出符号无关，与以后的输入 符号也无关。 ( | ) ( | )... ( | ) ( | ) ( ... | ... ) 1 1 2 2 1 2 1 2 N N N N P y x P y x P y x P y x P y y y x x x = = 例：X:{x1=0,x2=1,x3=2}; p(x1 )=p(x2 )=1/4; p(x3 )=1/2; Y: {y1=0,y2=1,y3=2} k:{1, 2} p(k=1)=1/3, p(k=2)=2/3 yi=f(xi )=xi+ k mod 3 P(yi/xj ) y1=0 y2=1 y3=2 X1=0 0 1/3 2/3 x2=1 2/3 0 1/3 x3=2 1/3 2/3 0
3.1信道的数学模型及分类 (5)离散信道的分类有干扰有记忆信道 是更一般的信道情况 处理方式: 将记忆性较强的N个符号作为一个矢量符号处理,各矢量符 号间认为是无记忆的 马尔科夫链 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 22/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 22/171 （5）离散信道的分类--有干扰有记忆信道 是更一般的信道情况 处理方式： 将记忆性较强的N个符号作为一个矢量符号处理，各矢量符 号间认为是无记忆的 马尔科夫链
32平均互信息及平均条件互信稳 平均互信息量 平均条件互信息 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 23/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 23/171 平均互信息量 平均条件互信息
3.2.1平均互信息 豪将信道的发送和接收端分别看成是两个“信源”,则两 者之间的统计依赖关系(信道输入和输出之间)描述了信 道的特性。 (1)互信息量和条件互信息量 (2)平均互信息量的定义 (3)平均互信息量的物理含义 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 24/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 24/171 将信道的发送和接收端分别看成是两个“信源”，则两 者之间的统计依赖关系（信道输入和输出之间）描述了信 道的特性。 (1) 互信息量和条件互信息量 (2) 平均互信息量的定义 (3) 平均互信息量的物理含义
3.2.1平均互信息 (1)互信息量和条件互信息量 ①互信息量 ②互信息的性质 ③条件互信息量 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 25/171
mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 25/171 (1) 互信息量和条件互信息量 ① 互信息量 ② 互信息的性质 ③ 条件互信息量