《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

后验概率矩阵特征：每列只有一000011个元素为1，其余均为0，各列后001011[Pxly ] =00000验概率均组成确定性概率分布。1nH(XIY =b,) = H[P(a Ib,),P(a2 Ib,),..-, P(a, Ib,)]=0 ; j=1,2,"",S损失熵： H(XIY)=ZP(b,)H(XIY=b,)=0j=1无损信道C = max I(X; Y) = max(H(X)- H(X IY)) = max H(X)PxPxPx的信道容量：C = H(X) lp(a,)=1/r= log r

| 1 1 0 0 0 0 [ ] 0 0 1 1 1 0 0 0 0 0 0 1 PX Y            后验概率矩阵特征：每列只有一 个元素为1，其余均为0，各列后 验概率均组成确定性概率分布。 1 2 ( | ) [ ( | ), ( | ), , ( | )] 0 ; 1,2, , H X Y b H P a b P a b P a b j s     j j j r j 损失熵： 1 ( | ) ( ) 0 ( | ) s j j X Y H X j H P b Y b      无损信道 的信道容 量： C max I(X;Y) max{H(X ) H(X |Y)} max H(X ) PX PX PX     C H X r P a r i  ( ) | ( )1/  log

（2）确定信道：噪声腐为0的信道[101qh0当s=2时，1a201[Pyix ] =1a.01b.a4ALO11asH(YIX)= 0....1I(X;Y)=H(Y)-H(YIX) = H(Y)AabC = max I(X;Y) = max H(Y)1RPxPx至少能够找到一种输入分布使输出的取值符号达到等概率分布，甚至有多个或无穷多个输入分布满足条件。C = max I(X;Y) = max H(Y) = H(Y)=logsP(b,)=1/sPxPx

(2)确定信道：噪声熵为0的信道 b2 1 b1 a a5 a2 a4 ar1 ar ar2 bs A1 A2 A s a3 1 1 1 1 1 1 1 1 H(Y | X )  0 max ( ; ) max ( ) P P X X C I X Y H Y   I(X;Y)  H(Y)  H(Y | X)  H(Y) 当s=2时，                  1 1 1 0 0 0 0 0 1 1 [ ] PY|X 至少能够找到一种输入分布使输出的取值符号达到等概率分 布，甚至有多个或无穷多个输入分布满足条件。 max ( ; ) max ( ) ( ) log ( ) 1 j X X P b s P P C I X Y H Y H Y s     

3）无损确定信道：损失摘和噪声摘均为0的信道0bai转移概率矩阵[Pyix ] =h为单位阵：00则令[Px]=[P]bpr11P2...a,H(YIX)=0[Pxy]=[PxyH(X |Y)=0PrI(X;Y)=H(X)=H(Y)p,][P,]=[P]P2C = max I(X;Y) = max H(X) = H(XlogrP(a,)=1/rPxPx

(3)无损确定信道：损失熵和噪声熵均为0的信道 2 b 1 b 1 a 1 s b r a 2 a 1 1 | 1 0 0 0 1 0 [ ] 0 0 1 PY X              转移概率矩阵 为单位阵： 1 2 0 0 0 0 [ ] 0 0 XY r p p P p                [ ] P p p p Y r   1 2  | 1 0 0 0 1 0 [ ] 0 0 1 PX Y              [ ] P p p p X r   1 2  ( | ) 0 ( | ) 0 H Y X H X Y   I X Y H X H Y ( ; ) ( ) ( )   max ( ; ) max ( ) ( ) log ( ) 1 i X X P a r P P C I X Y H X H X r      令 则

3.5.3离散对称信道（1）几种对称信道的定义定义l：信道rXs转移矩阵[Pyx]每一行s个元素，都由同一组元素(pi,p2,,的不同排列组成，则称为行排列阵，此类信道称为离散输入对称信道0.10.30.20.4例：[Pyix]=0.10.20.30.4

3.5.3 离散对称信道 （1）几种对称信道的定义 定义1：信道r×s转移矩阵[PY|X]每一行s个元素，都由同一组 元素 的不同排列组成，则称为行排列阵，此类 信道称为离散输入对称信道。 1 2 { , , , }s p p p    | 0.1 0.2 0.3 0.4 [ ] 0.2 0.3 0.4 0.1 PY X        例：

[0.10.20.40.3例：[Pyjx]=0.30.10.20.4i=1,2,..,rH(Y Ia,)= H(p",p2,..", p')H(Y|X) =ZP(a,)H(Y|a,)= H(Y |a,)P(a,) = H(pi, P2, *, P)i=1i=lC = max I(X;Y)Px将平均互信息量的最大值= max(H(Y)- H(Y I X))Px问题转换成输出摘的最大= max(H(Y)) -H(p", p2,..", p')值问题。Px

| 0.1 0.2 0.3 0.4 [ ] 0.2 0.3 0.4 0.1 PY X        例： 1 2 ( | ) ( , , , ) 1,2, , H Y a H p p p i r i s      1 2 1 1 ( | ) ( ) ( | ) ( | ) ( ) ( , , , ) r r i i i i s i i H Y X P a H Y a H Y a P a H p p p         1 2 max ( ; ) max{ ( ) ( | )} max{ ( )} ( , , , ) X X X P P s P C I X Y H Y H Y X H Y H p p p         将平均互信息量的最大值 问题转换成输出熵的最大 值问题