《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

3.5t信道容量C信息传输系统的衡量指（1）数量（速度）指标：信息（传输）率R，即信道中平均每个符号传递的信息量；（2）质量指标：平均差错率P，即对信道输出符号进行译码的平均错误概率。愿望：信道传输信息时速度快、错误少，即R尽量大而P。尽量小。信息率能大到什么程度？这就是信道容量问题

信息传输系统的衡量指标： 3.5 信道容量C （1）数量（速度）指标：信息（传输）率R，即信道中平均 每个符号传递的信息量； （2）质量指标：平均差错率Pe，即对信道输出符号进行译码 的平均错误概率。 愿望：信道传输信息时速度快、错误少，即R尽量大而Pe尽 量小。 信息率能大到什么程度？这就是信道容量问题

3.5.1信道容量的定义YXDMC(a,a,.,a,)(bi,b2,",b.)噪声信息率R，就是信道的平均互信息量：R=I(X;Y)= H(X)-H(XIY)=H(Y)-H(YIX) bit/符号bit/秒信息传输速率R，：R ==I(X;Y)信道容量C：信道的最大的信息率，即C = max R = max I(X;Y) bit/符号PxPx信道容量也可以定义为信道的最大的信息速率，记为C,：C, = max R, = max}=I(X;Y) bit/秒PxPxlt

3.5.1 信道容量的定义 信息率R，就是信道的平均互信息量： R  I(X;Y)  H(X)  H(X | Y) H(Y)  H(Y | X) bit/符号 信息传输速率Rt ： ( ; ) 1 I X Y t Rt  bit/秒 信道容量C ：信道的最大的信息率，即 C max R max I(X;Y) PX PX   bit/符号 信道容量也可以定义为信道的最大的信息速率，记为Ct ：         ( ; ) 1 max max I X Y t C R X PX t P t bit/秒 X Y 噪声 DMC 1 2 { , , , } a a ar 1 2 { , , , } b b bs

关于信道容量的几点注释C = max R= max I(X;Y) bit/符号PXPX(1）信道容量C是信道信息率的上限，定量描述了信道（信息的）最大通过能力；(2)使得给定信道的I(X;Y)达到最大值(即信道容量）的输入概率分布，称为最佳输入(概率)分布，记为 Px;(3)信道的I(X;Y)与输入概率分布Px和转移概率分布Pyx两者有关，但信道容量是信道的固有参数，只与信道转移概率Pyx有关

关于信道容量的几点注释 (1) 信道容量C 是信道信息率的上限，定量描述了 信道（信息的）最大通过能力； (3) 信道的I(X;Y) 与输入概率分布PX和转移概率分 布PY|X两者有关，但信道容量是信道的固有参数， 只与信道转移概率PY|X有关。 (2) 使得给定信道的I(X;Y) 达到最大值(即信道容量) 的输入概率分布，称为最佳输入(概率)分布，记 为 PX * ； C max R max I(X;Y) PX PX   bit/符号

3.5.2离散无噪信道的信道容量无噪信道：无损信道、确定信道以及无损确定信道的统称（1）无损信道：损失摘为零的信道1/4baB0003/40[1/43/4b20001/52/52/5r=3时,[Pyx]=b31/50000012/5b4a2B22/5bs每列只有一个非零元素。转移矩阵特征：1b67Bas令 [Px]=[P P2 3].....则1/7bs-200002/73p,/4p, /4B,bs-1a,0006P2/52p2/54/7[Pxr] =2 p2/500000P3

3.5.2 离散无噪信道的信道容量 无噪信道：无损信道、确定信道以及无损确定信道的统称。 （1）无损信道：损失熵为零的信道。 14 3 4 b2 a1 b1 1 a3 2 7 4 7 bs ar bs1 17 bs2 2 5 2 5 b5 a2 b4 15 b3 b6 B1 B2 B3 B r | 1 4 3 4 0 0 0 0 [ ] 0 0 1 5 2 5 2 5 0 0 0 0 0 0 1 PY X            r = 3 时, [ ] P p p p X   1 2 3  1 1 222 3 4 3 4 0 0 0 0 [ ] 0 0 5 2 5 2 5 0 0 0 0 0 0 XY p p P p p p p            转移矩阵特征：每列只有一个非零元素。 令 则

00003p, /4p./4000P2 /52 p2 /5[Px] =2 p2 /500000P3JA22311[P,]P3P2Pipi= P2P2福5545XA0[11000000111[Pxir ] =1000001 后验概率矩阵特征：每列只有一个元素为1，其余均为0，各列后验概率均组成确定性概率分布

1 1 2 2 2 3 1 3 1 2 2 [ ] 4 4 5 5 5 P p p p p p p Y        | 1 1 0 0 0 0 [ ] 0 0 1 1 1 0 0 0 0 0 0 1 PX Y            1 1 222 3 4 3 4 0 0 0 0 [ ] 0 0 5 2 5 2 5 0 0 0 0 0 0 XY p p P p p p p            后验概率矩阵特征：每列只有一个元素为1，其余均为 0，各列后验概率均组成确定性概率分布