《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

定义2：信道r×s转移矩阵[Pyx]每一列r个元素，都由同一组元素{9,92,,9'的不同排列组成，则称为列排列阵，此类信道称为离散输出对称信道[0.40.6例:[Pyx] =0.60.40.50.5定义3：若信道转移矩阵[Pylx]既是行排列阵又是列排列阵，则称为行列排列阵，此类信道称为离散对称信道1111例:3663[Pyx ] =111163.3.6

定义2：信道r×s转移矩阵[PY|X]每一列r个元素，都由同一组 元素 的不同排列组成，则称为列排列阵，此 类信道称为离散输出对称信道。 1 2 { , , , }r q q q    | 1111 3 3 6 6 [ ] 1111 6 6 3 3 PY X              | 0.4 0.6 [ ] 0.6 0.4 0.5 0.5 PY X            定义3：若信道转移矩阵[PY|X]既是行排列阵又是列排列阵， 则称为行列排列阵，此类信道称为离散对称信道。 例： 例：

定义4：若信道转移矩阵[Pylx]的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道称为离散准对称信道1111例:3663[Pyx] 11113366

定义4：若信道转移矩阵[PY|X]的列可被划分成若干个互不相 交的子集，且每个子集所组成的子阵是行列排列阵，则称此 类信道称为离散准对称信道。 例：              6 1 6 1 3 1 6 1 6 1 3 1 3 1 3 1 [ ] PY |X

要判断一个信道是否为离散准对称信道，必须对该信道的转移矩阵进行适当的调整，即按列重排再按列分块：对转移矩阵调整的过程，就是定义中所说的将转移矩阵的列划分成子集再组成子阵的过程：，转移矩阵的列与输出符号对应，把列划分成互不相交的子集，相当于把信道的输出符号划分成互不相交的子集。BEC的转移矩阵的重排和分块过科1-P00p2p1-P

1 p 1 p p p 1 1 0 0 2 0 2 1 0 1 0 1 0 1 p p p p   X Y 0 1 2 0 1 0 1 0 1 p p p p   X Y BEC的转移矩阵的重排和分块过程 • 要判断一个信道是否为离散准对称信道，必须对该信道的 转移矩阵进行适当的调整，即按列重排再按列分块； • 对转移矩阵调整的过程，就是定义中所说的将转移矩阵的 列划分成子集再组成子阵的过程； • 转移矩阵的列与输出符号对应，把列划分成互不相交的子 集，相当于把信道的输出符号划分成互不相交的子集

（2）离散对称信道的信道容量引理：离散对称信道输入等概率分布时，输出也等概率分布。定理（对称DMC的信道容量）：对于对称DMC，当输入等概时达到信道容量，且C= logs-H(p", p2, ,p')bit/符号其中，S：信道输出符号个数或转移矩阵的列数。(pi,P2,P'）：转移矩阵任一行的s个转移概率

（2）离散对称信道的信道容量 引理：离散对称信道输入等概率分布时，输出也等概率分布。 定理（对称DMC的信道容量）：对于对称DMC，当输入等概 时达到信道容量，且 1 2 log ( , , , ) C s H p p ps      ：信道输出符号个数或转移矩阵的列数。 ：转移矩阵任一行的s个转移概率。 s 1 2 { , , , }s p p p    bit/符号 其中

11116例1：363P11113]L663解: C=max(H(Y))-H(pi, p2,..", p')Px引理C= log s- H(pi, p2, ", ps)C = log 4 - H(VD1 1P22

max{ ( )} ( , , , ) 1 2 X s P C H Y H p p p      1 2 log ( , , , ) C s H p p ps      引理 | 1111 3 3 6 6 [ ] 1111 6 6 3 3 PY X              例1： 解：          2 1 2 1 [ ] ) 6 1 , 6 1 , 3 1 , 3 1 log 4 ( * PX C H