《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

例2：r进制均匀信道的信道容量1-p00ppppr-1r-1r-11pppp2r-1r-1r-1[Pyix ] =...:.:-1pppp1-pr-1r-1r-1p/(r-1)p+p=1r=2时，退化成为BSC。均匀信道的转移矩阵是一个对称方阵，也是行列排列阵因此是对称信道

例2：r进制均匀信道的信道容量 p r( 1)  1 p 1 p 1 1 0 0 2 2 r 1 r 1 | 1 1 1 [ ] 1 1 1 111 Y X p p p p r r r p p p p P r r r ppp p rrr                               均匀信道的转移矩阵是一个对称方阵，也是行列排列阵， 因此是对称信道。 p p  1 r=2时，退化成为BSC

ppp均匀信道的转移矩阵是一个r-1-r-lppp对称方阵，也是行列排列阵，因pr_1r-1[Pyix ] =r-1此是对称信道。由定理可知，其:::最佳输入分布为等概率分布：ppppr-1-1-1p*(a,)=1/ri=12,...,r信道容量：C=logs-H(p",p2,,p')p0= logr - H(p,r-1pbit/符号= logr + plog+(1- p) log(1- p)r-1r=2时, BSC的信道容量： CBsc =1+plog(p)+(1-p)log(1-p) =1-h(p)bit/符号

| 1 1 1 [ ] 1 1 1 111 Y X p p p p r r r p p p p P r r r ppp p rrr                               均匀信道的转移矩阵是一个 对称方阵，也是行列排列阵，因 此是对称信道。由定理可知，其 最佳输入分布为等概率分布： * ( ) 1 1,2, , P a r i r i   1 2 log ( , , , ) C s H p p ps 信道容量：      log log (1 )log(1 ) 1 p r p p p r       bit/符号 r=2时，BSC 的信道容量： 2 1 log( ) (1 )log(1 ) 1 ( ) C p p p p h p BSC        log ( , , , ) 1 1 p p r H p r r     bit/符号

（3）离散准对称信道的信道容量定理（准对称DMC的信道容量）：对于准对称DMC，当输入等概时达到信道容量。如果把准对称DMC的[Pyx]分块成n个行列排列子阵(Q1,Qn}，再根据以上定理，可得准对称DMC的信道容量计算公式：MkMkC=-Z-H(pi, p2,..., ps)logSk=1其中，r：转移矩阵[Pxx]的行数;Sk：子阵Q,的列数；Mk：子阵Q,的任一列元素之和；(p,p2p：转移矩阵[Pyxl任一行元素

（3）离散准对称信道的信道容量 定理（准对称DMC的信道容量）：对于准对称DMC，当输入 等概时达到信道容量。 如果把准对称DMC的[PY|X]分块成 n 个行列排列子阵{Q1 , .,Qn }，再根据以上定理，可得准对称DMC的信道容量计算 公式： 1 2 1 log ( , , , ) n k k k s k M M C s H p p p  r r                    r ：转移矩阵[PY|X]的行数； sk：子阵Qk的列数； Mk：子阵Qk的任一列元素之和； ：转移矩阵[PY|X { , , , } p p p 1 2    s ]任一行元素。 其中

MkM1C=- H(p",p*, **, P))109Sk=1C= log r - H(pi, p2, *, p')-ZN, log Mk或k=l其中，r：转移矩阵[Pyx]的行数;Sk：子阵Q,的列数；Mk：子阵Q,的任一列元素之和;；Nk：子阵Q,的任一行元素之和;(p",p2,",p'}：转移矩阵[Pyx]任一行元素

1 2 1 log ( , , , ) n k k k s k M M C s H p p p  r r                    Nk：子阵Qk的任一行元素之和；        r k H p p ps Nk Mk C r 1 1 2 或 log ( , ,, ) log r ：转移矩阵[PY|X]的行数； sk：子阵Qk的列数； Mk：子阵Qk的任一列元素之和； ：转移矩阵[PY|X { , , , } p p p 1 2    s ]任一行元素。 其中

例：求2进制删除信道(BEC)的信道容量LY1-pW0120oO2X1p001- p00p1-p2pp011- pp101- ppQ291-p[s, =1r=2[s, = 2解1：M, =2p(p",p2,, p: (1 -p, p, 0)[M, =1-pMMkC=-Z- H(pi,p2, **, p')logSk=2p(2P log)(号)-1x(-H(1-p,p,0)=1-p bit/符号l1ogP2最佳输入分布为等概率分布：P*=(1/2,1/2)

例：求2进制删除信道(BEC)的信道容量 Q1 1 p 1 p p p 1 1 0 0 2 0 2 1 0 1 0 1 0 1 p p p p   X Y 0 1 2 0 1 0 1 0 1 p p p p   X Y 1 2 1 2 1 2 2 2 1 { , , , }:{1 , ,0} s 1 2 r s s p p p p p M p M p                    1 1 2 2 2 log 1 log (1 , ,0) 1 2 2 2 2 p p p p C H p p p                                    1 2 1 log ( , , , ) n k k k s k M M C s H p p p  r r                    bit/符号 最佳输入分布为等概率分布： * {1 2,1 2} PX  Q2 解1：