《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

例：求2进制删除信道(BEC)的信道容量AY1-pW0120oO2X1p001- p00p1- p2pp011- pp101- ppQ291-p[M,=2p[M, =1- pr=2解2：[N, =1-pN2 = p(pi, p2, ***, p' : (1 - p, p, 0)C= log r - H(pi, p2, ", p')- ZN, log Mk=1C=1-H(1-p,p,0)-(1-p)log(1-p)-plog2p=1-p bit/符号最佳输入分布为等概率分布：Px=(1/2,1/2)

例：求2进制删除信道(BEC)的信道容量 Q1 1 p 1 p p p 1 1 0 0 2 0 2 1 0 1 0 1 0 1 p p p p   X Y 0 1 2 0 1 0 1 0 1 p p p p   X Y 1 2 1 2 1 2 2 2 1 { , , , }:{1 , ,0} s 1 2 r s s p p p p p M p M p                    最佳输入分布为等概率分布： * {1 2,1 2} PX  Q2 解2：        n k s Nk Mk C r H p p p 1 1 2 log ( , ,, ) log             N p M p N p M p 2 2 1 1 2 1 1 C 1 H(1 p, p,0)  (1 p)log(1 p)  plog 2p 1 p bit/符号

3.5.4一般DMC信道容量解的充要条件定理(一般DMC信道容量解的充要条件)：一般DMC(X,Pyix,Y)其平均互信息量I(X;Y)在输入分布为P*={P(a),P(a,),P(d时取最大值的充要条件是I(a;Y)lpx=β: =C 当 P(a)>0 时I(a,;Y)lpx= ≤C 当 P'(a,)=0 时式中：P(b, |a,)I(X; Y)=Z P(a,)P(b, a,)logP(b)P(b, Ia,)=(a;Y)=ZP(b, Ia,)logP(b,la,)P(b,)-Z P(a,)Z P(b, la,) ogP(b,)=P(a,)I(a,; Y)

3.5.4 一般DMC信道容量解的充 要条件 定理(一般DMC信道容量解的充要条件)：一般DMC ， 其平均互信息量 在输入分布为 时 取最大值的充要条件是 | { , , } X P Y Y X I X Y ( ; ) * * * * 1 2 { ( ), ( ), , ( )} P P a P a P a X r  ( ; ) * X X i P P I a Y C   ( ; ) * X X i P P I a Y C   当 时 * ( ) 0 P ai  当 时 * ( ) 0 P ai  1 ( | ) ( ; ) ( | )log ( ) s j i i j i j j P b a I a Y P b a  P b   式中： 1 1 1 1 1 ( | ) ( ; ) ( ) ( | ) log ( ) ( ) ( ( | ) ( | ) log ( ) ) ( ; ) r s j i i j i i j j r i i s j r i i j i j j i i P b a P P b a b a I X Y P a P b a P b P a b P a I Y a P             

例：设信道转移矩阵如下，求新的容量和最佳输入分布。001801-8[Pyix ] =1081-8P(b, la,)解：I(a;Y)=P(b, a,)logCP(b,)j=l1I(a,Y) :CP(b)S1-8C = log(1 + 211-h(0)]) = log[1+ 28°(1- 8)(1-0)]CI(a,;Y)=(1-)log109P(b2)P(b,)P(b)= 2-C =81+ 28°(1-8)(-8)1-8I(a,;Y)=8logCS)logP(b,)P(b2)8°(1-8)(1-8)P(b,) = P(b,)= 2-(C+h(6) =1+28°(1)(8)P(b,)+ P(b,)+ P(b,)= 1

例：设信道转移矩阵如下，求新的容量和最佳输入分布。 | 1 0 0 [ ] 0 1 0 1 PY X                  解： 1 1 2 2 3 3 2 3 1 2 3 1 ( ; ) log ( ) 1 ( ; ) (1 )log log ( ) ( ) 1 ( ; ) log (1 )log ( ) ( ) ( ) ( ) ( ) 1 I a Y C P b I a Y C P b P b I a Y C P b P b P b P b P b                                   1 ( | ) ( ; ) ( | )log ( ) s j i i j i j j P b a I a Y P b a C  P b    2 2 [1 ( )] (1 ) 1 (1 ) (1 ) [ ( )] 2 3 (1 ) log(1 2 ) log[1 2 (1 ) ] 1 ( ) 2 1 2 (1 ) (1 ) ( ) ( ) 2 1 2 (1 ) h C C h C P b P b P b                                         

001081-8[Pyx ] =Lo81-8Pt=(P*(a), P*(a2), P*(a))设最佳输入分布为P(b)= P*(a)则P(b2) =(1-8)P*(a2)+SP(as)P(b,) = 8P*(a2)+(1-8)P*(as)P (a)= I+28°(1- )-)8 (1-8)(1-8)P(α2)= P(a,)=1+ 28°(1 8)(-8)

* * * * 1 2 3 { ( ), ( ), ( )} 设最佳输入分布为 P P a P a P a X  * 1 1 * * 2 2 3 * * 3 2 3 ( ) ( ) ( ) (1 ) ( ) ( ) ( ) ( ) (1 ) ( ) P b P a P b P a P a P b P a P a                 * 1 (1 ) (1 ) * * 2 3 (1 ) 1 ( ) 1 2 (1 ) (1 ) ( ) ( ) 1 2 (1 ) P a P a P a                               | 1 0 0 [ ] 0 1 0 1 PY X                  则

3.5.5信道容量的选代算法算法：1.初始化信源分布p(=(pr,P2,P,，P,一般初始化为均匀分布），置迭代计数器k=0.设信道容8,8>0量相对误差门限为VPiil(kZp,p()Ep, Inphexp1(k+1)3pTZexpZp,lnola

算法： 1.初始化信源分布 （一般初始 化为均匀分布），置迭代计数器k=0,设信道容 量相对误差门限为 ；     0 1 2 , , , , , i r p p p p p   , 0              1 2. exp ln 3. exp ln k k ij i ji k ij i i k ij ji k j i k ij ji i j p p p p p p p                                 3.5.5 信道容量的迭代算法