《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量

C(k+1) = lnZEp, Ing4exp1~(k)K+I5.如果△C(k+1)≤,转向7~(k+1)6.置迭代序号k+1=k,转向27.输出 p(k+1)和c(k+)的结果8.停止

                1 1 1 1 1 1 4. ln exp ln 5. , 7 6. 1 , 2 7. 8. k k ij ji i j k k k k k k i C p C C C C k k p C                                  如果 转向 置迭代序号 转向 输出 和 的结果 停止

·信道多多矩阵如下：[1/21/61/3[1001/31/21/6(2) [Pyix ] =(1)0101/2 1/31/6[Pyx] =001 LO01 ][0.70.20.1P(3)0.2 0.70.1(4)0070[1/ 403/40001/52/52/5[Pyx] =[10000001[o03/41/ 4(5) [Pyx ]=03/41/ 4分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。(注: log 3=1.585,log 5=2.322 , log6 =2.585)

•信道转移矩阵如下： 习题 (1) (2) (3) (4) (5) 分别判断各信道属何种信道（无损、确定、无损确定、对称、 准对称、一般），求出各信道的最佳输入分布和信道容量。 （注：log 3 1.585, , ）              1 0 1 0 0 1 0 0 0 0 0 1 [ ] PY|X            1/ 2 1/ 3 1/ 6 1/ 6 1/ 2 1/ 3 1/ 3 1/ 6 1/ 2 [ ] PY |X            1 0 0 0 2 / 5 0 0 2 / 5 0 0 1/ 5 0 0 0 3/ 4 0 0 1/ 4 [ ] PY|X log 5  2.322 log 6  2.585        0.7 0.2 0.1 0.1 0.2 0.7 [ ] PY |X            3/ 4 1/ 4 0 1/ 4 3/ 4 0 0 0 1 [ ] PY|X

3.6扩展信道及其信道容量3.6.1扩展信道的数学模型Y = YY,...YNX= X,X,..Xn离散信道Y, e B=[bi,b2..,b, ]X, E A=[a,a2,",a,Ye[βi, β2,*.- βn]Xeαi,α2,"",α,nT噪声干扰N次扩展信道的模型个把输入X(也记为XN)和输出Y(也记为YN)都分别当作一个新的随机变量一一联合随机变量，它们的取值集合分别为AN和BN：

3.6 扩展信道及其信道容量 3.6.1 扩展信道的数学模型 N次扩展信道的模型↑ 离散信道 噪声干扰 X X X X  1 2 N  1 2  1 2 , , , , , , N k r r X A a a a X           Y YY Y  1 2 N  1 2  1 2 , , , , , N k s s Y B b b b Y           ) ( N N N N X X Y Y A B 把输入 （也记为 和输出 也记为 ） 都分别当作一个新的随机变量－－ 联合随机变量，它们的取值集合分别为 和 ：

XeAN ={α1,α2,"-,α,xTah E A={ai,α2,...,a,)Qn =(ah1,ah2,*..ah )YeBn ={βi,β2,., β,vbu, E B={bi,b2,..b,)β, =(b1,bi2, **-,bin )转移概率集合为Pix =-{P(β, Iαn)]h =1,2,,rn;/ =1,2,,sN?

            1 2 1 2 1 2 1 2 1 2 1 2 X , , , , , , , , , , , , , , , , N N N r h h h hN hi r N s l l l lN lj s A a a a a A a a a Y B b b b b B b b b                   转移概率集合为 |  ( | ) | 1,2, , ; 1,2, ,  N N P P h r l s Y X     l h

(X, Pix,y)数学模型可记为：信道是DMC的充要条件：P(β, Iαn) = P(b,b2 "..bin / ahiah2 "..ahnN对于任意N均成立II P(bu I ank)k=1例3.11求BSC的2次扩展信道数学模型解：单符号BSC的输入和输出符号集分别为A=[a1,a2]; B={b1,b2]

数学模型可记为： X P Y , , Y X|  信道是DMC的充要条件： 1 2 1 2 1 ( | ) ( | ) ( | ) N l h l l lN h h hN N lk hk k P P b b b a a a P b a       对于任意 均成立。 例3.11 求BSC的2次扩展信道数学模型 解：单符号BSC的输入和输出符号集分别为： A={a1 ,a2 }；B={b1 ,b2 }