第3章信道模型和信道容量3.1基本要求通过本章学习，了解信道的模型和分类，掌握信道容量的定义、无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算、一般离散无记忆信道（DMC）达到信道容量的充要条件，掌握DMC扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。3.2学习要点3.2.1信道的分类信道是信息传输的通道。研究信道的自的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。（1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类如表3.1所示。表3.1信道的分类时间离散、幅值离散信道简称离散信道（discretechannel）或数字信道（digitalchannel）时间离散信道时间离散、幅值连续信道信道简称连续信道（continuouschannel）时间连续、幅值离散信道时间连续信道时间连续、幅值连续信道简称波形信道（waveformchannel）或模拟信道（analogchannel）（2）根据信道的记忆特性划分，可分为2类：无记忆信道：信道当前的输出只与当前的输入有关有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。（3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类：无噪声信道：信道的输入/输出关系是确定关系。有噪声信道：信道的输入/输出关系是统计依存关系。3.2.2信道的数学模型3.2.2.1离散无记忆信道（DMC）的数学模型离散无记忆信道（DMC）的数学模型如图3.1所示，记为（X，Pnx，Y）。70
70 第 3 章 信道模型和信道容量 3.1 基本要求 通过本章学习，了解信道的模型和分类，掌握信道容量的定义、无噪信道、对称信道的 信道容量的计算，了解准对称信道信道容量的计算、一般离散无记忆信道（DMC）达到信 道容量的充要条件，掌握 DMC 扩展信道的信道容量计算，了解加性高斯噪声信道的信道容 量的结论，掌握香农信道容量公式。 3.2 学习要点 3.2.1 信道的分类 信道是信息传输的通道。研究信道的目的，主要是为了描述和分析各种不同类型信道的 特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。 （1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为 4 类, 如表 3.1 所示。 表 3.1 信道的分类 信道 时间离散信道 时间离散、幅值离散信道 简称离散信道（discrete channel）或数字信道（digital channel） 时间离散、幅值连续信道 简称连续信道（continuous channel） 时间连续信道 时间连续、幅值离散信道 时间连续、幅值连续信道 简称波形信道（waveform channel）或模拟信道（analog channel） （2）根据信道的记忆特性划分，可分为 2 类： 无记忆信道：信道当前的输出只与当前的输入有关。 有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。 （3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为 2 类： 无噪声信道：信道的输入/输出关系是确定关系。 有噪声信道：信道的输入/输出关系是统计依存关系。 3.2.2 信道的数学模型 3.2.2.1 离散无记忆信道（DMC）的数学模型 离散无记忆信道（DMC）的数学模型如图 3.1 所示，记为 | { , ,} X P Y Y X
PrixXLDMC(a,a2.,a,)(b,b2,,b.)噪声干扰图3.1离散无记忆信道（DMC）模型信道的输入X取值于集合A={a,az,,a,），输出Y取值于集合B=(b,b2,b}。(3.1)Pyx ={P(b, la,)[i=1,2,..,r, j=1,2,..,s)为分析计算方便，常常把所有转移概率排成矩阵：bib,bs.[P(b,la) P(b,la)... P(b,la)a(3.2)P(b la,) P(b,la,) ....P(b, a,)a[Pyx ] -...:.....P(bla,)P(b,la,).. P(b,la,)Ja,转移矩阵中各行s个转移概率自身是完备的：2P(b, la) -1, -1,..,(3.3)j=l3.2.2.2扩展信道的数学模型图3.2所示的是N次扩展信道的模型，其输入和输出均为N元随机变量序列。输入为X=X,X,…X，各X,均取值于输入符号集合A={a,2a,）；输出为=YY...Yw，各Y,均取值于输出符号集合B={b,b2,b}。X、Y的取值集合分别为AN和BN，AN或BN中一个符号就是取值于A或B的N元符号串：X:AN=(α,α2,*",a,)an=(anam"an),anam,,anA=(a,a2,,a,)Y:BN=(β,Ba,βw)B, =(b,b,...b,),b,b,,,bi,eB=(b,b2,.,b,)N次扩展信道的转移概率集合为Pr ={P(β,lα,)|h=1,2,.-,rN;1=1,2,..,sN)(3.4)N次扩展信道的数学模型可记为(X,Pn,Y)。71
71 信道的输入 X 取值于集合 1 2 {, , , } A aa a r ，输出Y 取值于集合 1 2 {, , , } B s bb b 。 | { ( | ) | 1,2, , ; 1,2, , } P Pb a i r j s YX j i （3.1） 为分析计算方便，常常把所有转移概率排成矩阵： 1 2 11 21 1 1 12 22 2 2 | 1 2 (|) (|) (|) (| ) (| ) (| ) [ ] (| ) (| ) (| ) s s s Y X r r sr r bb b Pb a Pb a Pb a a Pb a Pb a Pb a a P Pb a Pb a Pb a a （3.2） 转移矩阵中各行 s 个转移概率自身是完备的： 1 ( | ) 1 , 1, 2, , s j i j Pb a i r （3.3） 3.2.2.2 扩展信道的数学模型 图 3.2 所示的是 N 次扩展信道的模型，其输入和输出均为 N 元随机变量序列。 输入为 X XX X 1 2 N ，各 Xk 均取值于输入符号集合 1 2 {, , , } A aa a r ；输出为 Y YY Y 1 2 N ，各Yk 均取值于输出符号集合 1 2 {, , , } B s bb b 。 X 、Y 的取值集合分别为 N A 和 N B ， N A 或 N B 中一个符号就是取值于 A 或 B 的 N 元 符号串： 12 1 2 12 1 2 1 2 1 2 1 2 1 2 : {, , , } ( ); , , , { , , , } : {, , , } ( ); , , , { , , , } N N N N N N N r h hh h h h h r N s l ll l l l l s X A aa a a a a A a a a Y B bb b b b b B b b b N 次扩展信道的转移概率集合为 | { ( | ) | 1,2, , ; 1,2, , } N N P P h rl s Y X l h （3.4） N 次扩展信道的数学模型可记为 | {, ,} X P Y Y X 。 图 3.1 离散无记忆信道（DMC）模型 X Y 噪声干扰 DMC 1 2 {, , , }r aa a 1 2 {, , , }s bb b PY X|
P(β,Iar)X=X,X,-XY--Y,Y...YN离散信道X [a,a2,",a,]Y,[b,b?,.,b,]X [a,a,,a,]Y:[B,β,,β,]噪声干扰图3.2离散信道模型信道是DMC的充要条件是P(β,lα,)= P(b,b, .b, anam .aw)=IP(b, lan)(3.5)kml3.2.2.3连续信道的数学模型最基本的连续信道是单维连续信道，它的输入X、输出Y以及噪声Z都是取值于整个实域R的一维连续型随机变量，其模型如图3.3所示。Jrr(y/x)XY连续信道RRIZ图3.3单维连续信道模型连续信道的统计特性由转移概率密度函数fylx(lx)描述，满足如下约束条件：[ Jrux(y/x)dy=1(3.6)R单维连续信道的数学模型记为(X,fryix(y|x),Y)。如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。多维连续信道的输入和输出分别为多维随机变量序列X和Y，转移概率密度函数为()。多维连续信道的数学模型记为(,J(x),)。假设连续信道的N维输入为X=X,X,X，N维输出为Y=YY,·Y，若转移概率密度函数满足72
72 信道是 DMC 的充要条件是 12 1 2 1 (|) ( | ) (| ) N N kk N l h ll l h h h l h k P Pbb b a a a Pb a （3.5） 3.2.2.3 连续信道的数学模型 最基本的连续信道是单维连续信道，它的输入 X 、输出Y 以及噪声 Z 都是取值于整个 实域 R 的一维连续型随机变量，其模型如图 3.3 所示。 图 3.3 单维连续信道模型 连续信道的统计特性由转移概率密度函数 | (|) Y X f y x 描述，满足如下约束条件： | (|) 1 Y X R f y x dy （3.6） 单维连续信道的数学模型记为 | { , ( | ), } X Y X f yxY 。 如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。 多维连续信道的输入和输出分别为多维随机变量序列 X 和 Y ，转移概率密度函数为 | (|) Y X f y x 。多维连续信道的数学模型记为 | { , ( | ), } X Y X f yxY 。 假设连续信道的 N 维输入为 X XX X 1 2 N ， N 维输出为Y YY Y 1 2 N ，若转移概 率密度函数满足 图 3.2 离散信道模型 X Y 连续信道 R | (|) Y X f y x R Z X XX X 1 2 N Y YY Y 1 2 N 噪声干扰 离散信道 1 2 :[ , , , ] Xk r aa a 1 2 :[ , , , ] Y bb b k s 1 2 :[ , , , ] Nr X 1 2 :[ , , , ] Ns Y (|) P l h
Jnr()= Jm(2 /xx)=x (/x)(3.7)k=l则称此信道为连续无记忆信道。3.2.3信道的疑义度、散布度和平均互信息3.2.3.1信道的平均互信息对于DMC，从输出Y中所获得的关于输入X的平均信息量，就是信道的平均互信息量I(X;Y)，I(X;Y)与各类摘之间的关系为：I(X;Y)= H(X)- H(X |Y)(3.8)= H(Y)- H(YIX)I(X;Y)的概率表达式如下：P(b, la,)I(X;Y) =ZZP(a,)P(b, la,)log(3.9)i=l j=lZ P(a,)P(b, la,)于是，I(X;Y)就成了信道输入随机变量X的概率矢量Px=(P(a,)),和信道转移概率矢量Pyix=(P(b,la,))i,的函数，可以记为I(PxPyx）。I(Px,Pyix）的凸状性由以下定理给出：如果信道给定（即Pyix给定），那么I(Px，Pyx）是输入概率Px的上凸函数。如果信源给定（即Px给定），那么I(Px，Pyx）是转移概率Pyix的下凸函数。3.2.3.2信道的疑义度观察I(XY)=HX)-H(XIY），对于有噪信道，输入X的平均信息H(X)不可能全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是H(XIY)。H(X|Y)既代表收到输出Y后对输入X还存有的疑义，又代表信道在传输过程中的信息损失。因此，H(XIY)又称为信道的疑义度或损失炳。损失摘为零的信道称为无损信道。3.2.3.3信道的散布度73
73 | | 12 12 | 1 (|) ( | ) ( | ) k k N YX YX N N YX k k k f y x f yy y xx x f y x （3.7） 则称此信道为连续无记忆信道。 3.2.3 信道的疑义度、散布度和平均互信息 3.2.3.1 信道的平均互信息 对于 DMC，从输出Y 中所获得的关于输入 X 的平均信息量，就是信道的平均互信息量 I(;) X Y ， I(;) X Y 与各类熵之间的关系为： ( ) ( | ) ( ; ) ( ) ( | ) H Y H Y X I X Y H X H X Y （3.8） I(;) X Y 的概率表达式如下： 1 1 1 (|) ( ; ) ( ) ( | )log ()( | ) r s j i i ji r i j i ji i Pb a I XY Pa Pb a Pa Pb a （3.9） 于是， I(;) X Y 就成了信道输入随机变量 X 的概率矢量 { ( )} P Pa X ii 和信道转移概率 矢量 | , { ( | )} P Pb a YX j i i j 的函数，可以记为 | (, ) X YX IP P 。 | (, ) X YX IP P 的凸状性由以下定理给出： 如果信道给定（即 PY|X 给定），那么 | (, ) X YX IP P 是输入概率 PX 的上凸函数。 如果信源给定（即 PX 给定），那么 | (, ) X YX IP P 是转移概率 PY|X 的下凸函数。 3.2.3.2 信道的疑义度 观察 I(;) ( ) ( |) XY HX HX Y ，对于有噪信道，输入 X 的平均信息 H X( ) 不可能 全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是 HXY ( |) 。 HXY ( |) 既代表收到输出Y 后对输入 X 还存有的疑义，又代表信道在传输过程中的信 息损失。因此， HXY ( |) 又称为信道的疑义度或损失熵。 损失熵为零的信道称为无损信道。 3.2.3.3 信道的散布度
再观察I(X;Y)=H(Y)-H(YIX)，可变换为H(Y)=I(X;Y)+H(YIX），式中H（Y）代表输出Y中含有的全部信息，其中既包含从输入端送来的有用信息IX：Y），也包含由噪声引入的无用信息H(Y|X）。H(Y|X）叫做信道的散布度或噪声炳，表明信道因噪声干扰所呈现的无序性程度，噪声炳为零的信道称为确定信道。3.2.4信道容量3.2.4.1信道容量的定义每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C，即:C = max R = max I(X;Y)(3.10)Pr最佳输入（概率）分布Px：使得给定信道的I(X;Y）达到最大值C的输入分布。研究信道的核心问题就是求信道容量和对应的最佳输入分布。3.2.4.2特殊信道的信道容量1）无损信道损失熵为0的信道称为无损信道，其转移矩阵每列只有一个非零元素。信道容量为：(3.11)C = max I(X;Y) = max H(X)= H(X)lp(a,)-/ = logr2）确定信道噪声熵为0的信道称为确定信道，转移矩阵每行只有一个转移概率为1，其余均为0。信道容量为：C = max (X;Y)=max H(I)= H(I)lp(b)-/: = log s(3.12)PxPx3）无损确定信道损失摘和噪声摘均为0的信道称为无损确定信道，此时r=S，转移概率矩阵为单位阵：[10.01..00[Pyx ] -(3.13)::[o0... ]当输入等概率分布时，信道达到信道容量，而且至少能够找到一种输入分布，使输出Y达到等概分布。74
74 再观察 I( ;) () ( | ) XY HY HY X ，可变换为 HY I XY HY X () ( ;) ( | ) ，式中 H Y( )代表输出Y 中含有的全部信息，其中既包含从输入端送来的有用信息 I(;) X Y ，也包 含由噪声引入的无用信息 H(Y | X ) 。 H(Y | X ) 叫做信道的散布度或噪声熵，表明信道因噪声干扰所呈现的无序性程度，噪 声熵为零的信道称为确定信道。 3.2.4 信道容量 3.2.4.1 信道容量的定义 每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为 C ，即： C max R max I(X;Y) PX PX （3.10） 最佳输入（概率）分布 * PX ：使得给定信道的 I(X;Y) 达到最大值 C 的输入分布。研究 信道的核心问题就是求信道容量和对应的最佳输入分布。 3.2.4.2 特殊信道的信道容量 1）无损信道 损失熵为 0 的信道称为无损信道，其转移矩阵每列只有一个非零元素。 信道容量为： C I X Y H X H X r P a r P P i X X max ( ; ) max ( ) ( ) log ( ) 1 （3.11） 2）确定信道 噪声熵为 0 的信道称为确定信道，转移矩阵每行只有一个转移概率为 1，其余均为 0。 信道容量为： C I X Y H Y H Y s P b s P P j X X max ( ; ) max ( ) ( ) log ( ) 1 （3.12） 3）无损确定信道 损失熵和噪声熵均为 0 的信道称为无损确定信道，此时 r s ，转移概率矩阵为单位阵： | 10 0 01 0 [ ] 00 1 PY X （3.13） 当输入等概率分布时，信道达到信道容量，而且至少能够找到一种输入分布，使输出 Y 达到等概分布