《信息理论与编码》课程教学资源（知识点）第7章 网络信息论基础

第7章网络信息论基础7.1基本要求通过本章学习，对网络信息理论建立初步的认识。了解网络信道的基本概念、典型的网络信源编码模型、相关信源编码以及信源编码定理的基本理论、多随机变量联合典型序列的概念和应用、多址接入信道、高斯多址接入信道、广播信道和中继信道的信道容量的理论。7.2学习要点7.2.1网络信道的分类7.2.1.1多源接入信道多源接入或称多址接入信道是指有多个信道输入信号，但只有一个信道输出信号的信道，信道的多个输入端口可供多个信源同时接入。接入信道的各个信源在地理上是分散的所以信源编码和信道编码都必须分散进行。7.2.1.2广播信道将多源接入信道中的信息流向全部反过来就得到户播信道，它的特点是有单一输入端口和多个输出端口。多个不同信源的信息经过一个公用的编码器后，送入信道。由于各输出端口在地理上是分散的，各输出端口处信号受干扰的情况也不相同，因此译码只能分散独立进行。与一般的广播概念不同的是，各信宿要接收的信息并不一定相同。7.2.1.3中继信道中继信道仅有一个信源与一个信宿，但是有一个或多个同时行使收发功能的中继站，实现信源与信宿之间的通信。7.2.1.4串扰信道串扰信道有两个发送端和两个接收端，它们通过一个公共信道传送信息。信源1希望传送信息给接收端1，而不关心接收端2是否接收到，对信源2和接收端2也是如此，然而它们彼此会相互干扰，两对收发器之间串话。7.2.1.5双向信道双向信道有两个发送端和两个接收端，两对收发器之间互相传输信息。信源1发送信息到接收端1，信源2发送信息到接收端2。信源1和接收端2在一端，信源1可以利用接收端2前面时刻所接收到的符号决定其下时刻发送什么符号；信源2和接收端1在另一端，信源2也可以利用接收端1所接收的符号决定其发送符号。220

220 第 7 章 网络信息论基础 7.1 基本要求 通过本章学习，对网络信息理论建立初步的认识。了解网络信道的基本概念、典型的网 络信源编码模型、相关信源编码以及信源编码定理的基本理论、多随机变量联合典型序列的 概念和应用、多址接入信道、高斯多址接入信道、广播信道和中继信道的信道容量的理论。 7.2 学习要点 7.2.1 网络信道的分类 7.2.1.1 多源接入信道 多源接入或称多址接入信道是指有多个信道输入信号，但只有一个信道输出信号的信 道，信道的多个输入端口可供多个信源同时接入。接入信道的各个信源在地理上是分散的， 所以信源编码和信道编码都必须分散进行。 7.2.1.2 广播信道 将多源接入信道中的信息流向全部反过来就得到广播信道，它的特点是有单一输入端口 和多个输出端口。多个不同信源的信息经过一个公用的编码器后，送入信道。由于各输出端 口在地理上是分散的，各输出端口处信号受干扰的情况也不相同，因此译码只能分散独立进 行。与一般的广播概念不同的是，各信宿要接收的信息并不一定相同。 7.2.1.3 中继信道 中继信道仅有一个信源与一个信宿，但是有一个或多个同时行使收发功能的中继站，实 现信源与信宿之间的通信。 7.2.1.4 串扰信道 串扰信道有两个发送端和两个接收端，它们通过一个公共信道传送信息。信源 1 希望传 送信息给接收端 1，而不关心接收端 2 是否接收到，对信源 2 和接收端 2 也是如此，然而它 们彼此会相互干扰，两对收发器之间串话。 7.2.1.5 双向信道 双向信道有两个发送端和两个接收端，两对收发器之间互相传输信息。信源 1 发送信息 到接收端 1，信源 2 发送信息到接收端 2。信源 1 和接收端 2 在一端，信源 1 可以利用接收 端 2 前面时刻所接收到的符号决定其下时刻发送什么符号；信源 2 和接收端 1 在另一端，信 源 2 也可以利用接收端 1 所接收的符号决定其发送符号

7.2.1.6反馈信道反馈信道可以看作是双向信道的一个特例。在反馈信道中，正向信道传送信息，反向信道用来将接收信号反馈给发送端。7.2.2网络信源编码模型7.2.2.1T.S.Han多端信源编码模型T.S.Han多端信源编码模型是有关两个相关信源和两个信宿的模型。信源S，和S，产生的信源序列s，和S，分别送入编码器1和2进行编码，信源之间有联系，编码器对两个信源产生的消息协同地进行编码。7.2.2.2Berger多端信源编码模型这一模型由T.Berger提出的，相比T.S.Han的多端信源编码模型，模型中编码器与编码器之间还有相互联系。7.2.2.3Slepian-Wolf模型Slepian-Wolf模型是多用户信源编码中最基本的连接方式，也是最有意义的一种。对两个相关信源输出信息s，和S2分别独立进行编码，独立传输，通过一个译码器，分别译出消息的估值S和S，。7.2.2.4带边信息的信源编码由于我们主要研究相关信源编码。信源S和S，是相关的，信源S，能提供关于S，的信息，或S，能提供关于S的信息，称为边信息。带边信息的信源编码在组成上与Slepian-Wolf模型相似，其不同之处在于译码器只须译出S，而不需译出S，S,是作为一种辅助信息使用的，所以称为边信息。7.2.2.5带分集系统的信源编码在这一模型中，信源的编码输出经两个不同的信道传输后送入一个译码器，译码器得到的两个输入信号互相起辅助作用，达到分集的效果。7.2.3多随机变量联合典型序列定义个n长序列对(x(),x(2).,()）的联合ε典型序列集G(X),X(2).,X()221

221 7.2.1.6 反馈信道 反馈信道可以看作是双向信道的一个特例。在反馈信道中，正向信道传送信息，反向信 道用来将接收信号反馈给发送端。 7.2.2 网络信源编码模型 7.2.2.1 T.S.Han 多端信源编码模型 T.S.Han 多端信源编码模型是有关两个相关信源和两个信宿的模型。信源 1 S 和 2 S 产生 的信源序列 1 s 和 2 s 分别送入编码器 1 和 2 进行编码，信源之间有联系，编码器对两个信源 产生的消息协同地进行编码。 7.2.2.2 Berger 多端信源编码模型 这一模型由 T.Berger 提出的，相比 T.S.Han 的多端信源编码模型，模型中编码器与编码 器之间还有相互联系。 7.2.2.3 Slepian-Wolf 模型 Slepian-Wolf 模型是多用户信源编码中最基本的连接方式，也是最有意义的一种。对两 个相关信源输出信息 1 s 和 2 s 分别独立进行编码，独立传输，通过一个译码器，分别译出消 息的估值 ' ˆ s1和 ' ˆ s2 。 7.2.2.4 带边信息的信源编码 由于我们主要研究相关信源编码。信源 1 S 和 2 S 是相关的，信源 1 S 能提供关于 2 S 的信 息，或 2 S 能提供关于 1 S 的信息，称为边信息。 带边信息的信源编码在组成上与 Slepian-Wolf 模型相似，其不同之处在于译码器只须译 出 1 S ，而不需译出 2 S ， 2 S 是作为一种辅助信息使用的，所以称为边信息。 7.2.2.5 带分集系统的信源编码 在这一模型中，信源的编码输出经两个不同的信道传输后送入一个译码器，译码器得 到的两个输入信号互相起辅助作用，达到分集的效果。 7.2.3 多随机变量联合典型序列 定义 k 个 n 长序列对 (1) (2) ( ) ( , ,., ) k x x x 的联合  典型序列集   (1) (2) ( ) , ,., k GXX X  n

满足G (, (2).) - (, . *) :-log P(s)-H(S)≤ 对于 S=(x(),X(2),.,X())(7.1)7.2.4相关信源编码定理7.2.4.1Slepian-Wolf可达速率域当信源S和S，的信息H(S）和H（S）以及S,和S，的联合信息摘H(SS）已知的情况下，无失真信息编码的充要条件是R >H(S, /S,)R, >H(S, / S)(7.2)R +R >H(S,S,)7.2.4.2相关信源编码定理（Slepian-Wolf）相关信源编码定理：对于任意离散无记忆信源，所有的可达速率对满足R= ((R,R): R >H(S, / S2),R, >H(S, / S),(7.3)R= R +R, >H(S,S,))结论可以推广到任意有限多个相关信源的情况。相关信源编码定理的逆定理：对于任意离散无记忆信源对，不满足式（7.3）的任何速率对R=（R，R）是不可达的。7.2.5多址接入信道二源接入信道[X,×X2,P(yxx2),Y]的容量区域，由满足下述凸壳的闭包给定：C(PP)=((R,R):0≤R, ≤I(X);YX,)0≤R, ≤I(X2;Y|X)(7.4)O≤R +R ≤I(XX,;Y)其中C(PP)是在乘积空间X,×X，上，对所有可能的输入概率分布求得的可达速率对(R,R,)的集合。对于某一特定的输入分布P(x)P(xz），其可达速率域如图7.1所示。222

222 满足    (1) (2) ( ) (1) (2) ( ) , ,., ( , ,., ) k k GX X X xx x  n  ： 1 log ( ) ( ) Ps H S n    对于   (1) (2) ( ) , ,., k S XX X  （7.1） 7.2.4 相关信源编码定理 7.2.4.1 Slepian-Wolf 可达速率域 当信源 1 S 和 2 S 的信息熵 1 H S( ) 和 2 H S( ) 以及 1 S 和 2 S 的联合信息熵 1 2 H SS ( ) 已知的 情况下，无失真信息编码的充要条件是 1 12 2 21 1 2 12 (/) (/) ( ) R HS S R HS S R R H SS          （7.2） 7.2.4.2 相关信源编码定理 （Slepian-Wolf）相关信源编码定理： 对于任意离散无记忆信源，所有的可达速率对满足   12 1 1 2 2 2 1 1 2 12 ( , ) : ( / ), ( / ), ( ) R R R R HS S R HS S R R R H SS     （7.3） 结论可以推广到任意有限多个相关信源的情况。 相关信源编码定理的逆定理： 对于任意离散无记忆信源对，不满足式（7.3）的任何速率对 1 2 R  (, ) R R 是不可达的。 7.2.5 多址接入信道 二源接入信道 1 2 12 [ , ( ), ] X  X P yxx Y 的容量区域，由满足下述凸壳的闭包给定： 12 1 2 1 1 2  2 21 1 2 12 ( ) ( , ):0 ( ; ) 0 (; ) 0 ( ;) C PP R R R I X Y X R IX YX R R I XX Y      （7.4） 其中 1 2 C PP ( ) 是在乘积空间 X1  X 2 上，对所有可能的输入概率分布求得的可达速率对 1 2 (, ) R R 的集合。对于某一特定的输入分布 112 2 Px Px ()() ，其可达速率域如图 7.1 所示

R21I(X,X2,Y)I(X2,Yx)I(X,;Y)RCI(X;) (X);YX2) I(X),X2;Y)图7.1二址接入信道的可达速率域当给定某个输入分布P(xx）=P(x)P(x），可得某区域C(PP）：不同的输入分布可得不同的区域。因此二址接入信道的容量区是所有可能C(PP）的凸闭包。如图7.2所示。它是一个多角形的凸包。图中[C, =,maxI(X;Y|X2)P(x)P(2)C, =,max I(X,;YX)(7.5)R(3)B()Ci2=max1(Xi,X2;Y)R()P(x)RCi2C+R0CC12图7.2二址接入信道的容量区7.2.6高斯多址接入信道高斯多址接入信道是多址接入信道的重要实例。在这个信道中，各信源来的信号在接收端相加，并受加性高斯噪声（均值为零，方差为2）的干扰。对于高斯二址接入信道有：PsL)=C,1R, ≤_log(1+(7.6)2PN223

223 图 7.1 二址接入信道的可达速率域 当给定某个输入分布 12 1 1 2 2 P xx P x P x ( ) ()()  ，可得某区域 1 2 C PP ( ) ；不同的输入分布 可得不同的区域。因此二址接入信道的容量区是所有可能 1 2 C PP ( ) 的凸闭包。如图 7.2 所示。 它是一个多角形的凸包。图中 11 2 2 112 2 112 2 1 12 () ( ) 2 21 () ( ) 12 1 2 () ( ) max ( ; ) max ( ; ) max ( , ; ) Px P x Px P x Px P x C IX YX C IX YX C IX X Y           （7.5） 图 7.2 二址接入信道的容量区 7.2.6 高斯多址接入信道 高斯多址接入信道是多址接入信道的重要实例。在这个信道中，各信源来的信号在接收 端相加，并受加性高斯噪声（均值为零，方差为 2 n ）的干扰。 对于高斯二址接入信道有： 1 1 1 1 log(1 ) 2 S N P R C P   （7.6） R2 R1 ( ; ) I X2 Y ( ; ) X2 Y X1 I ( , ; ) I X1 X2 Y B C D A 0 ( , ; ) I(X1;Y) I(X1;Y X2 ) I X1 X2 Y R2 R1 C2 C12 0 C1 C12

Ps2)=C,R, ≤=log(1+(7.7)PN2P, + Ps21log(1+(7.8)R +R≤-)=C/22PNRC2AC2C12 - CJBR.0Cr2C12-C2Cf高斯二址接入信道的容量域是由所有可达速率对组成的五边形凸包。图7.3高斯二址接入信道的容量域7.2.7广播信道广播信道是具有一个输入端和多个输出端的信道。若对所有xEX，zEZ，存在传递概率P(=y)，使P(=[x)=Z P(yz[x)=Z P(z/y)P(y| x)(7.9)yEYyeY则称广播信道[X,P(yzx),Y×ZI为降阶的广播信道。离散无记忆降阶广播信道的容量区为：C=((R,R):0<R <I(X;Y|U)(7.10)0≤R,<I(U;Z))R211-H(p2)0★RI1-H(p.)图7.4二元对称广播信道的容量区224

224 2 2 2 1 log(1 ) 2 S N P R C P   （7.7） 1 2 1 2 12 1 log(1 ) 2 S S N P P R R C P     （7.8） 高斯二址接入信道的容量域是由所有可达速率对组成的五边形凸包。 图 7.3 高斯二址接入信道的容量域 7.2.7 广播信道 广播信道是具有一个输入端和多个输出端的信道。 若对所有 x  X ， z  Z ，存在传递概率 Pzy ( )，使 (|) ( |) (| )( |) yY yY P z x P yz x P z y P y x       （7.9） 则称广播信道[ , ( | ), ] X P yz x Y Z  为降阶的广播信道。 离散无记忆降阶广播信道的容量区为： 12 1 2 {( , ) : 0 ( ; | ) 0 ( ; )} C R R R IXYU R IU Z     （7.10） 图 7.4 二元对称广播信道的容量区 R2 R1 C2 C12 0 C12 C2 C12 C A D B C12  C1 C1 E R2 R1 1-H(p2) 1-H(p1) 0