第7章主要概念1多维随机变量联合典型序列定义k个n长序列对(x",x(2).x()）的联合ε典型序列集G(x"),X(2)..X()满足G(x(),X2) ..X) - (),x(2).. (k) )-log P(s)-H(S)≤ 对于S=(x(),X(2)..X(k)式中S是随机变量的任意子集。例如，当k=3时，设(xr(),X(2),X(3))=（X,Y,Z)，则n长序列对（x，y,=）的联合8典型序列集log P(xyz)-H(XYZ)≤8Gn(XYZ)= (xyz):-=log P(xy)-H(XY)≤6log P(x=)- H(XZ) ≤81=1og P(y)-H(YZ) ≤6n-logP(x)-H(X)≤8log P(y)-H(Y)≤8-1og P(2)-H(Z)≤8若(x,y,z)eG(XYZ)；则 (x,y)eG(XY)，(x,=)eG(XZ)(y,=)eG(YZ), xEGn(X), yEG(Y), zEGn(Z)。2相关信源编码对于任意两个离散无记忆信源，所有的可达速率对满足
第 7 章主要概念 1 多维随机变量联合典型序列 定义 k 个 n 长序列对( x , x ,., x ) (1 ) ( 2 ) ( k ) 的联合ε 典型序列集 { } ( ) ( ) ( k ) G n X ,X ,.,X 1 2 ε 满 足 { } { { }} ( ) ( ) ( k ) ( ) ( ) ( k ) ( ) ( ) ( k ) n log P(s) H( S ) S X ,X ,.,X n G X ,X ,.,X ( x , x ,., x ): 1 2 1 2 1 2 1 − − ≤ ε ⊆ ε = 对于 式中 S 是随机变量的任意子集。例如，当 k =3 时，设{X , X , X } ( X ,Y ,Z ) ( ) ( ) ( ) = 1 2 3 ，则 n 长 序列对( x, y,z )的联合ε 典型序列集 { } − − ≤ ε − − ≤ ε − − ≤ ε − − ≤ ε − − ≤ ε − − ≤ ε = − − ≤ ε ε log P( z ) H( Z ) n log P( y ) H(Y ) n log P( x ) H( X ) n log P( yz ) H(YZ ) n log P( xz ) H( XZ ) n log P( xy ) H( XY ) n log P( xyz) H( XYZ ) n G ( XYZ ) ( xyz) : n 1 1 1 1 1 1 1 若 ( x, y,z ) G ( XYZ ) ∈ εn ， 则 ( x, y ) G ( XY ) ∈ εn ， ( x,z ) G ( XZ ) ∈ εn ， ( y,z ) G (YZ ) ∈ εn ， x G ( X ) ∈ εn ， y G (Y ) ∈ εn ， z G ( Z ) ∈ εn 。 2 相关信源编码 对于任意两个离散无记忆信源，所有的可达速率对满足
R=(R,R):R>H(S,/S2),R >H(S, /S)R=R +R, >H(SS))推广到任意有限多个相关信源的情况。例如三个相关信源的可达速率区域为R=(R,R2,R):R>H(S,/S,S).R>H(S,/S,S,),R,>H(S/S,S2)R +R, >H(S,S, / S,),R, +R,>H(S,S, /S),R,+R,>H(S,S,/S,)R +R, +R, >H(S,S,S,))3多源接入信道多源接入或称多址接入信道是指有多个信道输入信号，但只有一个信道输出信号的信道，信道的多个输入端口可供多个信源同时接入。二源接入信道【X×X,P（yxx),Y1的容量区域，由满足下述凸壳的闭包给定：C(PP)=(R,R):0≤R,≤I(X,YX,0≤R,≤I(X,:YX,)0≤R,+R,≤I(X,X,;Y)其中P(X2)=P()P(x2)其中C(PP）是在乘积空间X，×X，上，对所有可能的输入概率分布求得的可达速率对（RR）的集合。4高斯多址接入信道高斯多址接入信道是多址接入信道的重要实例。在这个信道中，来自各信源的信号在接收端相加，并受加性高斯噪声（均值为零，方差为，）的干扰。5广播信道广播信道是具有一个输入端和多个输出的信道。若对所有xEX，zEZ，存在传递概率P(zV)，使P(z /x)= P(yz |x)= P(-/y)P(y/x)yeYyeY则称广播信道[X,P(yz|x),Y×Z]为降阶的广播信道。离散无记忆降阶广播信道的容量区为：C=((R,R):0≤R<I(X;YIU)0≤R,<I(U;Z)其中，U为任一随机变量，称为辅助随机变量，起取代码字原型的作用
{ R R R H( S S )} R ( R ,R ) : R H( S / S ),R H( S / S ), 1 2 1 2 1 2 1 1 2 2 2 1 = + > = > > 推广到任意有限多个相关信源的情况。例如三个相关信源的可达速率区域为 { R R R H( S S S )} R R H( S S / S ),R R H( S S / S ),R R H( S S / S ), R ( R ,R ,R ): R H( S / S S ),R H( S / S S ),R H( S / S S ), 1 2 3 1 2 3 1 2 1 2 3 1 3 1 3 2 2 3 2 3 1 1 2 3 1 1 2 3 2 2 1 3 3 3 1 2 + + > + > + > + > = > > > 3 多源接入信道 多源接入或称多址接入信道是指有多个信道输入信号，但只有一个信道输出信号的信 道，信道的多个输入端口可供多个信源同时接入。 二源接入信道 [ X X ,P( y x x ),Y ] 1 × 2 1 2 的容量区域，由满足下述凸壳的闭包给定： { P( x x ) P ( x )P ( x ) R R I( X , X ;Y ) R I( X ;Y X ) C( P P ) ( R ,R ): R I( X ;Y X ) 1 2 1 1 2 2 1 2 1 2 2 2 1 1 2 1 2 1 1 2 0 0 0 = ≤ + ≤ ≤ ≤ = ≤ ≤ 其中 其中 C( PP ) 1 2 是在乘积空间 X1 × X 2 上，对所有可能的输入概率分布求得的可达速率对 ( R R ) 1 、 2 的集合。 4 高斯多址接入信道 高斯多址接入信道是多址接入信道的重要实例。在这个信道中，来自各信源的信号在接 收端相加，并受加性高斯噪声（均值为零，方差为 2 σn ）的干扰。 5 广播信道 广播信道是具有一个输入端和多个输出的信道。 若对所有 x ∈ X ， z ∈ Z ，存在传递概率 P( z y )，使 P( z| x ) P( yz| x ) P( z| y )P( y | x ) y Y y Y ∑ ∑ ∈ ∈ = = 则称广播信道 [ X ,P( yz| x ),Y × Z ] 为降阶的广播信道。 离散无记忆降阶广播信道的容量区为： R I(U; Z )} C {( R ,R ) : R I( X ;Y |U ) ≤ < = ≤ < 2 1 2 1 0 0 其中，U 为任一随机变量，称为辅助随机变量，起取代码字原型的作用
6中继信道中继信道有一个接收端和一个发送端，还有一些中间节点作为中继点。对于任意的中继信道[X×X,P（yyxx),Y×Y1，其信道容量的上限为C= sup min(I(XX,,Y);I(X;YY,/X,))P(x))第一项是从发送端X和X，到接收端Y传送的互信息，第二项是从发送端X到接收端Y和Y传送的互信息。7边信息对于相关信源X和Y，信源X能提供关于Y的信息，或Y能提供关于X的信息，称为边信息。8具有边信息的信息率失真函数定义在具有边信息的情况下，达到失真D的最小信息率，为具有边信息的信息率失真函数，用Rs（D）表示。Rs,（D）由下式给出Rs,(D)=min min(I(S);W)-I(S,;W))P(els)gRs，（D）是D的非递增凸函数
6 中继信道 中继信道有一个接收端和一个发送端，还有一些中间节点作为中继点。 对于任意的中继信道 [ X X ,P( yy | xx ),Y Y ] × 1 1 1 × 1 ，其信道容量的上限为 C sup min{I( XX ;Y );I( X ;YY | X )} P( xx ) 1 1 1 1 = 第一项是从发送端 X 和 X1到接收端Y 传送的互信息，第二项是从发送端 X 到接收端Y 和Y1传送的互信息。 7 边信息 对于相关信源 X 和Y ，信源 X 能提供关于Y 的信息，或Y 能提供关于 X 的信息，称为 边信息。 8 具有边信息的信息率失真函数 定义在具有边信息的情况下，达到失真 D 的最小信息率，为具有边信息的信息率失真函 数，用 R ( D ) S2 表示。 R ( D ) S2 由下式给出 R ( D ) min min( I( S ;W ) I( S ;W )) P( |s ) g S 1 2 1 2 = − ω R ( D ) S2 是 D 的非递增凸函数