定理4.2.1 I(Xw;Y)≤∑I(Xn;Yn) n=l I(XN;YN)≤NC 对于DMC,N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.1 I X Y NC I X Y I X Y N N N n n n N N = ( ; ) ( ; ) ( ; ) 1 对于DMC，N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.2 ·2-{Qo,Q1,…,Qk1}达到信道容量的充要条件 I(x=k;Y)=C2≠0 I(x=k;Y)≤CQ=0 在给定输入分布下，若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息，则可以通过经常的采用该特定输入k 增大IX;)
定理4.2.2 ⚫ Q={Q0 ,Q1 ,…,QK-1}达到信道容量的充要条件 ( ; ) 0 ( ; ) 0 = = = = k k I x k Y C Q I x k Y C Q 在给定输入分布下，若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息，则可以通过经常的采用该特定输入k 增大I(X ; Y)
对称DMC容量的计算 。信道转移概率矩阵 p010) p(10) p(J-10) p01) p1川1D pJ-11) P={pj川k)}= p(0K-1)p1川K-1).pJ-1K-1)
对称DMC容量的计算 ⚫ 信道转移概率矩阵 (0 | 0) (1| 0) ... ( 1| 0) (0 |1) (1|1) ... ( 1|1) { ( | )} (0 | 1) (1| 1) ... ( 1| 1) p p p J p p p J P p j k p K p K p J K − − = = − − − −
对称DMC容量的计算 ·若信道转移概率矩阵所有行矢量都是第一行 的置换，称为关于输入对称。 H(Y)=H(Yx)-(jl)log p(jk)
对称DMC容量的计算 ⚫ 若信道转移概率矩阵所有行矢量都是第一行 的置换，称为关于输入对称。 ( | ) ( | ) ( | )log ( | ) 1 0 H Y X H Y x p j k p j k J j − = = = −
对称DMC容量的计算 。P的所有列都是第一列的一种置换，关于 输出是对称的 ● 当输入事件等概，Q=1/K QI天2PU1 k=0 1 01=
对称DMC容量的计算 ⚫ P的所有列都是第一列的一种置换，关于 输出是对称的 ⚫ 当输入事件等概，Qk=1/K J p j k K Q p j k j K k K k j k 1 ( | ) 1 ( | ) 1 0 1 0 = = = − = − =