●●● ●●●●● ●●●● 定理421 ●●● ●●●● ●●0● (X;Y)≤∑/(Xxn;Yn) 12 (X;Y)≤NC 对于DMC,N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.1 I X Y NC I X Y I X Y N N N n n n N N = ( ; ) ( ; ) ( ; ) 1 对于DMC，N长序列的信息传输问题可以归结 为单个符号的信息传输问题
●●●●● ●●●● 定理422 ●●● ●●●● ●●0● Q{goQ1-…,Qκ1}达到信道容量的充要条件 (x=k;Y)=Cgk≠0 /(x=k;1)sCc=0 在给定输入分布下,若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息,则可以通过经常的采用该特定输入k 增大Ⅳ(X;Y
定理4.2.2 ⚫ Q={Q0 ,Q1 ,…,QK-1}达到信道容量的充要条件 ( ; ) 0 ( ; ) 0 = = = = k k I x k Y C Q I x k Y C Q 在给定输入分布下，若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息，则可以通过经常的采用该特定输入k 增大I(X ; Y)
●●● ●●●●● ●●●● 对称DMc容量的计算 ●●● ●●●● ●●0● ●信道转移概率矩阵 p(O|0)p(10) P=(plilkb)=P(01) pll)) p(0|K-1)p(1|K-1)….p(J-1|k-1)
对称DMC容量的计算 ⚫ 信道转移概率矩阵 (0 | 0) (1| 0) ... ( 1| 0) (0 |1) (1|1) ... ( 1|1) { ( | )} (0 | 1) (1| 1) ... ( 1| 1) p p p J p p p J P p j k p K p K p J K − − = = − − − −
●●● ●●● ●●●●● ●●●● 对称DMc容量的计算 ●●●●● ●●●● ●●0● ●若信道转移概率矩阵所有行矢量都是第一行 的置换,称为关于输入对称 H(Y1)=H(Y|x)=∑p(|k)bgp(川k) j=0
对称DMC容量的计算 ⚫ 若信道转移概率矩阵所有行矢量都是第一行 的置换，称为关于输入对称。 ( | ) ( | ) ( | )log ( | ) 1 0 H Y X H Y x p j k p j k J j − = = = −
●●●●● ●●●● 对称DMc容量的计算 ●●● ●●●● ●●0● ●P的所有列都是第一列的一种置换,关于 输出是对称的 当输入事件等概,Qz1/K K K-1 0=∑Qp(k)=∑p(|k) k=0 k=0
对称DMC容量的计算 ⚫ P的所有列都是第一列的一种置换，关于 输出是对称的 ⚫ 当输入事件等概，Qk=1/K J p j k K Q p j k j K k K k j k 1 ( | ) 1 ( | ) 1 0 1 0 = = = − = − =