>输入输出的联合概率矩阵P(X,Y 将[P(写成对角线形式: [(x=[P(x)0 0P(x2) 并与 P(y1/x1)P(y2/x1) [Pxx)2P(/x、w 相乘,得到联合概率矩阵P(X,Y: P(x1) 0P( /x) P(2/x) P(X,Y)=P(X)P(/X)=0 P(x2)P(y1/x2) P(x1)P( /x1) P(x)P(2/x1)P(x,,D) P(x,,y2) P(x2)P(/x2)P(x2)P(y2/x2)LP(x2,y1)P(x2,y2) 式中, P(x,y)=Px)P(/x)-发送x,收到y的联合概率
6 ➢ 输入输出的联合概率矩阵P(X, Y) 将[P(X)]写成对角线形式： 并与 相乘，得到联合概率矩阵P(X, Y)： 式中， － 发送 xi 收到 yj 的联合概率 = 0 ( ) ( ) 0 ( ) 2 1 P x P x P X = ( / ) ( / ) ( / ) ( / ) ( / ) 1 2 2 2 1 1 2 1 P y x P y x P y x P y x P Y X = = = = ( , ) ( , ) ( , ) ( , ) ( ) ( / ) ( ) ( / ) ( ) ( / ) ( ) ( / ) ( / ) ( / ) ( / ) ( / ) 0 ( ) ( ) 0 ( , ) ( ) ( / ) 2 1 2 2 1 1 1 2 2 1 2 2 2 2 1 1 1 1 2 1 1 2 2 2 1 1 2 1 2 1 P x y P x y P x y P x y P x P y x P x P y x P x P y x P x P y x P y x P y x P y x P y x P x P x P X Y P X P Y X ( , ) ( ) ( / ) i j i j i P x y = P x P y x
>例1:设有一个二进制信道,如图所示, 其转移矩阵为: 0.7 070.3 0.3 [P(Y/X= 发送端 接收端 040.6 0.4 0.6 若信道输入的概率为 P(x1)=0.5和P(x2)=0.5 试求输出概率矩阵P(和联合概率矩阵P(X,Y)。 「解]输出概率矩阵 0.70.3 P(Y)=[050.5 =[0.55045 0.40.6 联合概率矩阵: [(x,)]= 0.50070.310.350.15 00.5040.60.20.3 7
7 ➢ 例1：设有一个二进制信道，如图所示， 其转移矩阵为： 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 [解] 输出概率矩阵: 联合概率矩阵: 0.3 0.4 x1 y1 x2 y2 0.7 0.6 发送端 接收端 = 0.4 0.6 0.7 0.3 P(Y / X ) P(x1 ) = 0.5 和 P(x2 ) = 0.5 0.55 0.45 0.4 0.6 0.7 0.3 ( ) 0.5 0.5 = P Y = = = 0.2 0.3 0.35 0.15 0.4 0.6 0.7 0.3 0 0.5 0.5 0 P(X,Y)
123联合熵和条件熵 设:一信道有n个可能输入和m个可能输出, 则可用输入概率P(x),输出概率P(y),转移概率P(/x)和联合 概率Pxy)定义下列不同的熵函数: =∑x)e:PCx)-信源的平均不确定度 H(Y)=∑P()og2P(y) 接收码元的平均不确定度 i=1 7B(/=∑∑P(x1y2(y/x)一给定发送X后接收码元的 平均不确定度; (x/)=-∑∑(x,y)g:Px/y)收到一个码元后发送码元 i=1j=1 的平均不确定度; H(x,)=∑∑Px,y)e2Px,y)一整个通信系统的平均不确 定度。 联合熵公式:X,Y)=H(X)+hxD)=/X)+HX
8 12.3 联合熵和条件熵 设：一信道有n个可能输入和m个可能输出， 则可用输入概率P(xi )，输出概率P(yj )，转移概率P(yj /xi )和联合 概率P(xi , yj )定义下列不同的熵函数： ➢ － 信源的平均不确定度； ➢ － 接收码元的平均不确定度； ➢ －给定发送X后接收码元的 平均不确定度； ➢ －收到一个码元后发送码元 的平均不确定度； ➢ －整个通信系统的平均不确 定度。 ➢ 联合熵公式： = = − n i i i H X P x P x 1 2 ( ) ( )log ( ) = = − m i j j H Y P y P y 1 2 ( ) ( )log ( ) = = = − n i m j i j j i H Y X P x y P y x 1 1 2 ( / ) ( , )log ( / ) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( / ) ( , )log ( / ) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( , ) ( , )log ( , ) H(X,Y) = H(X /Y) + H(Y) H(X,Y) = H(Y / X ) + H(X )
124无噪声信道容量 >互信息量I(X,Y) 定义:在收到发送码元后,此发送码元的平均不确定度 的下降量 (X; Y=H(X-H(X/Y 式中,H(X)一信源的平均不确定度; H(Y/Y一收到一个码元后发送码元的平均不确定度 上式可以改写为 X,Y)=H(Y)=H(/A) 性质:(X)≥0 >信道容量C 定义:互信息量的最大值 C=m(X,Y)(b/码元) 性质:C仅是信道转移概率的函数; C是一个码元能够传输的最大平均信息量
9 12.4 无噪声信道容量 ➢ 互信息量 I (X; Y) ◼ 定义：在收到发送码元后，此发送码元的平均不确定度 的下降量 式中， H(X) － 信源的平均不确定度； H(X / Y) － 收到一个码元后发送码元的平均不确定度 上式可以改写为 ◼ 性质： ➢ 信道容量C ◼ 定义：互信息量的最大值 （b/码元） ◼ 性质：C 仅是信道转移概率的函数； C是一个码元能够传输的最大平均信息量。 I(X;Y) = H(X ) − H(X /Y) I(X;Y) = H(Y) − H(Y / X ) I(X;Y) 0 C = maxI(X;Y)
>例2:试求下图中的无噪声离散信道的容量。 解】由式 I(X;Y)=H(X)-H(X/Y) J2 及式 x H(X/Y)=∑∑Px,y)og2P(x/y) y i=l j= 无噪声离散信道 可知,对于无噪声信道, 当i≠时,P(xpy)=0,P(x1/y)=0; 当i=j时,P(x/y)=1 因此,H(X/Y=0,I(X;Y)=H(X 若信源中所有码元是等概率的,则信源的熵H(X)最大。 因此, C=max[/(X; r)=2-log2 n=log2n 10
10 ➢ 例2：试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知，对于无噪声信道， 当 i j 时， P(xi , yj ) = 0, P(xi / yj ) = 0; 当 i = j 时，P(xi / yj ) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有码元是等概率的，则信源的熵H(X)最大。 因此， x1 x2 xn y1 y2 yn 1 1 1 无噪声离散信道 I(X;Y) = H(X ) − H(X /Y) = = = − n i m j i j i j H X Y P x y P x y 1 1 2 ( / ) ( , )log ( / ) n n n C I X Y n i 2 1 2 log log 1 = max ( ; ) = = =