3.1.1 信道的数学模型与分类 输出的总的错误概率为：p。=p(O)p(/O)+p(①)p(0/) 由于信道噪声或其他因素影响导致输出数字序列发生错误是统计独立 的，根据无记忆编码信道的性质可以得到下式： p(010)=1-p(1川0) p(1|1)=1-p(011) 图3-4给出了一个无记忆多进制编码信道模型。 图3-4多进制无记忆编码信道模型
11 3.1.1 信道的数学模型与分类 输出的总的错误概率为： 由于信道噪声或其他因素影响导致输出数字序列发生错误是统计独立 的，根据无记忆编码信道的性质可以得到下式 ： 图3-4给出了一个无记忆多进制编码信道模型。 (0) (1 0) (1) (0 1) e p p p p p = + p p (0 | 0) 1 (1| 0) = − p p (1|1) 1 (0 |1) = − 图3-4 多进制无记忆编码信道模型
3.1 信道的基本概念 3.1.1信道的数学模型与分类 3.1.2信道参数 3.1.3信道容量定义 ⊙ 12
12 3.1 信道的基本概念 3.1.1 信道的数学模型与分类 3.1.2 信道参数 3.1.3 信道容量定义
3.1.2 信道参数 1.信道疑义度 输入信源的嫡：)-立aa空Ae (3-3) H()是在接收到输出Y以前，关于输入变量X的先验不确定性的度量， 所以称为先验熵。一般信道中有干扰（噪声）的存在，已知输入变量的 概率分布为(x)；而当接收到输出符号y=b,后，输入符号的概率分布发 生了变化，变成后验概率分布(xb,)。那么，接收到输出符号y=b后， 关于的平均不确定性为： x1o)2aa6加sa1-2 (3-4) 条件熵： ((b (Xa,)o(a) =2空na16 o2loe p(xly) (3-5) 这个条件熵称为信道疑义度。 13
13 3.1.2 信道参数 1. 信道疑义度 输入信源X的熵： (3-3) 是在接收到输出Y 以前，关于输入变量X 的先验不确定性的度量， 所以称为先验熵。一般信道中有干扰（噪声）的存在，已知输入变量X的 概率分布为 ；而当接收到输出符号 后，输入符号的概率分布发 生了变化，变成后验概率分布 。那么，接收到输出符号 后， 关于X的平均不确定性为: (3-4) 条件熵： (3-5) 这个条件熵称为信道疑义度。 1 1 ( ) ( )log ( )log ( ) ( ) r i i X i H X p a p x p x = p a = = − H X( ) p x( ) j y b = ( | )j p x b j y b = 1 1 1 ( | ) ( | )log ( | )log ( | ) ( | ) r j i j j i X i j j H X b p a b p x b = p a b p x b = = 1 1 1 1 1 , 1 ( | ) ( | ) ( ) ( | ) ( ) ( | )log ( | ) 1 1 ( | )log ( )log ( | ) ( | ) s s r j j j j i j j j i i j r s i j i j X Y i j H X Y E H X b p b H X b p b p a b p a b p a b p xy p a b p x y = = = = = = = = = =
3.1.2 信道参数 2.平均互信息 已知代表接收到输出符(x)以前关于输入变量的平均不确定性， 而(xI)代表接收到输出符号后关于输入变量的平均不确定性。 I(X;Y)=H(X)-H(X Y) (3-6) I(X,Y)称为X和Y之间的平均互信息。它代表接收到输出符号后平均每 个符号获得的关于的信息量。它也表明，输入与输出两个随机变量之间 的统计约束程度。 根据式(3-3)和式(3-5)得 xn-YPae一多Awes p(y) (3-7) 式中，X是输入随机变量，x∈X;是输入随机变量，y∈Y
14 3.1.2 信道参数 2．平均互信息 已知代表接收到输出符号 以前关于输入变量X的平均不确定性， 而 代表接收到输出符号后关于输入变量X的平均不确定性。 （3-6） 称为X和Y之间的平均互信息。它代表接收到输出符号后平均每 个符号获得的关于X的信息量。它也表明，输入与输出两个随机变量之间 的统计约束程度。 根据式（3-3）和式（3-5）得 （3-7） 式中，X是输入随机变量， ；Y是输入随机变量， 。 H X( ) H X Y ( | ) I X Y H X H X Y ( ; ) ( ) ( | ) = − I X Y ( ; ) , , , 1 1 ( ; ) ( )log ( )log ( ) ( | ) 1 1 ( )log ( )log ( ) ( | ) X X Y X Y X Y I X Y P x p xy p x p x y p xy p xy p x p x y = − = − , ( | ) ( )log X Y ( ) p y x p xy p y = x X y Y
3.1.2 信道参数 互信息I(xy)是代表收到某消息y后获得关于某事件x的信息量，即 (x)=log=log- p(xy) ）=1 log (3-8) p(x) (x)p(y) P(y) 对于平均互信息 1X,y)=[Ic川=∑pxn=∑)o p(x) (3-9) 它是互信息(x)的统计平均值，所以平均互信息1x,)永远不会取负 值。最差情况是平均互信息1(X,Y)=0,也就是在信道输出端接收到输出 符号后不获得任何关于输入符号的信息量
15 3.1.2 信道参数 互信息 是代表收到某消息y后获得关于某事件x的信息量，即 （3-8） 对于平均互信息 （3-9） 它是互信息 的统计平均值，所以平均互信息 永远不会取负 值。最差情况是平均互信息 ，也就是在信道输出端接收到输出 符号Y后不获得任何关于输入符号X的信息量。 I x y ( ; ) ( | ) ( ) ( | ) ( ; ) log log log ( ) ( ) ( ) ( ) p x y p xy p y x I x y p x p x p y p y = = = ( ; ) ( ; ) XY I X Y E I x y = ( ) ( ; ) XY =p xy I x y ( | ) ( )log XY ( ) p x y p xy p x = I x y ( ; ) I X Y ( ; ) I X Y ( ; ) 0 =