第一节信道的数学模型及分类 为了表述简便,可以写成P(ba,)=P P112 P=121P2 22 Pri pr2 下面推导几个关系式:
第一节 信道的数学模型及分类 为了表述简便，可以写成 ( / ) P b a p j i ij = 11 12 1 21 22 2 1 2 ... ... ... ... ... s s r r rs p p p p p p P p p p = 下面推导几个关系式：
第一节信道的数学模型及分类 (1)联合概率 P(ab)=P(a)P(b, /a=P(6,P(a; /b,) 其中P(b/a)称为前向概率,描述信道的噪声特性 P(ab,)称为后向概率,有时也把(a称为先验 概率,把P(an/b,)称为后验概率 (2)输出符号的概率 P(b)=∑p(a)p(b/an) (3)后验概率P(a,b,) P(ab,) ∑P(an/b)=1 P(b,) 表明输出端收到任一符号,必定是输入端某一符号 输入所致
第一节 信道的数学模型及分类 （1）联合概率 ( ) ( ) ( / ) ( ) ( / ) P a b P a P b a P b P a b i j i j i j i j = = ( / ) 其中 P b a j i 称为前向概率，描述信道的噪声特性 ( / ) P a b i j 称为后向概率，有时也把 称为先验 概率，把 称为后验概率 ( ) P ai （2）输出符号的概率 1 ( ) ( ) ( / ) r j i j i i P b p a p b a = = （3）后验概率 ( ) ( / ) ( ) i j i j j P a b P a b P b = ( / ) P a b i j 1 ( / ) 1 r i j i P a b = = 表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节平均互信息 1、信道疑义度 HX|b)=∑P(a p(a1/b,) 这是收到b后关于X的后验熵,表示收到b,后关于输 入符号的信息测度 H(/Y=EH(/b)=>P()\opex/y) 这个条件熵称为信道疑义度,表示输出端在收到一个 符号后,对输入符号尚存的不确定性,这是由信道干扰 造成的,如果没有干扰,H(XY)=0,一般情括下H(xXN) 小于H(X),说明经过信道传输,总能消除一些信源的不 确定性,从而获得一些信息
第二节 平均互信息 1、信道疑义度 1 1 ( / ) ( / )log ( / ) r j i j i i j H X b P a b = p a b = 这是收到 后关于X的后验熵，表示收到 后关于输 入符号的信息测度 j b j b , 1 ( / ) [ ( / ) ( )log ( / ) j X Y H X Y E H X b P xy P x y = = 这个条件熵称为信道疑义度，表示输出端在收到一个 符号后，对输入符号尚存的不确定性，这是由信道干扰 造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y) 小于H(X)，说明经过信道传输，总能消除一些信源的不 确定性，从而获得一些信息
第二节平均互信息 平均互信息 I(X, Y=H(X-H(X/Y 因为H(ⅩX),表示传输前信源的不确定性,而H(XY)表示 收到一个符号后,对信源尚存的不确定性,所以二者之 差信道传递的信息量。 (X)=∑P(x)log(x/y P() 下面我们讨论一下互信息与其他的熵之间的关系 IOX, Y=H(X-H(X/Y =H(X+H(Y-H(XY) =H(Y-H(Y/X (3.34)
第二节 平均互信息 I(X;Y)=H(X)-H(X/Y) 2、平均互信息 因为H(X),表示传输前信源的不确定性，而H(X/Y)表示 收到一个符号后，对信源尚存的不确定性，所以二者之 差信道传递的信息量。 . ( / ) ( ; ) ( )log X Y ( ) P x y I X Y P xy P y = 下面我们讨论一下互信息与其他的熵之间的关系 I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X) (3.34)
第二节平均互信息 也可以得到:H(XY)=H(X)+HCYX)=H(Y)+H(XY) 由3.34也可以看出,互信息I(XY)也表示输出端 H(Y)的不确定性和已知X的条件下关于Y的不确定性 之差,也等于发送前后关于Y的不确定性之差。 H(X∧Y)即信到疑义度,也表示通过有噪信道造成的 损失,故也称为损失熵,因此信源的熵等于收到的信 息量加上损失的熵;而H(Y/X表示已知输入的情况下, 对输岀端还残留的不确定性,这个不确定性是由噪声 引起的,故也称之为噪声熵
第二节 平均互信息 也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 由3.34也可以看出，互信息I(X;Y)也表示输出端 H(Y)的不确定性和已知X的条件下关于Y的不确定性 之差，也等于发送前后关于Y的不确定性之差。 H(X/Y)即信到疑义度，也表示通过有噪信道造成的 损失，故也称为损失熵，因此信源的熵等于收到的信 息量加上损失的熵；而H(Y/X)表示已知输入的情况下， 对输出端还残留的不确定性，这个不确定性是由噪声 引起的，故也称之为噪声熵