第十二章信息理论 121离散信源的熵 >熵的定义: 设:信源X能发出n个不同的消息x,x2 则定义熵为信源的平均信息量H(X): H(X)=E[(x)]=-2P(x,)10g2 P(x,) 式中,I(x)=-log2P(x)(b) 1(x)表示消息x含有的信息量 ■熵H(X)可以理解为信源的平均不确定度
1 第十二章 信息理论 12.1 离散信源的熵 ➢ 熵的定义： 设：信源 X 能发出n个不同的消息x1 , x2 , …, xi , …, xn， 则定义熵为信源的平均信息量H(X)： 式中，I (xi ) = - log2 P(xi ) (b) ◼ I (xi )表示消息xi含有的信息量 ◼ 熵H(X)可以理解为信源的平均不确定度。 = = = − n i i i i H X E I x P x P x 1 2 ( ) [ ( )] ( )log ( )
>二进制信源的熵 设:信源仅有“0”和“1两种消息。 发送“1”的概率P(1)=a, 1.0 则发送“0”的概率PO)=1-a 信源的熵等于 0.5 H(a)=-P(1)log2P(1)-P(0)log2P(0) a, a-(I-a)log2 (1-a) 00.250.50.75 ■若一个消息是一个码元,则熵H(a)的单位:比特/码元 H(a)~a曲线 口当a=1/2时,此信源的熵最大;这时的两个消息是等概 率出现的,其不确定度最大。 口当a≠1/2时,一个消息比另一个消息更可能出现,因此 不确定度减小 口若a或B等于0,则不确定度为0
2 ➢ 二进制信源的熵 ◼ 设： 信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = ， 则 发送“0”的概率P(0) = 1 - = 信源的熵等于 ◼ 若一个消息是一个码元，则熵H()的单位：比特/ 码元 ◼ H()～ 曲线 当 = 1/2时，此信源的熵最大；这时的两个消息是等概 率出现的，其不确定度最大。 当 1/2时，一个消息比另一个消息更可能出现，因此 不确定度减小。 若 或 等于0，则不确定度为0。 log (1 )log (1 ) ( ) (1)log (1) (0)log (0) 2 2 2 2 = − − − − H = −P P − P P
n进制信源的熵 设:信源有n种可能出现的消息,并用P表示第个消息的 出现概率, 则由熵的定义可以写出此信源的熵M=∑Pbg2P i=1 ■熵的最大值: 令上式对P的导数等于0,求H的最大值。 由于P=1-(B+P2+…+P1+…+Pn1) 故当P变时,可仅使P随之变化,并保持其他P为常数 于是得到【Hd (Pk log 2 Pk-Pn log 2 Pn) dP 利用求导数公式 du log gae 上式变为=-1b2e-g2P+P p ogre+ log 2 Pn 或H=k g
3 ➢ n 进制信源的熵 ◼ 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率， 则由熵的定义可以写出此信源的熵 ◼ 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时，可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或 1 ( ) Pn = − P1 + P2 ++ Pi ++ Pn−1 = = − n i H Pi Pi 1 2 log ( log log ) k 2 k n 2 n k k P P P P dP d dP dH = − − dx du e u u dx d a a log 1 log = n n k n k k k e P P e P P P P dP dH 2 2 2 2 log log 1 log log 1 = − − + + k n k P P dP dH 2 = log
dH 等于0,就可以求出H的最大值。 当Pk=Pn,上式等于0。由于P是任意一个消息的出现概 率,所以有 将上式代入|H=∑Pbg2P 得到H的最大值:H=kog2n
4 令 等于0，就可以求出H的最大值。 当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概 率，所以有 将上式代入 得到H的最大值： k n k P P dP dH 2 = log n P P Pn 1 1 = 2 = = = H = log 2 n = = − n i H Pi Pi 1 2 log
12,2离散信道模型 二进制无记忆编码信道的模型 P(0/0) P(1/0) 发送端 接收端 P(0/1) P(I/1) >信道的特性:由下列信道转移概率矩阵所完全确定 [(/x]= 「P(y/x)P(2/x) /x2)P(y2/x2 式中,P(/x)一发送x,收到y的条件概率 信道输入和输出概率关系 若输入概率矩阵为[(X=[x)P(x 则由MP/ 可以计算出[P)=P)PU 5
5 12.2 离散信道模型 ➢ 二进制无记忆编码信道的模型 ➢ 信道的特性：由下列信道转移概率矩阵所完全确定 式中，P(yj /xi ) － 发送 xi ，收到 yj 的条件概率。 ➢ 信道输入和输出概率关系 若输入概率矩阵为 则由 可以计算出 1 1 P(1 / 0) P(0 / 1) 0 0 P(0 / 0) P(1 / 1) 发送端 接收端 = ( / ) ( / ) ( / ) ( / ) ( / ) 1 2 2 2 1 1 2 1 P y x P y x P y x P y x P Y X ( ) ( ) ( ) 1 2 P X = P x P x ( ) ( ) ( ) 1 2 P Y = P y P y P(Y) = P(X) P(Y / X)