(2)棋盘方格可分为8行×8列，已知行 号x.(飞=1,2，，8后，棋子落入某方格的不 确定性就是条件自信息量I(,|x)与条件概 率P(,Ix)有关。由于 故 P9,x)=8 1=1,2,…,64;k=1,2,…,8 E1x)-1gPe:。粉寺 由此可以看出，已知行号后，棋子位 置的不确定性减小了一半，这与我们的常识 是相符的。 第2章信息的度量 信息理论与编码 11
第2章 信息的度量 信息理论与编码 11 （2）棋盘方格可分为8行×8列，已知行 号 后，棋子落入某方格的不 确定性就是条件自信息量 与条件概 率 有关。由于 故 bit/符号 由此可以看出，已知行号后，棋子位 置的不确定性减小了一半，这与我们的常识 是相符的。 ( 1, 2, ,8) x k k ( | ) l k I z x ( | ) P z x l k 1 ( | ) 1,2, ,64; 1,2, ,8 8 P z x l k l k 1 ( | ) log ( | |) log 3 8 l k l k I z x P z x
三种自信息量的关系 全概率公式联合概率 (x)=P(xx)P(Y;)=P(Y)P(xy, 可导出 I(y)=I()+I) 物理意义：=1y)+I(xy,) 如果(x,y是某信源发出的符号串，x是 观察输入符号，y是输出符号，则串(xy的 不确定性为(xy),输入符号x的不确定 性(x)加上此时干扰引入的不确定性(y,|x) 或联合符号xy的不确定性(xy),等于输 出符号y,的不确定性I(y,)加上观察到y后x 还剩余的不确定性(y)。 第2章信息的度量 信息理论与编码 12
第2章 信息的度量 信息理论与编码 12 三种自信息量的关系 全概率公式联合概率 可导出 物理意义： 如果 是某信源发出的符号串， 是 观察输入符号， 是输出符号，则串 的 不确定性为 ，输入符号 的不确定 性 加上此时干扰引入的不确定性 或联合符号 的不确定性 ，等于输 出符号 的不确定性 加上观察到 后 还剩余的不确定性 。 ( , ) ( ) ( | ) ( ) ( | ) P x y P x P y x P y P x y k j k j k j k j ( , ) ( ) ( | ) ( ) ( | ) k j k j k j k j I x y I x I y x I y I x y ( , ) k j x y k x k x k x j y j y ( , ) k j x y ( , ) k j I x y ( )i I x ( | ) j k I y x ( , ) k j x y ( , ) k j I x y ( )j I y j y ( , ) k j x y
当xk和y统计独立时， P(xx:Y;)=P(x)P(Y) I(y)=I(g)+1(Y) I)=I(x) I()=I) 推广到多维空间中去 I4,,,4=14）+1,4）+1444)+…+1v44…4v） 对于无记忆信源 I(4,42,…,4x)=I(4）+I(4)+I(4)+…+I(uv) 第2章信息的度量 信息理论与编码 13
第2章 信息的度量 信息理论与编码 13 当 xk 和 y j 统计独立时， ( , ) ( ) ( ) P x y P x P y k j k j ( , ) ( ) ( ) k j k j I x y I x I y ( | ) ( ) ( | ) ( ) k j k j k j I x y I x I y x I y 推广到多维空间中去： 1 2 1 2 1 3 1 2 1 2 ( , , , ) ( ) ( | ) ( | ) ( | ) N N N I u u u I u I u u I u u u I u u u u 对于无记忆信源 1 2 1 2 3 ( , , , ) ( ) ( ) ( ) ( ) N N I u u u I u I u I u I u
(2)互信息量及其性质 输入Xk,k=1,2,K, 输出y)d=1,2,…,J。 从观察结果，中得到的有关输入符号x 的信，息称为互信息，记该信息为(xy,)。 I(;y)=1(xx)-1(ky 1(似)为先验不确定性，(xy,)为后验不确定性 概率计算式：I(xy)=[-1ogP(x刀-[-logP(x|y,刀 log P(xky,) P(xk) P(kyj) =log P()P(y) 第2章信息的度量 信息理论与编码 14
第2章 信息的度量 信息理论与编码 14 （2）互信息量及其性质 输入 ， ， 输出 ， 。 从观察结果 中得到的有关输入符号 的信息称为互信息，记该信息为 。 为先验不确定性， 为后验不确定性 概率计算式： k x k K 1 , 2 , , j y j J 1 , 2 , , j y k x ( ; ) k j I x y ( ; ) ( ) ( | ) k j k k j I x y I x I x y ( ) k I x ( | ) k j I x y ( ; ) [ log ( )] [ log ( | )] ( | ) log ( ) ( , ) log ( ) ( ) k j k k j k j k k j k j I x y P x P x y P x y P x P x y P x P y
例甲在一8×8的方格棋盘上随意放入一个 棋子，在乙看来棋子落入的位置是不确定 的。 (1)若甲告知乙棋子落入方格的行号， 这时乙得到了多少信息量？ (2)若甲将棋子落入方格的行号和 列号都告知乙，这时乙得到了多少信息量 解（1)采用与前例相同的符号约定，棋子 落入方格的顺序号用随机变量Z表示，棋 子落入方格的行号用随机变量X,即 第2章信息的度量 信息理论与编码 15
第2章 信息的度量 信息理论与编码 15 例 甲在一8×8的方格棋盘上随意放入一个 棋子，在乙看来棋子落入的位置是不确定 的。 （1）若甲告知乙棋子落入方格的行号， 这时乙得到了多少信息量？ （2）若甲将棋子落入方格的行号和 列号都告知乙，这时乙得到了多少信息量？ 解 （1）采用与前例相同的符号约定，棋子 落入方格的顺序号用随机变量 表示，棋 子落入方格的行号用随机变量 ，即 Z X