1.3,1离散信源的信息量 6单一符号的信息量 l123,∈{x}j=1,…概率为Px) Hartley定义 I(x,)=log g P(x,) P(x,) (x)≥0,当P(x)=1时,(x)=0 单位: 对数以2为底,单位为比特(bin) 对数以e为底,单位为奈特(nt) 对数以10为底,单位为哈特菜( Hartley) 2021年2月19日
2021年2月19日 6 1.3.1 离散信源的信息量 单一符号的信息量 u1 u2 u3…uN，ui{xj }, j =1,…,k, 概率为P(xj ) Hartley定义 单位： • 对数以2为底，单位为比特 (bit) • 对数以e为底，单位为奈特 (nit) • 对数以10为底，单位为哈特莱 (Hartley) ( ) 0, ( ) 1 , ( ) 0 log ( ) ( ) 1 ( ) log = = = = − i i i i i i I x P x I x P x P x I x 当 时
1.3.2随机序列的信息量 u423…x,∈x},六1…,概率为 P(x;),x出现的次数为n 恿信息量为: k I=∑nbgP(x) 2021年2月19日 7
2021年2月19日 7 1.3.2 随机序列的信息量 u1 u2 u3…uN，ui{xj }, j=1,…,k, 概率为 P(xj )，xj 出现的次数为nj 总信息量为： = = − k j j j I n P x 1 log ( )
1.3.3多个信源与互信息 两个信源X和Y,它们所对应的符号分别 为x和v 联合信息量 (xy1)=-gP(x;y,) 条件信息量 I(x yi)=-log P(x ly,) 2021年2月19日 8
2021年2月19日 8 1.3.3 多个信源与互信息 两个信源X和Y，它们所对应的符号分别 为xi和yi 联合信息量 条件信息量 ( ) log ( ) i j i j I x y = − P x y ( | ) log ( | ) i j i j I x y = − P x y
1.3.4互信息 信道 Y=X+N先验概率:P(x) 后验概率:P(x/ 转移概率:P(v/x) 互信息表示X与Y的统计关联程度 P(x Ly) 互信息量1(xy)=ogP(x 2021年2月19日 9
2021年2月19日 9 1.3.4 互信息 互信息表示X与Y的统计关联程度 互信息量 信道 X Y＝X+N N 先验概率：P(xi ) 后验概率：P(xi /yj ) 转移概率：P(yj /xi ) ( ) ( | ) ( , ) log i i j i j P x P x y I x y =