第二章信息量和熵
第二章 信息量和熵
信息量和熵 ·离散变量的非平均信息量 。离散集的平均自信息量一熵 ·离散集的平均互信息量 ·信息不等式 ·凸函数和互信息的凸性 ·连续随机变量的互信息和微分熵
信息量和熵 ⚫ 离散变量的非平均信息量 ⚫ 离散集的平均自信息量－熵 ⚫ 离散集的平均互信息量 ⚫ 信息不等式 ⚫ 凸函数和互信息的凸性 ⚫ 连续随机变量的互信息和微分熵
2.1离散变量的非平均信 息量
2.1 离散变量的非平均信 息量
输入，输出空间定义 ●输入空间X-{xk=1,2,…,K),概率记为q(x) ● 输出空间Y={y-1,2,…J,概率记为ωy 联合空间XY={xyk=1,2,,K=1,2…,概率 为p(xy) p(x)=p(xklyi)@)=p(yilx)q(x)
输入，输出空间定义 ⚫ 输入空间X={xk ,k=1,2,…,K},概率记为q(xk ) ⚫ 输出空间Y={yj ,j=1,2,…,J},概率记为ω(yj ) ⚫ 联合空间XY={xk yj ;k=1,2,…,K;j=1,2,…,J}, 概率 为p(xk yj ) p(xk yj )= p(xk |yj )ω(yj )= p(yj |xk )q(xk )
非平均互信息量 例2.1.1 输入消息 码字 p(xp) 收到0 收到01 收到011 X1 000 1/8 1/4 0 0 X2 001 1/8 1/4 0 0 X3 010 1/8 1/4 112 0 X4 011 1/8 1/4 1/2 1 X5 100 1/8 0 0 0 101 1/8 0 0 0 7 110 118 0 0 0 x8 111 1/8 0 0 0
非平均互信息量 ⚫ 例2.1.1 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0