第二章信息量和熵 ●●●●● ●●●● ●●。●●
第二章 信息量和熵
●●● ●●● ●●●●● ●●●● 信息量和熵 ●●● ●●●● ●●0● ●2.1离散变量的非平均信息量 ●2.2离散集的平均自信息量一熵 ●2.3离散集的平均互信息量 ●24连续随机变量的互信息和熵 ●2.5凸函数和互信息的凸性
信息量和熵 ⚫ 2.1 离散变量的非平均信息量 ⚫ 2.2 离散集的平均自信息量－熵 ⚫ 2.3 离散集的平均互信息量 ⚫ 2.4 连续随机变量的互信息和熵 ⚫ 2.5 凸函数和互信息的凸性
21离散变量的非平均信 息量 ●●●●● ●●●● ●●。●●
2.1 离散变量的非平均信 息量
●●● ●●● ●●●●● ●●● 输入,输出空间定义 ●●●●● ●●●● ●●0● 输入空间X={xbk=1,2,…,K},概率记为q(x) ·输出空间y=ym=12…概率记为y 联合空间XY={xy:k=1,2,…,K广=-1,2,…,丹,概率 为p(xky) p(wyi=p(xklyyolyy=p(ylxkqrR
输入，输出空间定义 ⚫ 输入空间X={xk ,k=1,2,…,K},概率记为q(xk ) ⚫ 输出空间Y={yj ,j=1,2,…,J},概率记为ω(yj ) ⚫ 联合空间XY={xk yj ;k=1,2,…,K;j=1,2,…,J}, 概率 为p(xk yj ) p(xk yj )= p(xk |yj )ω(yj )= p(yj |xk )q(xk )
●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● ●●0● ●例2.1.1 输入消息码字p(x) 收到0 收到01 收到011 X1 000 1/8 14 X2 001 1/8 14 0 X3 010 1/8 14 1/2 X4 011 1/8 14 1/2 X5 100 1/8 X6 101 1/8 110 1/8 0000 0000 00010000 6 1/8
非平均互信息量 ⚫ 例2.1.1 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0