总复习 第二章信源熵 互信息量:y1对x;的互信息量定义为的后验概率与先验概率比值的 对数 P(x)m(x1),p(x2)…P(x)…p(x 0≤p(x:)≤1 p(x)=1 y2 y P()n),2)…p(y)…pn 0≤p(v2)≤1, p()=1 (x;y) p(x1/y2) g P(xi) g p(xi (x)-I(x2y) 2021/2/2
总复习 2021/2/23 6 ⚫ 互信息量：yj 对 xi 的互信息量定义为的后验概率与先验概率比值的 对数。 第二章 信源熵
总复习 第二章信源熵 观察者站在输出端:两个不确定度之差是不确定度被消除的部分, 即等于自信息量减去条件自信息量。 y log2 p( 2P(x2/y) (x1)-I(x1/y 观察者站在输入端:观察者得知输入端发出x;前、后对输出端出 现y的不确定度的差。 1(yx)=10g2)-og2p0x=1)W 观察者站在通信系统总体立场上:通信后的互信息量,等于前后不 确定度的差。 I( y)=log 2p(x2)P(y) og2 p(xy,) r(xy)-1(xy1)=1(x)+(y)-(xy) 2021/2/2 7
总复习 2021/2/23 7 ⚫ 观察者站在输出端：两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自信息量。 ⚫ 观察者站在输入端：观察者得知输入端发出xi 前、后对输出端出 现 yj 的不确定度的差。 ⚫ 观察者站在通信系统总体立场上：通信后的互信息量，等于前后不 确定度的差。 第二章 信源熵
总复习 第二章信源熵 平均信息量一信源熵:自信息的数学期望。也称为信源的信息熵/ 信源熵/香农熵/无条件熵/熵函数/熵。 信息熵的意义:信源的信息熵H是从整个信源的统计特性来考虑 的。它是从平均意义上来表征信源的总体特性的。对于某特定的信 源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。 信源熵的三种物理含义 信源熵H(Ⅺ是表示信源输出后每个消息/符号所提供的平均信 息量 信源熵H(X是表示信源输出前,信源的平均不确定性; 用信源熵H(X来表征变量X的随机性。 2021/2/2
总复习 2021/2/23 8 ⚫ 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/ 信源熵/香农熵/无条件熵/熵函数/熵。 ⚫ 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑 的。它是从平均意义上来表征信源的总体特性的。对于某特定的信 源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 ⚫ 信源熵的三种物理含义 ⚫ 信源熵H(X) 是表示信源输出后每个消息/符号所提供的平均信 息量； ⚫ 信源熵H(X) 是表示信源输出前，信源的平均不确定性； ⚫ 用信源熵H(X) 来表征变量X 的随机性。 第二章 信源熵
总复习 第二章信源熵 条件熵:是在联合符号集合XY上的条件自信息的数学期望。 xm=E(1)2∑∑x)1 =1i=1 =1i=1 P(xyj)1082 p(/yj) 0002>)1 i=1j=1 2021/2/2
总复习 2021/2/23 9 ⚫ 条件熵：是在联合符号集合XY 上的条件自信息的数学期望。 第二章 信源熵
总复习 第二章信源熵 信道疑义度—H(XY:表示信 H(H疑义度 宿在收到Y后,信源X仍然存 在的不确定度。是通过有噪信 道传输后引起的信息量的损失, 故也可称为损失熵。 H(X I(:: 噪声熵—H(YX):表示在已知 X的条件下,对于符号集Y尚 存在的不确定性(疑义),这 完全是由于信道中噪声引起的 H(噪声熵 2021/2/2
总复习 2021/2/23 10 ⚫ 信道疑义度—H(X/Y)：表示信 宿在收到Y 后，信源X 仍然存 在的不确定度。是通过有噪信 道传输后引起的信息量的损失， 故也可称为损失熵。 ⚫ 噪声熵—H(Y/X)：表示在已知 X 的条件下，对于符号集Y 尚 存在的不确定性（疑义），这 完全是由于信道中噪声引起的。 第二章 信源熵 H(X/Y)疑义度 H(X) H(Y) H(Y/X)噪声熵 I(X;Y)