信息量假设发送的消息集合包含两个元素，是否可以比较度量哪个消息包含更多的信息？短信2：教室在YF508，别走错地儿了！短信3：还不快来，今天小测验信息量？如何设计度量信息大小的测度信息的随机性质一一发送消息的可能性大小消息x出现的概率P(x发生概率越小，消除的不确定性越大一一信息量越大I(x) ~ 1 / P(×) ?消息序列中的多个消息，信息量可累加对数尺度I(x) =-log。 P(x)2025/10/3116
信息量 假设发送的消息集合包含两个元素，是否可以比较度 量哪个消息包含更多的信息？ 如何设计度量信息大小的测度——信息量？ ◼ 信息的随机性质——发送消息的可能性大小 ◆消息x出现的概率 P(x) ◼ 发生概率越小，消除的不确定性越大——信息量越大 ◆I(x) ~ 1/P(x) ? ◼ 消息序列中的多个消息，信息量可累加 ◆对数尺度 2025/10/31 16 短信3：还不快来，今天小测验 短信2：教室在YF508，别走错地儿了！ ( ) log ( ) a I x P x = −
信息量发送消息X的信息量I(x)= -log。P(x)今单位无量纲，示意性bit（比特)，a=2nat(奈特)，a=ehatley（哈特莱），a=10练寸：二进制0/1码流，0/1码不等概出现P(O)=1/4,P(2)=3/4，那么1码、0码所含信息量分别为多少？2025/10/3117
信息量 发送消息 x 的信息量 单位 ◼ 无量纲，示意性 ◼ bit（比特）， a=2 ◼ nat（奈特）， a=e ◼ hatley（哈特莱）, a=10 练习：二进制0/1 码流，0/1 码不等概出现 P(0)=1/4,P(2)=3/4，那么1 码、0 码所含信息量分别为多少？ 2025/10/31 17 ( ) log ( ) a I x P x = −
平均信息量（摘）若信源符号集包含M个符号，每个符号x，i=1·：，M2的平均信息量（也称为熵entropy）为MH(X) = -P(x,)log2 P(x,)i=l每个符号等概时，符号平均信息量= log2 M = k bit (M = 2k)10g2H(X)=-MAM：热力学引入的概念，分子运动的混乱程度炳越大，越混乱，不确定性越大，信息量越大信息处理中，汉字的信息炳是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大2025/10/3118
平均信息量（熵） 若信源符号集包含M个符号，每个符号 的平均信息量（也称为熵entropy）为 每个符号等概时，符号平均信息量 熵：热力学引入的概念，分子运动的混乱程度 ◼ 熵越大，越混乱，不确定性越大，信息量越大 ◼ 信息处理中，汉字的信息熵是9.65 比特，英文是4.03 比特。这表明中文的复杂 程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。 2025/10/31 18 1, , i x i M ， = 2 1 ( ) ( )log ( ) M i i i H X P x P x = = − 2 2 1 1 ( ) log log bit ( 2 ) k H X M M k M M M = − = = =