2.2.1自信息 信息量的大小与不确定性消除的多少有关 无噪声信道 有噪声信道 不确定性多少与事件发生的概率相关 [例21假设一条电线上串联了8个灯泡x1,x2,…,x3如图2.1所示。这8个灯泡损坏 的可能性是等概率的,现假设这8个灯泡中有一个也只有一个灯泡已损坏,致使串联灯泡都不 能点亮。在未检查之前,我们不知道哪个灯泡x,已损坏,是不知的、不确定的。我们只有通过检 查,用万用表去测量电路有否断路,获得足够的信息量,才能获知和确定哪个灯泡x已损坏。 第三次第二次 第一次 -②8⑧8 图2.28个灯泡串联示意图 mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 21/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 21/159 信息量的大小与不确定性消除的多少有关 ◦ 无噪声信道 ◦ 有噪声信道 不确定性多少与事件发生的概率相关
2.2.1自信息 先验概率:P(x=x)=1/8 第一次测量:P2(x=x)=1/4所获信息量:I(P{(x=x:)-(P2(x=x) 第二次测量:P3(x=x)=1/2所获信息量:I(P2(x=x;)-/(P(x=x) 第三次测量:P(x=x)=1所获信息量:/(P3(x=x;)(P2x=x)) 第三次第二次 第一次 1⑧③8⑧⑧8 图2.28个灯泡串联示意图 自信息:某个事件x含有的信息量(不确定性)。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 22/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 22/159 i i i i i i i i i i P x x P x x I P x x I P x x P x x I P x x I P x x P x x I P x x I P x x 1 2 1 2 3 2 3 4 3 4 ( ) 1 / 8 ( ) 1 / 4 ( ( )) ( ( )) ( ) 1 / 2 ( ( )) ( ( )) ( ) 1 ( ( )) ( ( )) = = = = = − = = = = − = = = = − = 先验概率： 第一次测量： 所获信息量： 第二次测量： 所获信息量： 第三次测量： 所获信息量： 自信息：某个事件xi含有的信息量（不确定性）
22.1离散变量的自信息量 信息量与不确定性 0信息量的直观定义: 收到某消息获得的信息量=不确定性减少的量 =(收到此消息前关于某事件发生的不确定性) (收到此消息后关于某事件发生的不确定性) 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 23/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 23/159 信息量与不确定性 ◦ 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性)
2.2.1离散变量的自信息量 〉信息量与不确定性 0信息量的直观定义: 在无噪声时,通过信道的传输,可以完全不失真地收到所发的 消息,收到此消息后关于某事件发生的不确定性完全消除,此 项为零。因此: 收到某消息获得的信息量 =收到此消息前关于某事件发生的不确定性 =信源输出的某消息中所含有的信息量 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 24/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 24/159 信息量与不确定性 ◦ 信息量的直观定义： 在无噪声时，通过信道的传输，可以完全不失真地收到所发的 消息，收到此消息后关于某事件发生的不确定性完全消除，此 项为零。因此： 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
2.2.1离散变量的自信息量 不确定性与发生概率 事件发生的概率越小,我们猜测它有没有发生的困难程度就越大, 不确定性就越大。 事件发生的概率越大,我们猜测这件事发生的可能性就越大,不 确定性就越小。 概率等于1的必然事件,就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 25/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 25/159 不确定性与发生概率 ◦ 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大， 不确定性就越大。 ◦ 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不 确定性就越小。 ◦ 概率等于 1 的必然事件，就不存在不确定性。 ◦ 某事件发生所含有的信息量应该是该事件发生的先验概率的函数