2.2.1自信息、信息量的大小与不确定性消除的多少有关。无噪声信道。有噪声信道、不确定性多少与事件发生的概率相关[例2.1假设一条电线上申联了8个灯泡x122,**8如图2.1所示。这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏，致使串联灯泡都不能点亮。在未检查之前，我们不知道哪个灯泡，已损坏，是不知的、不确定的。我们只有通过检查，用万用表去测量电路有否断路，获得足够的信息量，才能获知和确定哪个灯泡，已损坏。第二次第一次第三次图2.28个灯泡串联示意图21/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 21/159 信息量的大小与不确定性消除的多少有关 ◦ 无噪声信道 ◦ 有噪声信道 不确定性多少与事件发生的概率相关
2.2.1自信息先验概率：R(x)=1/8第一次测量： P(x)=1/4所获信息量：I(P(x))-I(P(x))第二次测量：P(x)=1/2所获信息量：I(P2(x))-I(P(x)第三次测量：P4(x)=1所获信息量：I(P(x)-I(P4(x)22/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 22/159 ( ) 1 ( ( )) ( ( )) ( ) 1/ 2 ( ( )) ( ( )) ( ) 1/ 4 ( ( )) ( ( )) ( ) 1/8 4 3 4 3 2 3 2 1 2 1 P x I P x I P x P x I P x I P x P x I P x I P x P x = − = − = − = 第三次测量： 所获信息量： 第二次测量： 所获信息量： 第一次测量： 所获信息量： 先验概率：
离散变量的自信息量2. 2. 1信息量与不确定性信息量的直观定义：。收到某消息获得的信息量三不确定性减少的量一(收到此消息前关于某事件发生的不确定性)一(收到此消息后关于某事件发生的不确定性)23/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 23/159 信息量与不确定性 ◦ 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性)
离散变量的自信息量2. 2. 1信息量与不确定性信息量的直观定义：·在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：收到某消息获得的信息量一收到此消息前关于某事件发生的不确定性一信源输出的某消息中所含有的信息量24/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 24/159 信息量与不确定性 ◦ 信息量的直观定义： 在无噪声时，通过信道的传输，可以完全不失真地收到所发的 消息，收到此消息后关于某事件发生的不确定性完全消除，此 项为零。因此： 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
离散变量的自信息量2. 2. 1不确定性与发生概率．事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。概率等于1的必然事件，就不存在不确定性某事件发生所含有的信息量应该是该事件发生的先验概率的函数。25/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 25/159 不确定性与发生概率 ◦ 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大， 不确定性就越大。 ◦ 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不 确定性就越小。 ◦ 概率等于 1 的必然事件，就不存在不确定性。 ◦ 某事件发生所含有的信息量应该是该事件发生的先验概率的函数