1.2香农信息的定义消息信源信道信宿（发送者）（接收者）干扰或噪声信息的传递：不确定性消除或减小的过程信源信宿（理想情况下）接收者在收到消息以前不1-p知道消息的具体内容（疑义或不知），收00到消息后疑义完全消除对接收者而言，消息传递过程是一个从不知到知的过程9（有噪声干扰时）接收者收到消息后由于噪声或干扰，无法获得准确的消息1-q对接收者而言，消息传递过程是一个从知之甚少到知之甚多的过程信息：事物运动或存在方式的不确定性的描述11/35信息论与编码技术
信息论与编码技术 11/35 信息的传递：不确定性消除或减小的过程 （理想情况下）接收者在收到消息以前不 知道消息的具体内容（疑义或不知），收 到消息后疑义完全消除 ◦ 对接收者而言，消息传递过程是一个从不知到 知的过程 （有噪声干扰时）接收者收到消息后由于 噪声或干扰，无法获得准确的消息 ◦ 对接收者而言，消息传递过程是一个从知之甚 少到知之甚多的过程 信息：事物运动或存在方式的不确定性 的描述 信源 信道 信宿 消息 干扰或噪声 （发送者） （接收者） 0 1 0 1 1-q 1-p p q 信源 信宿
1.3香农信息的度量、信息量与不确定性消除的程度有关、不确定性就是随机性一概率论和随机过程测度不确定性的大小。例子：甲袋：100球（50红+50白）乙袋：100球（25红+25蓝+25绿+25白）问题：从甲袋和乙袋一次取出红球的不确定性那个大？（取出前的不确定性，取出后消除的不确定性）12/35信息论与编码技术
信息论与编码技术 12/35 信息量与不确定性消除的程度有关 不确定性就是随机性—概率论和随机过程测度不确 定性的大小 ◦ 例子：甲袋：100球（50红+50白） 乙袋：100球（25红+25蓝+25绿+25白） 问题：从甲袋和乙袋一次取出红球的不确定性那个大？ （取出前的不确定性, 取出后消除的不确定性）