上游充通大兽 第一节什么是信息、 SHANGHAI JIAO TONG UNIVERSITY 三、信息论概略 •概说 信息论，是在二战以后，随着电信工业的蓬勃发展而兴起的。诞 生的标志是申农的代表作《通讯中的数学理论》和《噪音中的通讯》 的发表。该理论重点探讨信息的测定与传递，而不是信息的意义。 信息论的主要任务是，用概率论和数理统计方法，研究信息的度 量、传递和变换规律，特别是研究通讯和控制系统中普遍存在的信息 活动的共同规律。包括：如何达成信息获取、度量、变换的最佳效果， 如何保证准确性、可靠性等。 第六章传播内容的中介、媒体与表达
第六章 传播内容的中介、媒体与表达 三、信息论概略 •概说 信息论，是在二战以后，随着电信工业的蓬勃发展而兴起的。诞 生的标志是申农的代表作《通讯中的数学理论》和《噪音中的通讯》 的发表。该理论重点探讨信息的测定与传递，而不是信息的意义。 信息论的主要任务是，用概率论和数理统计方法，研究信息的度 量、传递和变换规律，特别是研究通讯和控制系统中普遍存在的信息 活动的共同规律。包括：如何达成信息获取、度量、变换的最佳效果， 如何保证准确性、可靠性等。 第一节 什么是信息
上游充通大兽 第一节什么是信息、 SHANGHAI JIAO TONG UNIVERSITY 申农是现代通讯理论-一 信息论的创始人、影响人 类社会进程的科学家。历 史证明质量、能量和信息 量是三个非常重要的物理 量，而如何度量信息的数 量问题是信息论解决的。 仙农，C.E. 第六章传播内容的中介、媒体与表达
第六章 传播内容的中介、媒体与表达 申农是现代通讯理论-- 信息论的创始人、影响人 类社会进程的科学家。历 史证明质量、能量和信息 量是三个非常重要的物理 量，而如何度量信息的数 量问题是信息论解决的。 第一节 什么是信息
上游充通大兽 第一节什么是信息 SHANGHAI JIAO TONG UNIVERSITY 信息量及其计算公式 信息量(information content):获得某个消息时被消除的 不确定性的大小。 计算公式： H=-∑P(X)logP(X) i=1 H:每个讯息的平均信息量；k:波尔兹曼常数；P:先验概率。 上述公式如用文字表述，即信息量等于可能性选择的概率的对数。 第六章传播内容的中介、媒体与表达
第六章 传播内容的中介、媒体与表达 •信息量及其计算公式 信息量（information content ）：获得某个消息时被消除的 不确定性的大小。 计算公式： H：每个讯息的平均信息量；k：波尔兹曼常数；P：先验概率。 上述公式如用文字表述，即信息量等于可能性选择的概率的对数。 H 第一节 什么是信息
上游充通大兽 第一节什么是信息 SHANGHAI JIAO TONG UNIVERSITY 信息量 =-∑P(Xi)logP(X) i=1 H硬币=-∑P(Xi)logP(Xi) =1 =-(2×1/2)×0gP2(1/2)1(比特) H殷子F-∑P(X)logP(X) i=1 =6×(1/6)×0gP2(1/6)2.6(比特) 第六章传播内容的中介、媒体与表达
第六章 传播内容的中介、媒体与表达 信息量 第一节 什么是信息
上游充通大兽 第一节什么是信息 SHANGHAI JIAO TONG UNIVERSITY 熵 物理学概念，是对随机程度的度量，用以表达一种情况的不确定 性或混乱状态。 熵（不确定性）越多，可预测性就越少，信息量也就越大；当一 个情形完全可以预测，就无所谓信息量，该情形叫负熵。 信息熵是描述信源本身统计特性的一个物理量。信息量则往往是针 对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除 了对信源的平均不定度，它具有相对性。 冗余信息 信息中确定的、非选择性的部分，叫冗余信息。冗余信息的存在与 否不影响讯息的完整性。冗余信息可帮助受众通过联系前后文脉与文化 积累，对一条讯息进行拾遗、补漏、纠错，增强对信息本身及未知信息 的理解。例如，人们撰写文章总要使用大量的常识来论证一个新观点， 道理即源于此。 第六章传播内容的中介、媒体与表达
第六章 传播内容的中介、媒体与表达 •熵 物理学概念，是对随机程度的度量，用以表达一种情况的不确定 性或混乱状态。 熵（不确定性）越多，可预测性就越少，信息量也就越大；当一 个情形完全可以预测，就无所谓信息量，该情形叫负熵。 信息熵是描述信源本身统计特性的一个物理量。信息量则往往是针 对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除 了对信源的平均不定度，它具有相对性。 •冗余信息 信息中确定的、非选择性的部分，叫冗余信息。冗余信息的存在与 否不影响讯息的完整性。冗余信息可帮助受众通过联系前后文脉与文化 积累，对一条讯息进行拾遗、补漏、纠错，增强对信息本身及未知信息 的理解。例如，人们撰写文章总要使用大量的常识来论证一个新观点， 道理即源于此。 第一节 什么是信息