信息论与编码 数学与计算机科学学院朱西平 (xpzhu188@163.com)
信息论与编码 数学与计算机科学学院 朱西平 (xpzhu188@163.com )
信息论发展简史 信息论是在长期通信工程的实践中,由通信技术与概率论 随机过程和数理统计相结合而逐步发展起来的一门科学 奈魁斯特:他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系 哈特莱( Hartley):他在1928年用概率的观点来分析信息传 输问题; 仙农( Claude E. Shannon):1948年发表《通信的数学理 论》( A Mathematical Theory of Communication),为创立信 艮论作出了决定性的贡献; 维纳(N. Wiener)等:为信息论的进一步发展和拓展作了大 量工作;主要在通信的统计理论与滤波器理论方面
一、信息论发展简史 ◼ 信息论是在长期通信工程的实践中，由通信技术与概率论、 随机过程和数理统计相结合而逐步发展起来的一门科学。 ◼ 奈魁斯特：他在1924年研究影响电报传递速度的因素时,就 察觉到信息传输速度和频带宽度有关系; ◼ 哈特莱(Hartley)：他在1928年用概率的观点来分析信息传 输问题; ◼ 仙农（Claude E.Shannon)：1948年发表《通信的数学理 论》(A Mathematical Theory of Communication),为创立信 息论作出了决定性的贡献; ◼ 维纳(N. Wiener)等：为信息论的进一步发展和拓展作了大 量工作;主要在通信的统计理论与滤波器理论方面
信息的概念和度量 算加2, 1、信息论中“信息”与其他概念的区别 2、仙农关于“信息”的定义 3、信息的度量 4、仙农关于信息定义和度量的优点和局限
二、信息的概念和度量 1、信息论中“信息” 与其他概念的区别 2、仙农关于“信息”的定义 3、信息的度量 4、仙农关于信息定义和度量的优点和局限
信息论中“信息”与其他概念的区别 “信息”是信息论中最基本、最重要的概念,它是一个既 抽象又复杂的概念 信息”不同于消息 在现代信息论形成之前,信息一直被看作是通信中消息的同 义词,没有严格的数学含义 所谓消息,是用文字、符号、数据、语言、图片、图像等能 够被人们感觉器官所感知的形式,把客观事物运动和主观思 维活动的状态表达出来; 消息是信息的载体;消息是表现形式,信息是实质; 信息”不同于情报 情报往往是军事学、文献学方面的习惯用词,它的含义比 “信息”窄的多,一般只限于特殊的领域,是一类特殊的信 “情报”是人们对于某个特定对象所见、所闻、所理解产生 的知识
信息论中“信息” 与其他概念的区别 ◼ “信息”是信息论中最基本、最重要的概念，它是一个既 抽象又复杂的概念； ◼ “信息”不同于消息 ◼ 在现代信息论形成之前，信息一直被看作是通信中消息的同 义词，没有严格的数学含义； ◼ 所谓消息，是用文字、符号、数据、语言、图片、图像等能 够被人们感觉器官所感知的形式，把客观事物运动和主观思 维活动的状态表达出来； ◼ 消息是信息的载体；消息是表现形式，信息是实质； ◼ “信息”不同于情报 ◼ 情报往往是军事学、文献学方面的习惯用词，它的含义比 “信息”窄的多，一般只限于特殊的领域，是一类特殊的信 息； ◼ “情报”是人们对于某个特定对象所见、所闻、所理解产生 的知识；
信息论中“信息”与其他概念的区别(续) “信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的 数据中整理、概括、提取得到的有价值的信息, 是一种高层次的信息; 知识是信息,但不等于信息的全体; “信息”不同于信号 把消息变换成适合信道传输的物理量,就是信 号;信号是承载消息的物理量
信息论中“信息” 与其他概念的区别(续) ◼ “信息”不同于知识 ◼ 知识是人们根据某种目的,从自然界收集得来的 数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息； ◼ 知识是信息，但不等于信息的全体； ◼ “信息”不同于信号 ◼ 把消息变换成适合信道传输的物理量，就是信 号；信号是承载消息的物理量；