教字通信原理 (2) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 1 数字通信原理 （2）
第二章信息论基本知识 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 2 第二章 信息论基本知识
21信息的度量 1.信息与消息 消息是由符号、文字、数字、语音或图像组成的序列; 收到一则消息后,所得的信息量,在数量上等于获得 消息前后“不确定性”的消除量; 消息是信息的载体,信息是消息的内涵; 通信的目的在与传送信息。 2001 Copyright SCUT DT&P Labs 3
2001 Copyright SCUT DT&P Labs 3 2.1 信息的度量 1. 信息与消息 ◼ 消息是由符号、文字、数字、语音或图像组成的序列； ◼ 收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； ◼ 消息是信息的载体，信息是消息的内涵； ◼ 通信的目的在与传送信息
2.1信息的度量 2.信息的度量 不确定性--可能性--可能性的大小可用概率来度 信息的度量方式还应满足可加性; 信息量应该是事件发生概率的函数; 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 4 2.1 信息的度量 2. 信息的度量 ◼ 不确定性－－可能性－－可能性的大小可用概率来度 量； ◼ 信息的度量方式还应满足可加性； ◼ 信息量应该是事件发生概率的函数；
21信息的度量 3.离散信源的信息量 离散信源统计特性的描述--概率场 设离散信源包含N中可能的符号,相应的概率场: X1 x2 x3 p(xl)p(x2) p(x3)..... P(XN 例:英文字母出现的概率,见表2-1 汉字电报中数字代码出现的概率,见表2-2 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 5 2.1 信息的度量 3. 离散信源的信息量 离散信源统计特性的描述－－概率场 设离散信源包含N中可能的符号，相应的概率场： x1 x2 x3 . . . . . xN p(x1) p(x2) p(x3) . . . . . P(xN) 例：英文字母出现的概率，见表2－1 汉字电报中数字代码出现的概率，见表2－2