The measurement of information 口信息/消息/信号 ■消息( Message):具体,一般不定量分b ■信息( Information):抽象,可以度量,定 ■信号( Signal):是信息(消息)的载体 口信息量:信息多少的度量 ■事件发生的可能性越小,使人感到惊奇与意外,其信息量↑, 即消息中的信息量与事件发生的概率紧密相关一 口事件出现的概率↓→信息量↑ 口事件出现的概率↑→信息量↓ 口P=1→信息量0;P=0→信息量=∞ 信息量的大小与消息的种类和事件的重要程度无关
6 The Measurement of Information 信息/消息/信号 ◼ 信息（Information）：抽象，可以度量，定量分析 ◼ 消息（Message）：具体，一般不定量分析 ◼ 信号（Signal）：是信息（消息）的载体 信息量：信息多少的度量 ◼ 事件发生的可能性越小，使人感到惊奇与意外，其信息量↑， 即消息中的信息量与事件发生的概率紧密相关 事件出现的概率↓→信息量↑ 事件出现的概率↑→信息量↓ P=1→信息量=0；P=0→信息量=∞ ◼ 信息量的大小与消息的种类和事件的重要程度无关
信息量的定义 口信息量 1=log a[1/P(x)=log ap(x) 口若a=2,则信息量的单位为bit 口若a=e,则信息量的单位为nat 口若a=10,则信息量的单位为哈特莱 口P(x)为消息出现的概率
7 信息量的定义 信息量 若 ，则信息量的单位为bit 若 ，则信息量的单位为nat 若 ，则信息量的单位为哈特莱 为消息出现的概率 a = 2 I = log a[1/ P(x)] = −log aP(x) a =e a =10 P(x)
信息量的计算 口离散信源 ■所产生的消息是一种有限个状态的随机序列 口连续信源 ■所产生的消息的数目是无限的
8 信息量的计算 离散信源 ◼ 所产生的消息是一种有限个状态的随机序列 连续信源 ◼ 所产生的消息的数目是无限的
Communication Tasks(Table 1.1) a Transmission system utilization 日 Interfacing a Signal generation 吉 Synchronization 日 Exchange management d Error detection and correction 口F| ow contro 日 Addressing 口 Routing 日 Recovery 日 Message formatting Security 口 Network management
9 Communication Tasks (Table 1.1) Transmission system utilization Interfacing Signal generation Synchronization Exchange management Error detection and correction Flow control Addressing Routing Recovery Message formatting Security Network management
Transmission system utilization a Transmission system utilization refers to the need to make efficient use of transmission facilities that are typically shared among a number of communicating devices. Various techniques(referred to as multiplexing)are used to allocate the total capacity of a transmission medium among a number of users. Congestion control techniques may be required to assure that the system is not overwhelmed by excessive demand for transmission services
10 Transmission system utilization Transmission system utilization refers to the need to make efficient use of transmission facilities that are typically shared among a number of communicating devices. Various techniques (referred to as multiplexing) are used to allocate the total capacity of a transmission medium among a number of users. Congestion control techniques may be required to assure that the system is not overwhelmed by excessive demand for transmission services