仙农关于“信息”的定义 关于信息的科学定义,目前已有百余种流行的说法,它们 从不同的侧面和层次来揭示信息的本质; 仙农从研究通信系统传输的实质出发,对信息做出了科学 的定义; 仙农注意到:收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说,是一个从不 知到知的过程,或者从知之甚少到知之甚多的过程,或是 从不确定到部分确定或全部确定的过程。 因此,对于收信者来说,通信过程是消除事物状态的不确定 性的过程,不确定性的消除,就获得了信息,原先的不确 定性消除的越多,获得的信息就越多; “信息”是事物运动状态或存在方式的不确定性的描述, 这就是仙农关于信息的定义
仙农关于“信息”的定义 ◼ 关于信息的科学定义，目前已有百余种流行的说法，它们 从不同的侧面和层次来揭示信息的本质； ◼ 仙农从研究通信系统传输的实质出发，对信息做出了科学 的定义； ◼ 仙农注意到：收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说，是一个从不 知到知的过程，或者从知之甚少到知之甚多的过程，或是 从不确定到部分确定或全部确定的过程。 ◼ 因此, 对于收信者来说, 通信过程是消除事物状态的不确定 性的过程，不确定性的消除，就获得了信息，原先的不确 定性消除的越多，获得的信息就越多； ◼ “信息”是事物运动状态或存在方式的不确定性的描述， 这就是仙农关于信息的定义
信息的度量 信息的度量(信息量)和不确定性消除的程 度有关,消除了多少不确定性,就获得了多 少信 不确定性就是随机性,可以用概率论和随机 过程来测度不确定性的大小,出现概率小的 事件,其不确定性大,反之,不确定性小; ■由以上两点可知:概率小—>信息量大 即信息量是概率的单调递减函数 此外,信息量应该具有可加性
信息的度量 ◼ 信息的度量（信息量）和不确定性消除的程 度有关，消除了多少不确定性，就获得了多 少信息量； ◼ 不确定性就是随机性，可以用概率论和随机 过程来测度不确定性的大小，出现概率小的 事件，其不确定性大，反之，不确定性小； ◼ 由以上两点可知：概率小 ——> 信息量大， 即信息量是概率的单调递减函数； ◼ 此外，信息量应该具有可加性；
信息的度量(续) 由于信息量与概率成反比,并且具有可加性, 可以证明,信息量的计算式为 I(xk)=log 2 log 2 其中P是事件X发生的概率,这也是先衣关 于(自)信息量的度量概率信息); 自信息量(x)的含义 当事件ⅹ发生以前,表示事件发生的不确定性; 当事件X发生以后,表示事件X所提供的信息量;
信息的度量（续） ◼ 由于信息量与概率成反比，并且具有可加性， 可以证明，信息量的计算式为 其中Pk是事件Xk发生的概率，这也是先农关 于(自)信息量的度量(概率信息)； ◼ 自信息量 I(xk ) 的含义 ◼ 当事件 xk发生以前，表示事件xk发生的不确定性； ◼ 当事件 xk发生以后，表示事件xk所提供的信息量； k k k P p I x 2 2 log 1 ( ) = log = −
信息的度量(续) 计算信息量主要要注意有关事件发生概率的 计算; 例:从26个英文字母中,随即选取一个字母, 则该事件的自信息量为 =-og2(126)=47比特 例:设m比特的二进制数中的每一个是等概 率出现的(这样的数共有2m个),则任何一个 数出现的自信息为 1=-og2(1/2m)=m比特符号
信息的度量（续） ◼ 计算信息量主要要注意有关事件发生概率的 计算； ◼ 例：从26个英文字母中，随即选取一个字母， 则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 ◼ 例：设m比特的二进制数中的每一个是等概 率出现的(这样的数共有2 m个)，则任何一个 数出现的自信息为: I = -log2 (1/ 2m) = m 比特/符号
信息的度量(续) ■自信息量的单位 自信息量的单位取决于对数的底 底为2,单位为“比特(bit)”; 底为e,单位为“奈特(nat)”; ■底为10,单位为“哈特(hat 1 nat = 1. 44bit 1 hat =3.32 bit
信息的度量（续） ◼ 自信息量的单位 ◼ 自信息量的单位取决于对数的底； ◼ 底为2，单位为“比特（bit）” ； ◼ 底为e，单位为“奈特（nat）” ； ◼ 底为10，单位为“哈特（hat）” ； ◼ 1 nat = 1.44bit , 1 hat = 3.32 bit；