先农关于信息定义和度量的优点 ■优点 它是一个科学的定义,有明确的数学模型和定 量计算; 它与日常生活中关于信息的理解不矛盾 它排除了对信息一词某些主观性的含义,是纯 粹形式化的概念;
先农关于信息定义和度量的优点 ◼ 优点 ◼ 它是一个科学的定义，有明确的数学模型和定 量计算； ◼ 它与日常生活中关于信息的理解不矛盾； ◼ 它排除了对信息一词某些主观性的含义，是纯 粹形式化的概念；
先农关于信息定义和度量的局限 ■局限 这个定义的出发点是假设事物的状态可以用 个以经典集合论为基础的概率模型来描述,然 而实际存在的某些事物运动状态很难用一个合 适的经典概率模型来描述,甚至在某些情况下 不存在这样的模型; 这个定义和度量没有考虑收信者的主观性和主 观意义,也抛开了事物本身的具体含义、用途、 重要程度和引起的后果等,这与实际不完全 致
先农关于信息定义和度量的局限 ◼ 局限 ◼ 这个定义的出发点是假设事物的状态可以用一 个以经典集合论为基础的概率模型来描述，然 而实际存在的某些事物运动状态很难用一个合 适的经典概率模型来描述，甚至在某些情况下 不存在这样的模型； ◼ 这个定义和度量没有考虑收信者的主观性和主 观意义，也抛开了事物本身的具体含义、用途、 重要程度和引起的后果等，这与实际不完全一 致
平均信息量熵 算加2, 1、熵( Entropy)的概念 2、熵的计算 3、熵的含义 4、熵的性质 5、剩余度AH
三、平均信息量—熵 1、熵(Entropy)的概念 2、熵的计算 3、熵的含义 4、熵的性质 5、剩余度ΔH
熵( Entropy)的概念 M神L 通常研究单独一个事件或单独一个符号的信 息量是不够的,往往需要研究整个事件集合 或符号序列(如信源)的平均的信息量(总体特 征),这就需要引入新的概念;
熵(Entropy)的概念 ◼ 通常研究单独一个事件或单独一个符号的信 息量是不够的，往往需要研究整个事件集合 或符号序列(如信源)的平均的信息量(总体特 征)，这就需要引入新的概念；
熵( Entropy)的概念(续) ■假设离散事件集合的概率特性由以下数学模型表示: n ΣP(1)=1 D(a1)p(a2) 则如果将自信息量看为一个随机变量,其平均信 息量为自信息量的数学期望,其定义为: H(X)=E log 2P(a; )*log p(ai) p(a1) 由于这个表达式和统计物理学中热熵的表达式相似, 且在概念上也有相似之处,因此借用“熵”这个词, 把H(X)称为信息“熵
熵(Entropy)的概念（续） ◼ 假设离散事件集合的概率特性由以下数学模型表示： 则如果将自信息量看为一个随机变量，其平均信 息量为自信息量的数学期望，其定义为： ◼ 由于这个表达式和统计物理学中热熵的表达式相似， 且在概念上也有相似之处，因此借用“熵”这个词， 把H(X)称为信息“熵” ； = ( ) ( ) ...... ( ) ...... ( ) 1 2 1 2 n n p a p a P a a a a p x X = = n i P ai 1 ( ) 1 = = − = n i i i i p a p a p a H X E 1 ( )* log ( ) ( ) 1 ( ) log