9）认识主体获得的信息信息三先验不确定性一后验不确定性
9) 认识主体获得的信息 信息＝先验不确定性 －后验不确定性
确定性与信息2.3不确定性的种类未经统计平均的不确定性：自信息量、条件自信息量、联合自信息量统计平均意义下的不确定性：熵、条件熵、联合
2.3 确定性与信息 • 不确定性的种类： 1) 未经统计平均的不确定性：自信息量、 条件自信息量、联合自信息量 2) 统计平均意义下的不确定性：熵、条件 熵、联合熵
2.3.1自信息量x,的自信息：随机变量X取值x,的不确定性，1定义： I(x)=log=-log P(xk)P(xk)说明：自信息量与信息有联系，但不是信息，而是符号的先验不确定性
2.3.1自信息量 说明：自信息量与信息有联系，但不 是信息，而是符号的先验不确定性。 1 ( ) log log ( ) ( ) k k k k k x X x I x P x P x 的自信息：随机变量 取值 的不确定性， 定义：
某地二月份天气的概率分布统计例如下：a,(晴),αz (阴), α,(雨), α (雪)X=11P(X)8248这四种气候的自信息量分别为：I(a)=1 bit,I(a,)= 2bit,I(a)=3bitI(a,)= 3bit
例 这四种气候的自信息量分别为 : 1 2 3 4 ( ), ( ), ( ), ( ) 1 1 1 1 ( ) , , , 2 4 8 8 a a a a X P X 晴 阴 雨 雪 某地二月份天气的概率分布统计 如下： 4 I a bit ( ) 3 3 ，I a bit ( ) 3 。 2 I a bit ( ) 1 1 ，I a bit ( ) 2
自信息量的单位（比特）：对数底为22一二进制单位bit/符号对数底为e一自然单位（奈特）：nat/符号
自信息量的单位 对数底为2——二进制单位（比特）： bit/符号 对数底为e——自然单位（奈特）： nat/符号