自信息量 1)函数I(x)的属性 1°若有两个事件x,xj,其先验概率为p(x0 x,则事件x比事件xf有更大的不确定性,同时 会带来更多的信息量;I(x)>I(x) 20事件x/先验概率风=1(确定事件),则不 存在不确定性,同时不会带来信息量;I(x)=0 3°事件x先验概率风x=0(不可能事件),则存 在不确定性应为无穷大,同时会带来无穷的信息量;I(x c。n 40两个统计独立事件的联合自信息量应等于它们各 自信息量之和则I(Xy)=I(x)+I(y)
一、自信息量 1) 函数 I(x i) 的属性 1º 若有两个事件x i ，x j ，其先验概率为 p(x i) ＜p(x j)，则事件x i 比事件x j 有更大的不确定性，同时 会带来更多的信息量； I(xi ) > I(xj ) 2º 事件x i 先验概率 p(xi) = 1 （确定事件）, 则不 存在不确定性，同时不会带来信息量； I( xi ) = 0. 3º 事件x i 先验概率 p(xi) = 0（不可能事件）, 则存 在不确定性应为无穷大，同时会带来无穷的信息量； I(xi) →∞. 4º 两个统计独立事件的联合自信息量应等于它们各 自信息量之和; 则 I( x y ) = I( x )＋I( y )
)定义一个符号消息x的自信息量为其发生概率的对数 的负数,并记为I(x) I(x, )=-logp(x 当p(x)=0,则I(x1)→O;当p(x)=1,则Ix)=0 3)自信息量的单位 自信息量的单位与所用对数的底有关: °对数的底是2时,单位为比特—bit( binary unit) 2°对数的底是e(自然对数)时,单位为奈特 nat(nature unit 3°对数的底是10(常用对数)时,单位为笛特或哈特 -det(decimal unit) or Hart(Hartley)
2) 定义 一个符号消息 xi的自信息量为其发生概率的对数 的负数，并记为 I(xi )： I (xi ) = －log p(xi ) 当p(xi )=0，则 I(xi )→∞；当p(xi )=1，则 I(xi )=0. 3) 自信息量的单位 自信息量的单位与所用对数的底有关： 1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特 — nat(nature unit) 3º对数的底是10(常用对数) 时，单位为笛特或哈特 — det (decimal unit) or Hart (Hartley)
三种信息量单位之间的换算 ldet=log210≈3322bit lbit=ln2≈0.6931nat I bit 2≈0.3010det I nat=loge4427 bit 在信息论中常用以2为底的对数,为了书写方便,以 后将log2书写为log,因其单位为比特bit,不会产生混淆; 注意有些文献将o书写为1b 4自信息量的含义 是随机量、根据单个符号消息的先验概率确定其信息 量和不确定度
三种信息量单位之间的换算： 1 det = log2 10 ≈ 3.322 bit 1 bit = ln 2 ≈ 0.6931 nat 1 bit = lg 2 ≈ 0.3010 det 1 nat = log2 e ≈ 1.4427 bit 在信息论中常用以2为底的对数，为了书写方便，以 后将log2书写为log，因其单位为比特bit，不会产生混淆； 注意 有些文献将log2书写为 lb 4) 自信息量的含义 是随机量、根据单个符号消息的先验概率确定其信息 量和不确定度
二、离散信源熵 信源X发出某一个符号提供的信息量不适合描述信源 X发出一个符号提供的信息量 定义信息源的平均不确定度为信源中各个符号不确定度 的数学期望,记作H(0 H(X)=∑p(x)(x)=∑p(x)lg(x) 其中p(x)2≥0,∑px)=1 从X)又称为信源X的信源熵
二、离散信源熵 信源 X 发出某一个符号提供的信息量不适合描述信源 X发出一个符号提供的信息量。 定义 信息源的平均不确定度为信源中各个符号不确定 度 的数学期望，记作H (X) 其中 H(X) 又称为信源X的信源熵。 = = n i p xi p xi 1 ( ) 0, ( ) 1 = = = = − n i i i n i H X p xi I xi p x x 1 1 ( ) ( ) ( ) ( )log( )
2)H(X)的含义 10表示的是信源的平均不确定度。 2表示信源X发出一个符号提供的平均信息量。 3°是统计量、数学期望(统计平均)、各个符号平均不 确定度和平均信息量 3)信源熵单位: 二进制:bit/信源符号,或bit/信源序列 十进制:det/信源符号,或de/信源序列 e进制:nat/信源符号,或nat/信源序列
2) H(X) 的含义 1º表示的是信源的平均不确定度。 2º表示信源 X 发出一个符号提供的平均信息量。 3º是统计量、数学期望（统计平均）、各个符号平均不 确定度和平均信息量。 3) 信源熵单位： 二进制: bit/信源符号，或bit/信源序列 十进制: det/信源符号，或det/信源序列 e进制: nat/信源符号，或nat/信源序列