第2章信息的度量2.1基本要求通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质、离散信源的及其性质、平均互信息的性质、无记忆信源的扩展，了解离散有记忆信源的熵、马尔可夫信源的摘，掌握离散信源的信息率的概念、连续信源的微分以及微分的极大化，了解连续信源的功率的概念。2.2学习要点2.2.1信源的分类2.2.1.1根据信源的参数和值分类信源在t，时刻输出的X，是随机变量，取值于Ex符号表，表示为(x，teT），其中,X,EEx。根据参数和值的性质，可将信源分为四类：空间离散信源时间离散信源时间离散空间离散信源：T和Ex均离散时间离散空间连续信源：T离散，E连续空间连续信源时间连续信源【时间连续空间离散信源：T连续，E离散（波形信源）时间连续空间连续信源：T和E，均连续为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通常简单化表示如下：空间离散信源→离散信源空间连续信源→连续信源2.2.1.2根据信源的记忆特性分类无记忆信源N维分布函数：Fx ()-IFx, (,)(2.1)各符号间统计无关。有记忆信源各符号间统计相关。10
10 第2章 信息的度量 2.1 基本要求 通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质、离散信 源的熵及其性质、平均互信息的性质、无记忆信源的扩展，了解离散有记忆信源的熵、马尔 可夫信源的熵，掌握离散信源的信息率的概念、连续信源的微分熵以及微分熵的极大化，了 解连续信源的熵功率的概念。 2.2 学习要点 2.2.1 信源的分类 2.2.1.1 根据信源的参数和值分类 信源在 k t 时刻输出的 k Xt 是随机变量，取值于 EX 符号表，表示为 Xt tk T k , ，其 中， k Xt EX 。 根据参数和值的性质，可将信源分为四类： 时间离散空间离散信源：T 和 EX 均离散 时间离散空间连续信源：T 离散， EX 连续 时间连续空间离散信源：T 连续， EX 离散 时间连续空间连续信源：T 和 EX 均连续 为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通 常简单化表示如下： 空间离散信源→离散信源 空间连续信源→连续信源 2.2.1.2 根据信源的记忆特性分类 无记忆信源 N 维分布函数： N i X X N X i F x x x F x i t tN t 1 1 2 ( , , , ) ( ) 1 （2.1） 各符号间统计无关。 有记忆信源各符号间统计相关。 空间离散信源 空间连续信源 （波形信源） 时间离散信源 时间连续信源
2.2.1.3根据信源的平稳特性分类平稳信源：序列的统计特性与时间的推移无关。(2.2)Fx--w (X1,X2X)=Fx (X1,2,",Xn)平稳信源也是有记忆的，只是记忆的长度有限。N阶平稳信源：任一时刻t,的输出，只与前面N-1时刻tk-(N-I)）、s--的输出有关。平稳信源只需考虑任意N个相邻时刻的输出序列：XN-X,X,.XN(2.3)独立同分布信源：无记忆信源各个时刻的随机变量是同分布的。非平稳信源：不满足上面条件的信源。2.2.2信源的数学模型2.2.2.1离散无记忆信源的数学模型离散无记忆信源（DMS）的数学模型可用概率空间表示：(2.4)[X, Px]=[x, P(x)|k =1,2,--,K]也可用下式表示XTXXX(2.5)[Px]-[P(x) P(x2) -.. P(xx)]若满足约束条件Zp(x)=1，则称为完备信源。K二2.2.2.2非理想观察模型非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问题，并能简明的解释一些理论问题。对信源X进行观察，观察结果为y（j=1,2，",J），y，是信源Y的取值。一般来说，由于有干扰存在，观察过程是非理想的。图2.1是K=2、J=3的非理想观察过程。11
11 2.2.1.3 根据信源的平稳特性分类 平稳信源：序列的统计特性与时间的推移无关。 ( , , , ) ( , , , ) 1 2 1 2 1 1 X X N X X N F x x x F x x x t tN t tN （2.2） 平稳信源也是有记忆的，只是记忆的长度有限。 N 阶平稳信源：任一时刻 kt 的输出，只与前面 N-1 时刻 k(N1) t 、.、 k1 t 的输出有关。 平稳信源只需考虑任意 N 个相邻时刻的输出序列： N N X X1X2 X （2.3） 独立同分布信源：无记忆信源各个时刻的随机变量是同分布的。 非平稳信源：不满足上面条件的信源。 2.2.2 信源的数学模型 2.2.2.1 离散无记忆信源的数学模型 离散无记忆信源（DMS）的数学模型可用概率空间表示： [X, P ] [x , P(x ) | k 1, 2, ,K] X k k （2.4） 也可用下式表示 ( ) ( ) ( ) 2 2 1 1 K K X P x x P x x P x x P X （2.5） 若满足约束条件 1 ()1 K k k p x ，则称为完备信源。 2.2.2.2 非理想观察模型 非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问 题，并能简明的解释一些理论问题。 对信源 X 进行观察，观察结果为 j y （ j 1,2,, J ）， j y 是信源Y 的取值。一般来 说，由于有干扰存在，观察过程是非理想的。图 2.1 是 K 2、 J 3的非理想观察过程
P(y /x)x,1P(y2/x)P(y, Ix)y2P(y, /x,)P(y2 /x2)X2yP(y, /x,)图2.1非理想观察过程条件概率P(y，|x），表示了观察过程中干扰的有害影响。条件概率P(xIy,），表示观察到y,之后，输入x的概率，称为符号x的后验概率。[X,Px][Y,Px]观察过程信源I Pyur非理想观察模型见图2.2所示。图2.2非理想观察模型信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为(2.6)信息=先验不确定性一后验不确定性2.2.2.3连续信源的数学模型若X是连续信源（连续随机变量），其取值区间[a,b]，统计特性由定义于[a,b]上的概率密度函数fx(x）描述。则连续信源X的数学模型为：[X, Px]=[x, fx(x)/xe[a,b]](2.7)fx(x)≥0, ' fx(x)dx=12.2.3离散信源的自信息信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于度量信息的不确定性的大小。2.2.3.1自信息量设信源X取值x的概率为P(x），x的自信息量定义为12
12 条件概率 ( | ) j k P y x ，表示了观察过程中干扰的有害影响。 条件概率 ( | ) k j P x y ，表示观察到 j y 之后，输入 k x 的概率，称为符号 k x 的后验概率。 非理想观察模型见图 2.2 所示。 图 2.2 非理想观察模型 信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为 信息 = 先验不确定性 后验不确定性 （2.6） 2.2.2.3 连续信源的数学模型 若 X 是连续信源（连续随机变量），其取值区间[a,b]，统计特性由定义于[a,b]上的概 率密度函数 ( ) Xf x 描述。则连续信源 X 的数学模型为： b a X X f x f x dx X P x f x x a b ( ) 0 , ( ) 1 [ , ] [ , ( ) | [ , ]] X X （2.7） 2.2.3 离散信源的自信息 信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于度量信息的不确 定性的大小。 2.2.3.1 自信息量 设信源 X 取值 k x 的概率为 ( ) k P x ， k x 的自信息量定义为 图 2.1 非理想观察过程 1 1 Py x (|) 1 x 2 x 3 y 2 y 1 y 2 2 Py x (|) 2 1 Py x ( |) 1 2 Py x (|) 3 1 Py x ( |) 3 2 Py x (|) 信源 观察过程 [ , ] X PX PY|X [ , ] Y PX |Y
1(2.8)=-logP(x) ，k=1,2,,KI(x)=logP(xk)I(x）表示X取值x的先验不确定性的大小。若对数底为2，单位为比特（bit)；若对数底为e，单位为奈特（nat)；若对数底为10，单位为迪特（dit）或哈特（Hart）；对数取正整数r为底，则称为r进制单位。2.2.3.2联合自信息量联合自信息量是自信息量的自然推广。考虑信源X和Y的联合空间，即Z=XY，其概率空间为：(2.9)[XY,Pxr] =[(x,y,),P(x,y,)/k =1,2,",K;j =1,2,"-,J]且联合概率是完备的，即22P(xx.y,)=1(2.10)二j=二元联合符号（x，y）的联合自信息量定义为(2.11)bit/二元符号I(x.y,)=-log P(xx,y))它表示代表联合符号（xk，y）的先验不确定性。2.2.3.3条件自信息量定义x在条件y,下的条件自信息量I(xy）为bit/符号(2.12)I(xly,)=-logP(xly,)y,在条件x下的条件自信息量I(y,Ix）可类似定义。I(xly,）表示在观察到符号y,的条件下关于x,还剩下的不确定性。Iy,lx）代表输入x,且观察到y，时干扰引入的不确定性。2.2.3.4自信息量的性质(1）概率为0时，相应的自信息量无意义。(2）非负性。三种自信息量均非负。(3)可加性。1(x,y,)=I(x)+I(y,/x)=I(y,)+1(x/y,)推广到多维空间：13
13 1 ( ) log log ( ) ( ) k k k I x Px P x ，k 1,2,,K （2.8） ( ) k I x 表示 X 取值 k x 的先验不确定性的大小。若对数底为 2，单位为比特（bit）；若对 数底为e ，单位为奈特（nat）；若对数底为 10，单位为迪特（dit）或哈特（Hart）；对数取 正整数 r 为底，则称为 r 进制单位。 2.2.3.2 联合自信息量 联合自信息量是自信息量的自然推广。考虑信源 X 和Y 的联合空间，即 Z XY ，其 概率空间为： [XY, P ] [(x , y ),P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY k j k j （2.9） 且联合概率是完备的，即 ( , ) 1 1 1 K k J j k j P x y （2.10） 二元联合符号( , ) k j x y 的联合自信息量定义为 ( , ) log ( , ) k j k j I x y P x y bit /二元符号 （2.11） 它表示代表联合符号( , ) k j x y 的先验不确定性。 2.2.3.3 条件自信息量 定义 k x 在条件 j y 下的条件自信息量 ( | ) k j I x y 为 ( | ) log ( | ) k j k j I x y P x y bit /符号 （2.12） j y 在条件 k x 下的条件自信息量 ( | ) j k I y x 可类似定义。 ( | ) k j I x y 表示在观察到符号 j y 的条件下关于 k x 还剩下的不确定性。 ( | ) j k I y x 代表 输入 k x 且观察到 j y 时干扰引入的不确定性。 2.2.3.4 自信息量的性质 (1) 概率为 0 时，相应的自信息量无意义。 (2) 非负性。三种自信息量均非负。 (3) 可加性。 (, ) () ( | ) () ( | ) kj k jk j k j I x y Ix Iy x Iy Ix y 推广到多维空间：
(2.13)I(u,u,"",u)=I(u)+I(u /u)+I(u uu,)+...+I( |uu,...un-1)该式称为自信息量可加性的链公式。若所有变量均统计独立，则有(2.14)I(u,u2,"",un)=I(u,)+I(u)+I(u)+...+I(un)2.2.4离散信源的互信息量及其性质2.2.4.1互信息量的定义当观察输入为x，观察结果为y，，从观察结果y，中得到的有关输入符号x,的信息，记为I(y,），表示x与y，之间的互信息量。(2.15)I(x,y,)=I(x)-I(xly,)互信息量的概率计算式：P(x,y)(2.16)I(x:y)=1og P(x)P()2.2.4.2互信息量的性质(1)互易性：I(x,y,)=I(yj;x)(2)独立变量的互信息量为0：当x与y,统计独立时，1(xy,）=I(yjx）=0（(3）互信息量可正可负。当互信息量I(x；y）为正，意味着J，的出现有助于减小x的不确定性；当I(xy）为负，意味着y，的出现增大了x的不确定性。（4）互信息量不可能大于符号的实在信息，即1(x)(2.17)I(xy,)= I(yj,x)≤I(y,)2.2.5离散信源熵自信息量是针对信源的单个符号而言的，表示单个符号的不确定性。摘表示信源的平均不确定性，是对所有符号的自信息量的统计平均。2.2.5.1离散摘的定义对于DMS信源X，离散摘定义为14
14 1 2 1 2 1 3 12 12 1 (, , , ) () ( | ) ( | ) ( | ) N NN I u u u I u I u u I u uu I u uu u （2.13） 该式称为自信息量可加性的链公式。若所有变量均统计独立，则有 ( , , , ) ( ) ( ) ( ) ( ) 1 2 N 1 2 3 uN I u u u I u I u I u I （2.14） 2.2.4 离散信源的互信息量及其性质 2.2.4.1 互信息量的定义 当观察输入为 k x ，观察结果为 j y ，从观察结果 j y 中得到的有关输入符号 k x 的信息， 记为 ( ; ) k j I x y ，表示 k x 与 j y 之间的互信息量。 ( ; ) ( ) ( | ) k j k k j I x y I x I x y （2.15） 互信息量的概率计算式： (, ) ( ; ) log ( )( ) k j k j k j Px y Ix y Px Py （2.16） 2.2.4.2 互信息量的性质 (1) 互易性： ( ; ) ( ; ) k j j k I x y I y x (2) 独立变量的互信息量为 0：当 k x 与 j y 统计独立时， I(xk ; y j ) I( y j ; xk ) 0 (3) 互信息量可正可负。 当互信息量 ( ; ) k j I x y 为正，意味着 j y 的出现有助于减小 k x 的不确定性；当 ( ; ) k j I x y 为负，意味着 j y 的出现增大了 k x 的不确定性。 (4) 互信息量不可能大于符号的实在信息，即 ( ) ( ) ( ; ) ( ; ) j k k j j k I y I x I x y I y x （2.17） 2.2.5 离散信源熵 自信息量是针对信源的单个符号而言的，表示单个符号的不确定性。熵表示信源的平均 不确定性，是对所有符号的自信息量的统计平均。 2.2.5.1 离散熵的定义 对于 DMS 信源 X ，离散熵定义为