模型就是离散型的概率空间Xaa2..ay(2. 1)P()LP(a).P(a)....,P(aa)显然.P（a，）i=1.2..*）应满足Z P(a,) = 1(2.2)式中.0≤Pa,）≤1(i=1.2...q）是信源输出符号a,（i=1.2..q）的先验概率。此式表示信源可能的消息（符号）数是有限的.只有q个：a1.a2.".a·而且每次必定选取其中一个消息输出.满足完备集条件。这是最基本的离散信源。如果信源给定，其相应的概率空间就已给定：反之，如果概率空间给定·这就表示相应的信源已给定。所以，概率空间能表征离散信源的统计特性，因此有时也把这个概率空间称为信源空间。有的信源虽然输出的是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限值.即输出消息的符号集A的取值是连续的，或取值是实数集（一α）。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X来描述这些消息，则这种信源称为连续信源，其数学模型是连续型的概率空间[-a"] 或[](2.3)p()d=1或p(r)dr=1并满足(2. 4)式中，R表示实数集（一oo，o）：p(r）是随机变量X的概率密度函数。式（2.4）也表示连续型概率空间满足完备集。上述离散信源和连续信源是最简单、最基本的情况·信源只输出一个消息（符号）所以可用一维随机变量来描述。2.信源输出的消息用随机天量描述然而，很多实际信源输出的消息往往是由一系列符号序列所组成的。例如，中文自然语言文字作为信源，这时中文信源的样本空间A是所有汉字与标点符号的集合。由这些汉字和标点符号组成的序列即构成中文句子和文章。因此，从时间上看，中文信源输出的消息是时间上离散的符号序列，其中每个符号的出现是不确定的、随机的，由此构成了不同的中文消息。又如.对离散化的平面灰度图像信源来说，从XY平面空间上来看，每幅黑白灰度画面都是一系列空间离散的灰度值符号，而空间每一点的符号（灰度值）又都是随机的·由此形成了不同的图像消息。上述这类信源输出的消息是按一定概率选取的符号序列，所以可以把这种信源输出的消息看作时间上或空间上离散的一系列随机变量，即为随机矢量。这样，信源的输出可用N维随机矢量X=（XXX、）来描述，其中N可为有限正整数或可数的无限值。这N维随机失量X有时也称为随机序列：一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。若信源输出的随机序列X三（XXXv）中，每个随机变量X（1三1.2..V都是取值离散的离散型随机变量，即每个随机变量X，的可能取值是有限的或可数的.而且随机失量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同.则这样的信源称为离散平稳信源。前面所述的中文自然语言文字，离散化平面灰度图像都是这种离散型平稳信源。.18
若信源输出的消息可用N维随机矢量X=（XXX~）来描述，其中每个随机分量X（i=1.2，，N）都是取值为连续的连续型随机变量（即X，的可能取值是不可数的无限值），并且满足随机失量X的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同，则这样的信源称为连续平稳信源。例如，语音信号（X（t））、热噪声信号nt)）.它们在时间上取样离散化后的信源为XXX.XX…和n=nn2.n.nv。它们在时间上是离散的，但每个随机变量X或n,的取值都是连续的。所以它们是连续型平稳信源。平稳信源又分无记忆信源和有记忆信源。在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说，在信源输出的随机矢量X=（X,XX）中，各随机变量X（i=1.2，，N）之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足P(X)= P(X,X2-X)=P,(X)P,(X)..P(X)因为信源是平稳的，根据离散平稳随机序列的统计特性可知，各变量X，的一维概率分布都相同，即P（X)=P2（X）=...=P（XN）,则得NP(X) = P(X,X2--X) =IIP(X,)若不同时刻的离散随机变量又取值于同一符号集A：(ai，a2"，aal则有P(x=α,)=P(ai,aigain)=IP(a,)(2.5)71式中，α,是N维随机量的一个取值，即αi=（a,ai"ai）而P（ai）是符号集A的一维概率分布。由符号集A：aa2.,a.与概率测度0<P（a）≤1（i=1,2，g)构成一个概率空间[x-aa2,a且(a,)=1P(r)P(ar),P(az),...,P(a)]i=我们称由信源空间X，P（r）描述的信源X为离散无记忆信源。这种信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。我们把此信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。可见，N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间XN1α2,anF,(2.6)LP(a.) =P(al),P(a2),.,，P(a)]其中ai=（aaa）（i,iz,,in-1,2,,q)，并满足P(a,)= P(a,an"an)=IIP(a,)0<P(a)≤1且i=P(a)P(a,)=11(2.7)台站在一般情况下，信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳离散随机序列X中，各随机变量X，之间是有依赖的。例如，在汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此。这种信源称为有记忆信源。我们需要在N维随机矢量的联合概率分布19
中，引人条件概率分布来说明它们之间的关联。表述有记忆信源要比表述无记忆信源困难得多。实际上许多信源发出的符号往往只与前若十个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，在研究分析时可以限制随机序列的记忆长度。当记忆长度为m十1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=XX,X-X,X+Xv。在此序列中某i时刻的随机变量X，取什么符号只与前m个随机变量X-X-2X-取什么符号有关，与其更前面的随机变量及后面的随机变量取什么符号都无关。这样，就可用马尔可夫链来描述此信源。设各时刻随机变量X，的取值为r.EX.k=1.2，.*，i一1,i.i十1，.，N.则描述随机序列中各随机变量之间依赖关系的条件概率为P(1,.1i+21i+1r,-1a,-2,-"11m"1)=P(r./1,--1-2-1-m)(i=1,2,...,N)(2.8)如果上述条件概率与时间起点无关，即信源输出的符号序列可看成为时齐马尔可夫链.则此信源称为时齐马尔可夫信源。在连续平稳信源情况下，也分无记忆信源和有记忆信源。若信源输出的连续型随机矢量X=（XXX~）中，各随机变量X（i=1.2，N）之间无依赖，统计独立，则其N维随机矢量的联合概率密度函数满足=)因为信源是平稳的，得p()=p2(12)=.=pv(rn)=(r)p(a")=()(2.9)称此信源为连续平稳无记忆信源，否则称为有记忆信源。3.信源输出的消息用随机过程描述更一般地说，实际信源输出的消息常常是时间和取值都是连续的。例如.语音信号X（t）、热噪声信号n(t)、电视图像信号X（ro，yo，t)等时间连续函数。同时，在某一固定时间to·它们的可能取值又是连续的和随机的。对于这种信源输出的消息，可用随机过程来描述。称这类信源为随机波形信源（也称随机模拟信源）。分析一般随机波形信源比较复杂和困难。常见的随机波形信源输出的消息是时间上或频率上为有限的随机过程。根据取样定理，只要是时间上或频率上受限的随机过程，都可以把随机过程用一系列时间（或频率）域上离散的取样值来表示，而每个取样值都是连续型随机变量。这样.就可把随机过程转换成时间（或频率）上离散的随机序列来处理。甚至在某种条件下可以转换成随机变量间统计独立的随机序列。如果随机过程是平稳的随机过程，时间离散化后可转换成平稳的随机序列。这样，随机波形信源可以转换成连续平稳信源来处理。若再对每个取样值（连续型的）经过分层（量化），就可将连续的取值转换成有限的或可数的离散值。也就可把连续信源转换成离散信源来处理。综上所述，我们对不同统计特性的信源可用随机变量、随机矢量及随机过程来描述其输出的消息。它们能很好地反映出信源的随机性质。我们用图2.1简要地描述信源的分类及各类信源的数学模型，并标出信源之间的转换关系。以下，我们首先分别详细地讨论各类离散信源的统计特性及它们的信息测度。.20
(b..2) >(D)d>0-(d8Ine"禁Jaip(oa"OWE(pld(c)d(pldtp...to(x)dlp(xd1[(q"0)(md/-/XX分层母量化（特喜）书?取样定理21
2.2离散信源的信息我们首先研究最基本的离散信源，即信源输出是单个符号的消息，而且这些消息是两两互不相容的。对于一般实际输出为单个符号的离散信源都可用一维离散型随机变量X来描述信源的输出信源的数学模型统一抽象为2..，aXar,(2.1)LP(r) =P(ar),Pa),..P(a,)]Z P(a.)=1其中0≤Pa,）≤1（i=1,2,.q)且(2.2)这样的信源能输出多少信息？每个消息的出现又携带多少信息量呢？下面我们来讨论这些问题。2.2.1自信息在绪论一章讨论中，我们已知信源发出的消息常常是随机的，所以在没有收到消息前，收信者不能确定信源发出的是什么消息。这种不确定性是客观存在的。只有当信源发出的消息通过信道传输给收信者后，才能消除不确定性并获得信息。如果信源中某一消息发生的不确定性越大，一日它发生，并为收信者收到后，消除的不确定性就越大，获得的信息量也就越天。由于种种原因（如噪声太大），收信者接收到受干扰的消息后，对某消息发生的不确定性依然存在或者一点也未消除时。则收信者获得较少的信息或者说一点也没有获得信息。因此，获得信息量的大小，是与不确定性消除的多少有关。反之，要消除对某事件发生的不确定性，也就是从“不知”到“知”就必须获得足够的信息量。现举一例来加深理解。【例2.1】假设一条电线上串联了8个灯泡1.r2..s.如图2.2所示。这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏.致使串联灯泡都不能点亮。在未检查之前，我们不知道哪个灯泡，已损坏，是不知的、不确定的。我们只有通过检查.用万用表去测量电路有否断路，获得足够的信息量，才能获知和确定哪个灯泡，已损坏。一般最简单的办法是：第一次用万用表测量电路起始至中间端一段的阻值。若电路通，则表示损坏的灯泡在后端：若不通，则表示损坏的灯泡正处在前端。通过第一次测量就可消除一些不确定性，获得一定的信息量。第一次测量获得多少信息量呢？在未测量前，8个灯泡都有可能损坏，它们损坏的先验概率是P（工）三1/8，这时存在的不确定性是先验概率P（r的函数，用IP（r）表示。第一次测量后.口知4个灯泡是好的，另外4个灯泡中有一个是坏的，变成猜测4个灯泡中哪一个是损坏的情况了，这时后验概率变为P,（1）=1/4。因此，尚存在的不确定性是IP（r）1.是P（r）的函数。所获得的信息量就是测量前后不确定性减少的量，即第一次测量获得的信息量IP()-P()(2.10)第二次测量只需在4个灯泡中进行，仍用万用表测量电路起始至两个灯泡的中端（假设第一次8第三次第二次第一次180l81881818181图2.28个灯泡串联示意图22