主观认识信息有个衰老的问题，从而失去本身的价值。所以，信息是有时效性的综上所述，信息具有以下主要特性：①信息，物质、能量统一于事物一身，信息和物质一起规定着事物的功能②信息的存在具有普遍性、无限性、动态性、时效性和相对独立性。③信息具有可传递性、可转换性、可扩散性、可复制性、可存储性和可分割性.因而具有可共享性。④信息具有可度量性。信息量守恒是客观事物固有的特性。信息不因认识而消失，也不因传递、复制和扩散而增值。（2）语法、语义、语用信息从这种观点出发，我国学者钟义信教授在本体论的层次（最高、最普遍的层次，也是无约束条件的层次）上，对信息做了定义。他认为：“信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。"[I钟义信教授又在本体信息的基础上，引人认识主体的一些约束条件，从而又提出了语法信息、语义信息和语用信息三个不同的定义。语法信息是事物运动状态和状态改变的方式的本身。所以它不涉及这些状态的含义和效用.是最抽象最基本的层次。它只研究事物运动各种可能出现的状态，以及状态之间的关系。香农的信息定义正是属于这个层次，是从概率统计角度来研究事物运动各种可能出现的状态及状态间的关系.因此是概率性的语法信息。它能较好地解决通信工程这样一类信息传递的问题语义信息是事物运动状态和方式的具体含义。这是研究各种状态和实体间的关系.即研究信息的具体含义。语用信息是事物运动状态和方式及其含义对观察者的效用，或者是相对于某种目的的效用。这是研究事物运动状态和方式与使用者的关系，即研究信息的主观价值，在这些信息定义的基础上，他提出了对语法信息的统一的度量形式，又建立了语义信息量、语用信息量和综合语用信息量等概念和度量。综合语用信息量在特定条件下可以转换为其他信息度量，而且可以在特定条件下转化成目前国际上学术界认可的任一信息量公式。显然，此处的信息概念已远远超出了原来通信领域的范畴。但由于人们对信息的本质认识还不够充分，因此，国际上尚未形成一个普遍公认的、完整的、确切的定义。为此，有关信息的定义和其测度的研究还在不断地深入。我们深信.随着人们对信息这一概念的不断深人研究，将会得出更合理、更确切的信息的定义和测度，达到彻底揭示信息的本质，全面和准确地把握信息。1.2信息论研究的对象、自的和内容1.信息论研究的对象从关于信息概念的讨论中，我们已经看到：各种通信系统如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的，都是信息的传输系统。为了便于研究信息传输和处理的共同规律，我们将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如图1.3所示。通常称它为通信系统模型。这个通信系统模型也适用于其他的信息流通系统，如生物有机体的遗传系统、神经系统、视觉系统等。甚至人类社会的管理系统都可概括成这个模型。信息论研究的对象正是这种统一的通信系统模型。人们通过系统中消息的传输和处理来研究.8
信道译码器信宿编码器信源消息信号消息信号+干扰干扰噪声源图1.3通信系统模型信息传输和处理的共同规律。通信系统模型主要分成下列五部分。（1）信息源（简称信源）：顾名思义，信源是产生消息和消息序列的源。它可以是人、生物、机器或其他事物。它是事物各种运动状态或存在状态的集合。如前所述，“母亲的身体状况”，“各种气象状态”等客观存在是信源。人的大脑思维活动也是一种信源。信源的输出是消息，消息是具体的·但它不是信息本身。消息携带着信息，消息是信息的表达者。另外，信源可能出现的状态（即信源输出的消息）是随机的、不确定的，但又有一定的规律性（2）编码器：编码是把消息变换成信号的措施，而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。一般编码器可分为两种，即信源编码器和信道编码器。信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。所以，又称为信源压缩编码。而信道编码是为了提高信息传输的可靠性而对消息进行的变换和处理，又称为信道纠错编码。当然，对于各种实际的通信系统，编码器还应包括换能、调制、发射等各种变换处理。在保密通信系统中，还应该包括加密编码，自的是为了提高信息传输的安全性和证实性。（3）信道：信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道。在狭义的通信系统中实际信道有明线、电缆、波导、光纤、无线电波传播空间等，这些都是属于传输电磁波能量的信道。当然，对广义的通信系统来说，信道还可以是其他的传输媒介。信道除了传送信号以外，还有存储信号的作用，如磁带、光盘或书写通信方式等。在信道中引人噪声和干扰，这是一种简化的表达方式。为了分析方使起见，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。这样，信道输出的是已叠加了干扰的信号。由于干扰或噪声往往具有随机性，因此信道的特性也可以用概率空间来描述。而噪声源的统计特性又是划分信道的依据。（4）译码器：译码就是把信道输出的编码信号（已叠加了干扰）进行反变换，一般认为这种变换是可逆的。译码器一般也可分成信源译码器和信道译码器。若在保密通信系统中，应还包括解密译码。（5）信宿：信宿是消息传送的对象，即接收消息的人或机器。信源和信宿可处于不同地点和不同时刻。图1.3给出的模型只适用于收发两端单向通信的情况。它只有一个信源和一个信宿，信息传输也是单向的。更一般的情况是：信源和信宿各有若干个，即信道有多个输入和多个输出，另外信息传输方向也可以双向进行。例如，广播通信是单个输人，多个输出的单向传输的通信；而卫星通信网则是多个输入，多个输出和多向传输的通信。要研究这些通信系统，我们只需对两端单向通信系统模型做些适当修正，就可引出网络通信系统模型。因此，图1.3的通信系统模型是最基本的。近年来，以计算机为核心的大规模信息网络，尤其是互联网的建立和发展，对信息传输的质量要求更高了。不但要求既快速有效又能可靠地传递信息，而且还要求信息传递过程中保证信息的安全保密，不被伪造和窜改。因此，在编码器这一环节中还需加入加密编码。相应地，在译码器中加人解密译码。为此，我们把图1.3的通信系统模型中编（译）码器分成信源编（译）码、信道编（译）码和加密:9:
（解密）编（译）码三个子部分。这样，信息传输系统的基本模型如图1.4所示，C信SC信道输团X信信道译码AST饭U1源译0+编码码道源个韩搭谐码加密编码陕产就图1.4信息传输系统的模型2.信息论研究的目的研究如图1.4所示的这样一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使信息传输系统达到最优化。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。以后我们会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。例如，为了兼顾有效性（考虑经济效果），有时就不一定要求绝对准确地在接收端再现原来的消息，而是可以允许一定的误差或一定的失真，或者说允许近似地再现原来的消息所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。所谓认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。可靠性、有效性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。信息传输系统模型不是不变的。它根据信息传输的要求而定。在研究信息传输可靠性时，将信源、信源编码和加密编码都等效成一个信源，而将信宿、信源译码和解密译码都等效成一信宿。在研究信息传输有效性时，可只考虑信源与信宿之间的信源编（译）码·将其他部分都看成一无干扰信道。在考虑信息传输的保密性和认证性时，将信源和信源编码等效成一信源：将信道编码、信道、噪声源和信道译码等效成一无干扰信道：而将信源译码和信宿等效于信宿。这样划分是否合理呢？通过全书的讨论，我们可以得出，这样划分是合理的。3.信息论研究的内容关于信息论研究的具体内容是有过争议的。某些数学家认为信息论只是概率论的一个分支。当然，这种看法是有一定根据的，因为香农信息论确实为概率论开拓了一个新的分支。但如果把信息论限制在数学范围内，这就太狭义了。也有些物理学家认为信息论只是炳的理论，他们对“炳”特别感兴趣。当然，嫡的概念确实是香农信息论的基本概念之一，但信息论的全部内容要比摘的概念广泛得多。目前，对信息论研究的内容一般有以下三种理解。（1）狭义信息论，也称经典信息论：它主要研究信息的测度、信道容量及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。其研究的各部分内容可用图1.5来描述。:10:
香农信息论传输理论压缩理论保密理论.t无噪声有噪声网络信道+++保密系统的有失真信源编码无失真信源编码信道编码定理网络信息理论信息理论Shannon(1948)Shannon(1949)Feinstein (1954)Shannon (1961)Diffie和Hellmen(1976)+7Gallager (1965)Cover (1972)T公开密钥率失真理论 等长编码变长编码Cover (1975)定理定理ShannonShannon(1948)(1949)Shannon (1948)McMillan (1953)(1959)McMillan(1956)Gallager (1968)Berger (1969)最优码构成码构成网络最佳码Huffman码（1952)保密码数据Fano码压缩编码算术码（1976，1982)纠错码相结合LZ码（1977,1978）+MH码（1977)7-纠错密码理论McEliece和Berlekamp(1978)代数编码卷积码王新梅（Xinmei签名方案）Hamming(1950)Elias(1955)Viterbi(1967注：用方框表示的是各自为独立体系的分支图1.5香农信息论的科学体系（2）一般信息论，也称工程信息论：它主要研究信息传输和处理问题。除了香农理论以外，还包括编码理论、保密理论、噪声理论、信号滤波和预测理论、统计检测与估计理论、调制理论及信息处理理论等。后一部分内容是以美国科学家维纳（N.Wiener）为代表的，其中最有贡献的是维纳和前苏联科学家柯尔莫哥洛夫（A.KoJIMoropoB）。虽然维纳和香农等人都运用概率和统计数学的方法来研究准确地或近似地再现消息的问题，都是为了使消息传送和接收最优化，但他们之间却有一个重要的区别。维纳研究的重点是在接收端。研究一个信号（消息）如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰后，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性滤波理论（维纳滤波器）、统计检测与估计理论、噪声理论等。而香农研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点放在编码上。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论等。（3）广义信息论：广义信息论是一门综合、交叉的新兴学科，不仅包括上述两方面的内容，而且包括所有与信息有关的自然科学和社会科学领域，如模式识别、计算机翻译、心理学、遗传学、生物学、神经生理学、语言学、语义学甚至包括社会学、人文学和经济学中有关信息的问题。它也就是新发展起来的包括光学信息论、量子信息论和生物信息学等新学科在内的信息科学理论。综上所述，信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科；它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化：它的主要内容（或分支）包括香农理论、编码理论、密码学理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论和随机噪声理论等。由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书主要论述信息论的基础理论即香农信息理论（即图1.5中间非方框部分的内容）。.11
1.3信息论发展简史与信息科学信息论从诞生到今天，已有半个多世纪的历程，现已成为一门独立的理论学科。回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。1.信息论形成的背景和基础信息论是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统（电信系统）已有170多年的历史了。在近200年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论及后来的电子学理论一旦有某此进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究及战争等，一切都离不开信息传递和流动。例如，当法拉第（MFaraday）于1820年至1830年期间发现电磁感应的基本规律后，不久莫尔斯(F.BMorse)就建立起电报系统(1832一1835）。1876年，贝尔（AG.Bell)又发明了电话系统1864年麦克斯韦（Maxwell）预言了电磁波的存在.1888年赫兹（H.Hertz）用实验证明了这一预言。接着1895年英国的马可尼（G.Marconi）和俄国的波波夫（A.C.IlonoB）就发明了无线电通信。20世纪初（1907年），根据电子运动的规则，福雷斯特（L.Forest）发明了能把电磁波进行放大的电子管。之后，很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来了（1925一1927）。电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管（最初是磁控管，后来是速调管，行波管）。接着，在20世纪30年代末和40年代初的第二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。50年代后期发明了量子放大器。60年代初发明的激光技术，使人类进人了光纤通信的时代。随着工程技术的发展，有关理论问题的研究也在逐步深入。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的1885年凯尔文（L.Kelvin）曾经研究过一条电缆的极限传信率问题。1922年卡逊(J.R.Carson）对调幅信号的频谱结构进行了研究，并明确了边带的概念。1924年奈奎斯特（H.Nyquist)和屈夫缪勒（K.Kupfmuller）分别独立地指出.如果以一个确定的速度来传输电报信号，就需要一定的带宽。证明了信号传输速率与信道带宽成正比，1928年哈特莱（R.V.Hartley）发展了奈奎斯特的理论，并提出把消息考虑为代码或单语的序列。在s个代码中选N个码即构成sN个可能的消息。他提出定义信息量H=Nlogs”.即定义信息量等于可能消息数的对数。其缺点是没有统计特性的概念。他的理论对后来香农的思想是有很大影响的。1936年阿姆斯特朗（E.H.Armstrong）提出增加信号带宽可以使抑制噪声干扰的能力增强，并给出了调制指数大的调频方式，使调频实用化，出现了调频通信装置。1939年达德利（H.Dudley）发明了声码器。当时他提出的概念是：通信所需要的带宽至少应与所传送的消息的带宽相同。达德利和莫尔斯都是研究信源编码的先驱者。但是，一直到20世纪30年代末，理论工作的一个主要弱点是把消息看成是一个确定性的过程。这就与许多实际情况不相符合。当时所依靠的数学工具主要是经典的傅单叶分析方法·这是有局限性的。20世纪40年代初期，由于军事上的需要，维纳在研究防空火炮的控制问题时·提出了“平稳时.12