254*7.6.3连续信源R(D)函数的参量表述及其计算2597.7保真度准则下的信源编码定理259*7.7.1失真典型序列261*7.7.2保真度准则下信源编码定理的证明2637.8联合有失真信源信道编码定理2657.9限失真信源编码定理的实用意义268小结·:269习题·273第8章无失真的信源编码·2738.1霍夫曼（Huffman）码2748.1.1二元霍夫曼码2768.1.2r元霍夫曼码2778.1.3霍夫曼码的最佳性2798.2费诺(Fano)码2808.3香农一费诺一埃利斯码2828.4游程编码和MH编码2828.4.1游程编码2878.4.2、MH编码2908.5算术编码2968.6字典码2978.6.1LZ-77编码算法2988.6.2LZ-78编码算法2998.6.3LZW编码算法·3018.6.4LZ码复杂度和性能分析303小结·304习题·307第9章1信道的纠错编码·3079.1差错控制的基本形式3099.2纠错码分类及基本概念3099.2.1纠错码分类·3119.2.2纠错码的基本概念及其纠错能力...314线性分组码9.33149.3.1一致校验矩阵和生成矩阵3219.3.2伴随式及标准阵列译码.-3279.3.3汉明码3299.4循环码330循环码结构及其多项式描述9.4.1...3329.4.2循环码的生成多项式和生成矩阵3389.4.3循环码的校验多项式和伴随式3429.4.4循环码的编、译码器…..X
3469.5卷积码3469.5.1卷积码的解析表示3509.5.2卷积码的图解表示.352小结·354习题357第10章网络信息论35710.1通信网信道的分类360￥10.2多个随机变量的联合典型序列36310.3相关信源编码36810,4多址接入信道368离散多址接入信道10.4.137510.4.2多址接入高斯噪声信道37810.5相关信源和多址接入信道37810.5.1相关信源和多址接入信道的对偶性37910.5.2相关信源的多址接入信道381*10.6广播信道·388*10.7中继信道：391*10.8具有边信息的信源编码395*10.9具有边信息的数据压缩399小结400习题403第11章保密系统的基本信息理论40311,1保密学的基本概念40411.2保密系统的数学模型40611.3古典密码体制40611.3. 1单表密码40611.3.2移位代换密码40711.3.3乘数密码11, 3, 4408固定周期d的位移置换40811.3.5多表代换密码11.4410完全保密性4131i.5理论保密性11.6实际保密性415小结417习题418第12章信息论与其他学科的关系和应用41912.1信息摘与热力学摘41912.2422信息论与光学12.2.1光学信息量42312.2.2425光量子信道的信道容量. XI
42712.2.3最大摘光学图像恢复43012.3最大摘原理与谱估计43112.3.1高斯随机过程的嫡率43212.3.2伯格的最大嫡定理434信息论与生命科学12.4..43412.4.11DNA到蛋白质的通信系统44012.4.2信息系数与信息分类44212.4.3医学中的信息分析445小结·447第13章量子信息科学简介44713.1量子力学的基本概念44713.1.1波粒二重性和光量子44813.1.2波函数和量子态44913.1.3量子态叠加原理45013.1.4量子测量与量子态塌缩45213.1.5测不准原理45213.1.6量子纠缠和纠缠态45513.1.7量子隐形传态45713.2量子通信与量子保密通信45713.2.1量子通信的基本概念45813.2.2量子通信的优越性45813.2.3量子通信的发展现状与前景...45913.3量子信息论45913.3.1量子比特46113.3.2量子信息中的冯·诺依曼嫡..46213.3.3量子信源编码定理16313.3.4量子信道的信道编码464附录464附录A凸函数和詹森不等式466附录B马尔可夫链·466B1马尔可夫链的定义467B.2转移概率和转移矩阵·468B.3各态历经定理471附录C嫡函数的函数表472附录D所用符号及编写说明479参考书目和文献·. XI :
第1章绪论信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。通常人们公认信息论的莫基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农（C.E.Shannon），他在1948年发表了著名的论文《通信的数学理论》，为信息论莫定了理论基础。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学这一更广阔、更新兴的领域。本章首先引出信息的概念，进而讨论信息论这一学科的研究对象、目的和内容，并简述本学科的发展历史、现状和动向。1.1信息的概念人类从产生那天起，就生活在信息的海洋之中。人类社会的生存和发展，无时无刻都离不开接收信息、传递信息、处理信息和利用信息。自古以来，人们就对信息的表达、存储、传送和处理等问题进行了许多研究。原始人的“结绳记事”也许是最初期的表达、存储和传送信息的方法。我国古代的“烽火告警”是一种最早的快速、远距离传递信息的方式。语言和文字则是人类社会用来表达和传递信息的最根本的工具。造纸术和印刷术的发明，使信息表示和存储方式产生了一次重大的变革，使文字成为信息记录、存储和传递的有效手段。特别是电报、电话和电视的发明，使信息传送快速、便利、远距离，再次出现了信息加工和传输的变革。近百年来，随着生产和科学技术的发展，使信息的处理、传输、存储、提取和利用的方式及手段达到了更新更高的水平。近代，电子计算机的迅速发展和广泛应用，尤其个人微型计算机得以普及，大大提高了人们处理加工信息、存储信息及控制和管理信息的能力。20世纪50年代后期，随着计算机技术、微电子技术、传感技术，激光技术、卫星通信和移动通信技术、航空航天技术、广播电视技术、多媒体技术、新能源技术和新材料技术等新技术的发展和应用，尤其近年来以计算机为主体的互联网技术的兴起和发展，它们相互结合、相互促进，以前所未有的威力推动着人类经济和社会高速发展。正是这些现代新科学、新技术汇成了一股强大的时代潮流，将人类社会推人到高度信息化的时代。在当今“信息社会”中，人们在各种生产、科学研究和社会活动中，无处不涉及信息的交换和利用。迅速获取信息，正确处理信息，充分利用信息，就能促进科学技术和国民经济的飞速发展。可见，信息的重要性是不言而喻的。那么，什么是信息呢？1.信息、情报、知识、消息及信号间的区别与联系信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。这一概念和在实践中提出来的其他科学概念一样，是在人类社会互通情报的实践过程中产生的。在现代信息理论形成之前的漫长时期中，信息一直被看作是通信消息的同义词，没有赋予它严格的科学定义。到了20.1:
世纪40年代未，随着信息论这一学科的诞生，信息的含义才有了新的拓展在日常生活中，信息常常被认为就是“消息”、“情报”、“知识”、“情况”等。的确·信息与它们之间是有着密切联系的。但是，信息的含义更深刻、更广泛，它是不能等同于消息、情报、知识和情况的。信息不能等同于情报。情报往往是军事学、文献学方面的习惯用词。如“对敌方情况的报告”，“文献资料中对于最新情况的报道或者进行资料整理的成果”等称为情报。在“情报学”，这一新学科中，它们对于“情报”是这样定义的，“情报是人们对于某个特定对象所见、所闻、所理解而产生的知识”。可见，情报的含义要比“信息”窄得多。它只是一类特定的信息，不是信息的全体。信息也不能等同于知识。知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到有价值的、人们所需的信息。知识是一种具有普遍和概括性质的高层次的信息。例如，如图1.1所示，有一堆A、B两所大学学生的考试成绩数据。为了了解A、B两所大学学生的学习成绩水平的差别，而进行统计处理，得到一张曲线图，从中获得了有关A，B两所大学学生学习水平的知识。当然，还可以从这堆数据中获得其他有关知识（两所大学男、女生成绩差别等）。又例如·获得大量的遥感图片数据，根据不同目的，处理后可以得到不同的知识（地质知识、地形知识、水源知识等）。由此可知，知识是以实践为基础，通过抽象思维，对客观事物规律性的概括。知识信息只是人类社会中客观存在的部分信息。所以知识是信息，但不等于信息的全体。（数据）（目的）人数，A、B两所大学学生的学习成绩差别考试结果了解两校学习成绩的差别B大学A大学1+M（A大学）数据处理一分数B大学）2E图1.1统计处理后的分布曲线信息也不能等同于消息。人们也常常错误地把信息等同于消息，认为得到了消息，就是得到了信息。例如，当人们收到一封电报，接到一个电话，收听了广播或看了电视等以后，就说得到了“信息”。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是·信息与消息并不是一件事，不能等同。我们知道，在电报、电话、广播、电视（也包括雷达、导航、遥测）等通信系统中传输的是各种各样的消息。这些被传送的消息有着各种不同的形式，如文字、符号、数据、语言、音符、图片、活动图像等。所有这些不同形式的消息都是能被人们感觉器官所感知的，人们通过通信，接收到消息后，得到的是关于描述某事物状态的具体内容。例如，听气象广播，气象预报为“晴间多云”，这就告诉了我们某地的气象状态，而“晴间多云”这广播语言则是对气象状态的具体表述。又如，我们收到一份电报为“母病愈”，则得知了母亲的身体健康状况，报文“母病愈”是对母亲身体健康状况的一种描述。再如，电视中转播球赛，人们从电视图像中看到了球赛进展情况，而电视的活动图像则是对球赛运动状态的描述。可见，语言、报文、图像等消息都是对客观物质世界的各种不同运动状态或存在状态的表述。当然，消息也可用来表述人们头脑里的思维活动。例如，朋友给你打电话，电话中说：“我想去上海”，你就得知了你朋友的想法。这时，此语言消息则反映了人的主观世界—大脑物质的思维运动所表现出来的思维状态.2