前言人类社会的生存和发展无时无刻离不开信息的获取、传递、处理、再生、控制和利用。信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化，自从1948年香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。自此之后，信息理论本身得到不断地发展和深化，尤其是在信息理论的指导下，信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科一一信息科学。近年来，逐渐形成和发展起来的光学信息论，量子信息论、生物信息论或生物信息学都是信息科学的重要分支和发展的重要领域。当人类迈入21世纪一一高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度。在这些领域中，只要涉及信息的存储、传输和处理就要用到香农信息理论一一无失真通信的传输速率极限（即香农极限）、无失真和限失真信源编码理论（即数据压缩原理）和信道编码理论（即纠错编码理论）等。甚至人们娱乐生活中如数字激光影碟机、数码相机、数字家庭音像系统、网络游戏等都普遍采用了纠错编码技术和数据压缩技术。所以，现在人们对于信息的概念、信息论的基本理论已不再感到陌生、抽象深奥和难以理解与掌握，同时也越来越意识到学习和掌握信息理论的重要。在这种形势下，各高校的热门专业“信息工程技术专业”得到快速发展，专业的知识结构也做了相应调整，先后将《信息论与编码》及有关课程列为本科生、研究生必修的专业基础课。与此同时，全国几百所高校先后在理学院（或数学系）内新增设了“信息与计算科学专业”，也将《信息论与编码》作为此专业的必修基础课。甚至，在物理学、光学、声学，以及生物学专业的研究生中也增设或选修有关信息论的课程。为满足广大读者的需要，作者在几十年的教学实践和科研工作的积累，以及在1986年、1989年最早编写出版的全国统编教材《信息论基础》37]一书基础上，于2001年编写出版了《信息论一一基础理论与应用》38]二书。经近十年的使用和修改，在增加了信道纠错编码的内容的基础上，现又在章节上做一些适当的调整和修改，以求内容和框架结构更全面合理，以期能适应不同专业的需求。本书系统地介绍香农(Shannon)信息论和编码理论及其应用。全书注重基本概念、基本定理和基本分析方法的论述，并结合实例建立概念和数学模型，给出详细的、必要的数学推演过程和证明。一般来说，在重要定理的证明前后都会描述定理和结论的物理意义或实用意义及证明的思路，然后通过严密推理和巧妙证明进一步说明定理和结论的完美，以期望做到物理概念清晰，逻辑性、系统性强，数学结构严谨完整又避免纯数学的枯燥乏味。在内容的编排上，力求由浅入深、循序渐进，合理地安排章节。全书力图做到既有实际应用背景，又有清晰的数学思想和严密推理。全书共有12章。第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农关于信息的定义和测度。在这基础上讨论各类离散信源、连续和波形信源的信息测度一一信息，以及各类离散信道、连续和波形信道的信息传输率与信道容量。第5、6、7章主要论述香农信息论的三个基本定理一一离散信源的无失真编码定理、有噪信道编.V·
码定理及限失真信源编码定理，此部分内容是香农信息论的核心部分。第8章集中介绍了若干常用的无失真信源编码方法，以阐明香农无失真信源编码定理的应用意义。第9章论述了信道纠错编码的基本内容及一些主要的纠错编码如线性分组码、循环码和卷积码该章从有噪信道编码定理出发，在读者已具有的工程数学基础上给出纠错编码的基本概念，然后讨论各种纠错编码的编、译码算法。避免了从近世代数理论角度进行讨论，减小了学习的难度。有了这章的学习基础就可对纠错编码理论进行深入的研究。第10章讨论网络信息论（又称为多用户信息理论），比较全面地介绍了各种网络信道的信源和信道编码定理。这一章在本书中占用了一定的篇幅，主要因为实际的各种信息传输系统、信息流通系统都是复杂的信息流通网。另外，多用户信息理论也是由香农首先给出的，并且目前还存在着许多有待研究和解决的理论问题。随着网络通信技术的发展和普及，网络信息理论显得更为重要，而且已成为信息研究的热门领域。第11章简要地介绍香农用信息论的观点对信息保密问题的论述。正是香农的论述把信息保密安全问题的研究引人到科学研究的轨道，使保密学迅速发展成为一个独立的分支。第12章简要地探讨一些信息论与热力学、光学、统计学、生物、医学等学科的关系和应用.使读者了解信息论与其他学科交叉结合的发展前景。第1章至第7章是本书的主体，学好了这几章就掌握了信息论的主要理论和内容。为帮助读者学习和掌握，每章结尾均给出小结，以公式形式列出该章的主要内容。各章还配有大量习题。为避免读者对本书所用符号产生混淆，还将主要所用符号统一列表说明，以供参阅。书后的附录，为读者提供了所需的一些数学基础知识。同时为配合本书的学习和解题，作者已编写并由电子工业出版社出版了《信息论与编码学习辅导及习题详解》39]一书，可供读者学习使用全书引入了弱e典型序列，儿个重要定理都采用此统一的分析方法进行证明，使定理证明简洁明了，而且又使单用户信息理论和网络信息理论中定理的证明方法达成一致。但这些章节均标以“*”号出现。书中标有“*”号的章节和小字体部分均属于严格的数学证明或加深、加宽的内容。各高校、各专业可根据学时的多少或学生的知识程度适当取舍，只讲授主要基本内容.省略”*”章节和小字体部分。省略后并不影响全书的系统性、逻辑性和可读性。所以，本书可作为信息工程、通信工程技术和计算机科学专业本科生和研究生的教材，也可作为其他有关专业所需的教材。为了便于教师使用本教材进行课堂教学，还配套提供了电子教案。本书第8章“字典码”二节由赵建中老师协助编写。孙建京、路而红、彭一凡等老师阅读了书稿部分章节并提出许多中肯的修改意见。刘泉、陈立、赵黎明、施燕琼、许晓东、陈曦、张栋等同志参与了审稿、绘图、习题录入、电子教案编程等大量工作，在此一并表示衷心的感谢。在本书编写修改过程中，参阅了国内外一些经典著作，均列于参考书自中，在此谨向作者表示深切谢意。本书被国家教育部评为“2008年度普通高等教育精品教材”。其中电子工业出版社陈晓莉编辑对本书的修改、再版做了大量的工作，提出了许多宝贵意见，在此也深表感谢。书中难免有不要和错误之处，殷切希望广大读者予以批评指正。作者2011年元月.V
目录第1章绪论1.1信息的概念81.2信息论研究的对象、目的和内容121.3信息论发展简史与信息科学17第2章离散信源及其信息测度-172.1信源的数学模型及分类222.2离散信源的信息摘222.2.1自信息252.2.2信息摘282.3信息摘的基本性质35￥2.4信息嫡的唯一性定理382.5离散无记忆的扩展信源402.6离散平稳信源·402.6.1离散平稳信源的数学定义412.6.2二维离散平稳信源及其信息摘452.6.3离散平稳信源的极限摘482.7马尔可夫信源·482.7.1马尔可夫信源和m阶马尔可夫信源的定义512.7.2马尔可夫信源和m阶马尔可夫信源的信息嫡582.8信源剩余度与自然语言的炳62*2.9意义信息和加权摘65小结66习题70第3章离散信道及其信道容量703.1信道的数学模型及分类703.1.1信道的分类713.1.2离散信道的数学模型743.1.3单符号离散信道的数学模型763.2平均互信息及平均条件互信息763.2.1信道疑义度773.2.2平均互信息3.2.3平均条件互信息·80823.3平均互信息的特性863.4信道容量及其一般计算方法813.4.1离散无噪信道的信道容量.VI
893.4.2对称离散信道的信道容量913.4.3准对称信道的信道容量923.4.4一般离散信道的信道容量98*3.5信道容量的送代算法993.5.1信道容量的选代算法1033.5.2信道容量选代算法的收敛性1053.6离散无记忆扩展信道及其信道容量1103.7#独立并联信道及其信道容量.1113.8串联信道的互信息和数据处理定理1183.9信源与信道的匹配119小结·121习题125波形信源和波形信道·第4章1254.1波形信源的统计特性和离散化*1274.2连续信源和波形信源的信息测度1274.2.1连续信源的差摘1294.2.2连续平稳信源和波形信源的差1304.2.3两种特殊连续信源的差摘··.1324.3连续信源摘的性质及最大差摘定理1324.3.1差摘的性质1344.3.2具有最大差摘的连续信源·1364.4连续信源摘的变换1374.4.1坐标变换后概率密度函数的变化1384.4.2坐标变换后差摘的变化1394.5嫡功率·1414.6连续信道和波形信道的分类:1414.6.1按信道输入和输出的统计特性分类1424.6.2按噪声的统计特性分类1454.6.3按噪声对信号的作用功能分类1464.7连续信道和波形信道的信息传输率1464.7.1基本连续信道的平均互信息.1474.7.2多维连续信道的平均互信息1474.7.3波形信道的信息传输率1484.7.4连续信道平均互信息的特性1514.8连续信道和波形信道的信道容量1524.8.1单符号高斯加性信道1534.8.2单符号非高斯加性信道1544.8.3多维无记忆高斯加性连续信道157*4.8.4多维有记忆高斯加性连续信道1594.8.5限带高斯白噪声加性波形信道.VII
160*4.8.6有色高斯加性波形信道1614.8.7香农公式的重要实际指导意义164小结·167习题170第5章无失真信源编码定理1705.1编码器1725.2等长码175渐近等分割性和e典型序列*5.31785.4等长信源编码定理1815.5变长码1815.5.1唯一可译变长码与即时码1835.5.2即时码的树图构造法1845.5.3克拉夫特（Kraft)不等式1875.5.4唯一可译变长码的判断法1885.6变长信源编码定理195小结：196习题·199第6章有噪信道编码定理·1996.1错误概率和译码规则2036.2错误概率与编码方法210*6.3联合e典型序列2156.4有噪信道编码定理2196.5联合信源信道编码定理221小结223习题·225第7章保真度准则下的信源编码2267.1失真度和平均失真度2267.1.1失真度2287.1.2平均失真度2297.2信息率失真函数及其性质2297.2.1信息率失真函数：7.2.2信息率失真函数的性质2312367.3二元信源和离散对称信源的R(D)函数2367.3.1二元对称信源的R（D)函数7.3.2离散对称信源的R(D)函数2387.4信息率失真函数的参量表述及其计算240248*7.5信息率失真函数的选代算法7.6连续信源的信息率失真函数251.7.6.1连续信源的信息率失真函数2517.6.2高斯信源的信息率失真函数252.. X: