间序列的外推，内插与平滑及其工程应用的论文。他把随机过程和数理统计的观点引入通信和控制系统中来，揭示了信息传输和处理过程的统计本质。他还利用早在20世纪30年代初他本人提出的"广义谐波分析理论”对信息系统中的随机过程进行谱分析。这就使通信系统的理论研究面貌焕然一新，引起了质的飞跃。2.香农信息论的建立和发展1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇论文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，首先严格定义了信息的度量一一摘的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。（1）香农信息理论的数学严格化从1948年开始，信息论的出现引起了一些著名数学家如柯尔莫哥洛夫、范恩斯坦（A，Feinstein）、沃尔夫维兹（.Wolfowitz）等人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数学基础。在这方面，1954年范恩斯坦的论著是有很大贡献的。1952年费诺（RM.Fano)给出并证明了费诺不等式，并给出了关于香农信道编码逆定理的证明。1957年沃尔夫维兹（J.Wolfowitz）采用了类似典型序列方法证明了信道编码强逆定理。1961年费诺又描述了分组码中码率、码长和错误概率的关系，并提供了香农信道编码定理的充要性证明。1965年格拉格尔（R.G.Gallager）发展了费诺的证明结论并提供了一种简明的证明方法。而科弗尔（T.M.Cover）于1975年采用典型序列方法来证明。1972年阿莫托（S.Arimoto）和布莱哈特（R.Blahut）分别发展了信道容量的送代算法。关于高斯信道是香农在1948年原论文中首先分析和研究的。1964年霍尔辛格(J.L.Holsinger）发展了有色高斯噪声信道容量的研究。1969年平斯克尔（M.S.Pinsker）提出了具有反馈的非白噪声高斯信道容量问题。科弗尔（T.M.Cover）于1989年对平斯克尔的结论给出了简洁的证明。（2）无失真信源编码定理和技术的发展香农在1948年论文中提出了无失真信源编码定理，也给出了简单的编码方法（香农编码）。麦克米伦（B.McMillan）于1956年首先证明了唯一可译变长码的克拉夫特（Kraft)不等式。关于无失真信源的编码方法，1952年费诺（Fano）提出了一种费诺码。同年，霍夫曼（D.A.Huffman）首先构造了一种霍夫曼编码方法，并证明了它是最佳码。20世纪70年代后期开始，人们把兴趣放在与实际应用有关的信源编码问题上。于1968年前后，埃利斯(P.Elias）发展了香农一费诺码，提出了算术编码的初步思路。而里斯桑内(J.Rissanen)在1976年给出和发展了算术编码。1982年他和兰登（G.G.Langdon）)一起将算术编码系统化，并省去了乘法运算，更为简化、易于实现。关于通用信源编算法——LZ码是于1977年由齐弗（J.Ziv）和兰佩尔（A.Lempel)提出的。1978年他们俩又提出了改进算法LZ-77码和LZ-78码，而且齐弗也证明此方法可达到信源的摘值。1984年由韦尔奇（T.A.Welch）提出了改进的LZW码。随后，1990年贝尔（T.C.BelI)等在ILZ算法基础上又做了一系列变化和改进，如IZSS码、LZRW1-4码、LZP1-4码.13·
等。这些字典码已广泛应用于文本的数据压缩中。正是在香农的无损信源压缩编码定理指引下，无损压缩编码技术和算法得到迅速发展与应用（3）信道纠错编码的发展在研究香农信源编码定理的同时，另外一部分科学家从事寻找信道最佳编码（纠错码）的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支一一纠错码理论。纠错码的出现应归功于理查德·汉明。早在1950年，汉明第一个提出了纠正一位错误的编码方法，目的是为使贝尔实验室的计算机具备有检测错误能力的运行程序。由此汉明码的纠错思想成为了线性分组码的基本指导思想。接着，Golay（戈雷）提出了纠二位和三位错误的戈雷码。1954年Muller和Reed突破了码的参数固定不变的限制，提出新的分组码RM码。随之，1957年，EPrange在线性分组码中找到子类的循环码。人们在对循环码和线性分组码的广泛、深人地研究基础上，形成了系统的理论，即代数编码理论，使其成为应用数学的一个分支。但代数编码的渐近性能较差，难以实现香农信道编码定理所指出的结果。为此，1955年埃利斯（P.Elias）提出卷积码的思想。1960年左右提出了序列译码方法，门限译码方法，特别是以维特比（Viterbi）为代表的、基于概率和软判决的最大似然译码算法的提出，使卷积码迅速得到广泛应用。如“先驱者”号太空探测器，木星和土星探测器，以及移动通信领域中欧洲的GSM标准系统和北美IS一95标准等都采用了卷积码技术。然而科学家们并没有停止对构造好码和逼近香农极限的优异码的研究。先后研究提出了级联码（将两个短码串行级联使用），乘积码及交织（或交错）技术等新的方法。在20世纪80年代前后，又提出了一种网格编码调制方案（TCM），它将编码和调制结合起来，在不扩展信道带宽情况下提高了系统的功率，从而增强了系统的抗干扰能力。近年来，Turbo码、LDPC码的提出和研究，发现了这两种码的误比特率与香农极限相差无几的优异性能。由此不但引起了新的研究热潮，而且使人们更加清晰地认识到香农信道编码理论是真正具有实用意义的科学理论。（4）限失真信源编码的提出和发展限失真信源编码的研究较信道编码和无失真信源编码落后十年左右。香农在1948年论文中已体现出了关于率失真函数的思想。一直到1959年他发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。从此，发展成为信息率失真编码理论。1971年伯格尔（T.Berger）给出更一般信源的率失真编码定理。1971年伯格尔著作的《信息率失真理论》10]一书是一本较全面地论述有关率失真理论的专著。率失真信源编码理论是信源编码的核心问题，是频带压缩、图像和多媒体等数据压缩的理论基础。有关率失真信源编码理论本身尚有许多问题有待进一步的研究，所以它直至今日仍是信息论的重要研究课题。有关数据压缩、多媒体数据压缩等又是另一独立的分支一一数据压缩理论与技术。近30多年来，有关数据压缩理论和技术都发展得非常迅速，取得大量的成果。而且还制定了一系列关于限失真数据压缩的技术标准和建议：语音压缩编码有CCITTG.722、G.723、G.728等标准；静态图像压缩标准JPEG；动态图像压缩标准MPEG一2、MPEG4等：视频编码标准H.261、H.263等。这些压缩技术标准的出现标志着数据压缩理论和技术研究已进入了成熟时期。当然，这其中尚存在许多问题，这不仅需要在数据压缩理论和技术方面做进一步研究，而且更需要从率失真信源编码理论的深人研究中获得理论指导。（5）多用户、网络信息论的发展香农1961年的论文“双路通信信道”开拓了网络信息论的研究。1970年以来，随着卫星通信、计算机通信网的迅速发展，网络信息理论的研究异常活跃，成为当前信息论的中心研究课题之一。1971年艾斯惠特（RAhlswede）和1972年廖（H.Liao）给出了多元接入信道的信道容量区。1973年斯莱平（D.Slepian）和沃尔夫（J.K.Wolf)研究了两个特定相关信源在多元接人信道中信息·14
的传输问题，以及无记忆相关信源编码问题。最早给出了无记忆相关信源的编码定理（SlepianWolf定理）。随后，Keilers（1976年）、Ozarow（1979年）和Carleisl(1977年与1982年）等分别讨论了特定的高斯多元接入信道、具有反馈的AWGN多元接入信道及具有反馈的多元接入信道。而科弗尔（T.M.Cover）、艾斯惠特（R.Ahlswede）又于1980和1983年分别发表文章讨论相关信源在多元接入信道的传输问题。1972年科弗尔提出了广播信道的研究。伯格曼斯（P.Bergmans）（1973）、格拉格尔（R.G.Gal-lager）（1974）、科弗尔（1975）、马登（K.Marton）（1979）、伊·盖马尔（A.ElGamal）（1979）和范·德·缪伦（E.C.VanderMeulen）（1979）等分别研究了广播信道的容量区问题。只有降阶厂播信道的容量区得以解决。有关中继信道的研究，由范·德·缪伦（1977）首先引人，科弗尔和伊·盖马尔找到了降阶中继信道的容量区（1979）。1985年范·德·缪伦曾对广播信道研究的进展和多元接入信道研究的进展做了较全面的概述。20世纪70年代以后，这一领域研究活跃，发表了大量的论文，但对于通信网的一般信息理论还未建立，尚在发展中。20世纪发表的论文所讨论的具体分析策略和结论很难推广应用到一般的实际通信网模型中。然而于21世纪最初几年，以香港中文大学杨伟豪和李硕教授发表的“网络信息流”（2000年）和“线性网络编码”（2003年）及美国学者Gupta和Kumar提出的“无线网络的传输容量”（2000年）和"无线通信的网络信息论”（2004年）等为代表，他们将编码处理技术引人到网络层，拓宽了网络信息论的研究方法和研究视角，使网络信息论的研究取得突破性的进展，激起了学术界的广泛重视和研究，使网络信息论的研究成为通信信息理论和技术研究的新热门领域。（6）信息保密与安全理论的提出和发展关于保密理论问题，香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题做了全面的论述。他将信息保密与安全问题引入了科学的轨道，为保密理论和密码学的发展奠定了理论基础。由于保密问题的特殊性，直至1976年迪弗（Diffe）和海尔曼（Hellman）发表了“密码学的新方向”一文，提出了公开密钥密码体制，揭开了密码学的神秘面纱，使密码学得到了广泛地研究和发展，从而进人了一个辑新的研究阶段。尤其当今，进入了网络经济时代，信息的安全和保密问题更加突出和重要。人们把线性代数、数论、矩阵、近世代数等引人保密问题的研究，已形成了独树一帜的分支一一密码学理论。纠错码和密码学本来是两门不同的学科，而自从1978年伯利坎帕（E.R.Berlekamp）、麦克利斯（R.J.McEliece）和范·蒂尔鲍（H.C.AvanTilborg）证明了纠错码中一般线性分组码的译码问题是一个难解的数学问题。同年McEliece又首先构造了基于纠错码的公开密钥密码体制。从此以后，纠错码和密码学相结合的研究迅速发展起来。近年来，在信息安全和密码学方面值得关注的新动向是量子密码学和光学信息安全学。他们是新一代的信息安全理论与技术，是极具发展前景的交叉科学。目前，在香农信息论方面，还值得注意的研究动向是：信息概念的深化；网络信息理论和多重相关信源编码理论的发展和应用；通信网的一般信息理论研究；磁记录信道的信息理论研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用：信息论在大规模集成电路中的应用等问题。.15
这些领域都是与当前信息工程的前景一一光通信、空间通信、计算机互联网、移动通信，多媒体通信、语音和图像的信息处理等密切相关的。3.信息论与信息科学现在，信息理论与技术不仅在通信、计算机和自动控制等电子学领域中得到直接的应用.而且还广泛地渗透到生物学、医学、生理学、语言学、人文学、社会学和经济学等各领域。在信息论与数学、物理、自动控制、系统工程、人工智能、生物学、电子计算机等学科互相渗透，互相结合的基础上，形成了一门综合性的新兴学科信息科学。信息科学作为一门独立的学科，它是以信息作为主要研究对象，以信息的运动规律和利用信息的原理作为主要的研究内容，以信息科学方法论作为主要的研究手段，以扩大人类的信息功能（特别是智力功能）为主要的研究目标的一门新兴学科。信息科学的研究对象是客观事物的信息属性，这是信息科学区别于传统自然科学而具有独立存在性和广阔发展前景的基本依据。宇宙间万物世界，都是聚物质、信息、能量于客观事物一身。信息性与物质性、能量性一样，是客观事物最基本的属性。信息是无所不在的，它存在于自然界、存在于人类社会中，还存在于人的大脑之中。而信息科学正是以这无所不在的信息作为自已的研究对象，展开其自己的广阔研究领域。显然，信息科学的研究范围要更广阔，涉及的内容也更复杂，更深刻。可以认为由这些交叉学科相结合基础上形成的，以信息量为重要度量的学科分支都可看作信息科学的分支学科。近年来，逐渐形成的光学信息论、量子信息论、生物信息论或生物信息学都是信息科学的重要分支。尤其近几年，量子信息科学不断地取得大量的、有成效的、引人瞩目的成果。量子信息科学将会是今后信息科学发展的重要领域。广义地认为，信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。信息科学理论主要包含信息定性理论、信息定量理论和信息应用理论。信息应用技术，狭义地说，它是扩展人的信息功能的技术。它包括获取信息、传递信息、加工处理信息、存储信息等代替和延伸人的感官及大脑的信息功能的技术。所以，主要包括四个主要方面：信息获取技术（感测技术）、信息传递技术（电信技术）、信息加工处理技术（计算机技术）及信息控制技术（自动智能控制技术）。信息科学方法是人类以信息作为窗口去认识世界和改造世界全过程的一整套方法，由信息分析方法和信息利用方法两大部分组成。它包括：信息的获取方法、信息的传递方法、信息的加工处理方法、信息的存储方法、信息的描述和度量方法及信息的调控和利用方法。信息科学方法就是信息科学理论的应用手段。它是适应信息科学研究的需要而产生的一种同传统的科学研究方法截然不同的科学研究方法，并将随着信息科学理论的发展而不断完善。信息科学理论、信息科学技术和信息科学方法三者之间既有区别，又相互联系和作用而构成信息科学的总体。正是它们在这样的相互依赖、相互促进中交相辉映、共同发展，使人类对信息的认识和利用上升到一个新的水平，把人类推人了高度化发展的信息社会。毫无疑问，随着信息论和信息科学的发展，人们将会揭示出客观世界和人类主观世界更多的内在规律，从而使人们有可能创造出各种性能优异的信息获取系统、信息传输系统、信息控制系统及智能信息系统，使人类进一步从自然力的束缚下得到解放和自由。:16
第2章离散信源及其信息测度从本章开始，我们将从有效而可靠地传输信息的观点出发，对组成信息传输系统（如图1.4所示）的各个部分分别进行讨论。本章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度一一摘及其性质，从而引人信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。2.1信源的数学模型及分类信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。所以，要通过信息的表达者一消息来研究信源。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。正如前面绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度一一概率空间来描述信源。不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。1.信源输出的消息用随机变量描述在实际情况中，有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。例如，扔一颗质地均匀的般子，研究其下落后，朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。这种信源输出的消息是朝上的面是1点”、“朝上的面是2点”、“朝上的面是6点”等6个不同的消息。每次试验只出现一种消息，出现哪一种消息是随机的，但必定是出现这6个消息集合中的某一个消息，不可能出现这个集合以外的什么消息。这6个不同的消息构成两两互不相容的基本事件集合，用符号a;，i=1，，6来表示这些消息，得这信源的样本空间为符号集A：faia2,as,a,as，ae)。由大量试验结果证明，各消息都是等概率出现的，都等于1/6。因此，可以用一个离散型随机变量X来描述这个信源输出的消息。这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，为P（X=a）=P（X=a2）=.=P（X=a6）=1/6。抽象后得到这个信源的数学模型为a2,as.as.al,ata6X11111.1P(r)6'616'6”662p(a) -1并满足上式表示，信源的概率空间必定是一个完备集，信源输出的消息只可能是符号集A：（a1，a2，as）中任何一个，而且每次必定选取其中一个在实际情况中，存在着很多这样的信源，如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。这样的信源称为离散信源。它的数学·17