第1章绪论1.1基本要求通过本章学习，了解信息的概念、信息的定义、信息传输系统的基本模型和各部分功能、信息理论的主要研究内容，以及信息理论的发展历程和应用情况。1.2学习要点1.2.1信息的基本概念信息论是关于信息的本质和传输规律的科学理论，是研究信息的度量、发送、传递和接收的一门学科。它不仅是现代信息科学大厦的一块重要的基石，而且还广泛地渗透到生物学医学、管理学、经济学等其他各个领域。信息论的最基本和最重要的概念就是信息。信息既是信息论的出发点，也是它的归宿。信息论的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。信息一词在各种场合都被广泛采用，但要给它下一个严格的定义却非常困难。自从信息论的奠基人香农（C.E.Shannon）发表著名论文“通信的数学理论”之后，引来许多学者对信息进行深入研究，给“信息”下过的定义不下百种。以下从中选取一部分，供读者参考。1.2.1.1用人们熟知的、与信息有某种联系的概念来定义信息（1）信息是消息。（2）信息是数据。此类定义只接触到与信息相关的一些表象，未触及到信息的实质。在日常交流中，信息常以消息的形式出现，消息中可能含有信息，但不是信息本身。数据则是记录信息的一种形式，并非是唯一形式。1.2.1.2用某些学科的专门术语和名词来定义信息（1）信息是集合之间的变异度。（2）信息是一种场。（3）信息是信号。“集合”和“场”分别是从数学和物理学中引入的概念，就概念本身就很专业、难懂拿来定义信息就更加不好理解。信号是电子学的专业名词，是表现信息的一种形式，或传输信息的一种载体，不是信息本身。1.2.1.3从广义的角度、或者说从哲学意义上来定义信息1
1 第 1 章 绪 论 1.1 基本要求 通过本章学习，了解信息的概念、信息的定义、信息传输系统的基本模型和各部分功能、 信息理论的主要研究内容，以及信息理论的发展历程和应用情况。 1.2 学习要点 1.2.1 信息的基本概念 信息论是关于信息的本质和传输规律的科学理论，是研究信息的度量、发送、传递和接 收的一门学科。它不仅是现代信息科学大厦的一块重要的基石，而且还广泛地渗透到生物学、 医学、管理学、经济学等其他各个领域。 信息论的最基本和最重要的概念就是信息。信息既是信息论的出发点，也是它的归宿。 信息论的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体 的目的。 信息一词在各种场合都被广泛采用，但要给它下一个严格的定义却非常困难。自从信息 论的奠基人香农（C.E.Shannon）发表著名论文“通信的数学理论”之后，引来许多学者对 信息进行深入研究，给“信息”下过的定义不下百种。以下从中选取一部分，供读者参考。 1.2.1.1 用人们熟知的、与信息有某种联系的概念来定义信息 （1）信息是消息。 （2）信息是数据。 此类定义只接触到与信息相关的一些表象，未触及到信息的实质。在日常交流中，信息 常以消息的形式出现，消息中可能含有信息，但不是信息本身。数据则是记录信息的一种形 式，并非是唯一形式。 1.2.1.2 用某些学科的专门术语和名词来定义信息 （1）信息是集合之间的变异度。 （2）信息是一种场。 （3）信息是信号。 “集合”和“场”分别是从数学和物理学中引入的概念，就概念本身就很专业、难懂， 拿来定义信息就更加不好理解。信号是电子学的专业名词，是表现信息的一种形式，或传输 信息的一种载体，不是信息本身。 1.2.1.3 从广义的角度、或者说从哲学意义上来定义信息
（1）信息就是信息，既不是物质也不是能量。（2）信息是事物之间的差异。（3）信息是事物相互作用的表现形式。（4）信息是事物联系的普遍形式。（5）信息是物质的普遍属性。这类定义很多，它们的共性是力争从一般意义下来定义信息，哲学意味很浓，但难以从定义出发引出信息的度量方法。1.2.1.4从控制论和系统论的角度来定义信息（1）信息是与控制系统相联系的一种功能现象。（2）信息是控制的指令。（3）信息是系统组织程度的度量。（4）信息是有序性的度量。（5）信息是负摘。前两种是从控制论的角度下的定义，后三种是从系统论角度下的定义。这三种定义与香农对信息的理解较为接近，香农把信息理解为消除不确定性的东西。1.2.1.5从随机不确定性的角度来定义信息（1）信息是收信者事先不知道的报道。（2）信息是反映不确定性的消除数量。此类定义考虑到了通信的实际情况，即收信者在收到信息之前是心存疑问或不确定性的，收到信息之后，不确定性会减少或消除。经典信息论是以香农理论为基础建立起来的，1948年，香农在所发表的著名论文“通信的数学理论”中对信息进行了定性和定量的描述。他指出：“信息是事物运动状态或存在方式的不确定性的描述”。1.2.2信息论的研究对象信息论的研究对象是如图1.1所示的统一的基本模型。它是一个点到点的单向信息传输系统模型，利用该模型可解释各种通信系统中的一些共性问题等效信道信源信道UVX后编码器编码器调制器TTs(t)n(t)信道r(t)=s(t)+n(t)U信道信源V信译码器译码器解调器宿T-2
2 （1）信息就是信息，既不是物质也不是能量。 （2）信息是事物之间的差异。 （3）信息是事物相互作用的表现形式。 （4）信息是事物联系的普遍形式。 （5）信息是物质的普遍属性。 这类定义很多，它们的共性是力争从一般意义下来定义信息，哲学意味很浓，但难以从 定义出发引出信息的度量方法。 1.2.1.4 从控制论和系统论的角度来定义信息 （1）信息是与控制系统相联系的一种功能现象。 （2）信息是控制的指令。 （3）信息是系统组织程度的度量。 （4）信息是有序性的度量。 （5）信息是负熵。 前两种是从控制论的角度下的定义，后三种是从系统论角度下的定义。这三种定义与香 农对信息的理解较为接近，香农把信息理解为消除不确定性的东西。 1.2.1.5 从随机不确定性的角度来定义信息 （1）信息是收信者事先不知道的报道。 （2）信息是反映不确定性的消除数量。 此类定义考虑到了通信的实际情况，即收信者在收到信息之前是心存疑问或不确定性 的，收到信息之后，不确定性会减少或消除。 经典信息论是以香农理论为基础建立起来的，1948 年，香农在所发表的著名论文“通 信的数学理论”中对信息进行了定性和定量的描述。他指出：“信息是事物运动状态或存在 方式的不确定性的描述”。 1.2.2 信息论的研究对象 信息论的研究对象是如图 1.1 所示的统一的基本模型。它是一个点到点的单向信息传 输系统模型，利用该模型可解释各种通信系统中的一些共性问题。 解调器 U V X Vˆ Y Uˆ 信源 编码器 T1 调制器 信道 信 源 信 宿 等效信道 信道 编码器 T2 信道 译码器 1 2 Tˆ 信源 译码器 1 T1 s(t) n t( ) r(t)s(t)n(t)
图1.1信息传输基本模型1.2.2.1信源、信宿和信道信源是发送消息的源，根据其输出的性质，有数字信源和模拟信源之分。离散信源输出离散的符号或数字消息序列，模拟信源输出连续波形信号。信源是信息论的主要研究对象之一，由于信源的输出具有不确定性，因此可用概率论和随机过程的方法予以研究。信宿取的是信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信息论中研究的信道都是等效信道，是将传输信息的物理媒质和调制解调器合并考虑。所关心的问题是：在噪声干扰下，信道输入至输出之间的状态转移关系。1.2.2.2信源编码器与信源译码器从信息传输的角度看，总是希望信息传输的效率尽量高。通常信源发出的符号序列中，各符号携带信息的多少相差很大，即信息分布不均匀，因此有必要对符号序列加以变换，使得变换之后的序列信息分布均匀化。这种变换称为信源编码。信源编码之前的序列较“松散”（有信息的穴余），而编码之后的序列较“紧凑”，这种由“松散”变为“紧凑”的过程也称数据压缩。总之，信源编码的实质就是为了去掉信源中的信息穴余。信源编码分为无失真编码和限失真编码。信源译码是信源编码的逆过程。1.2.2.3信道编码器与信道译码器信道编码的主要作用是提高信息传输的可靠性。因为有噪声干扰，信息传输总有出错的可能。信道编码通常是在信息序列中有目的地加入穴余，使其变“长”，从而实现对传输错误的检测或纠正。信道译码规则要根据信道的噪声特性而定，通常不是一一变换，而是多一变换。1.2.4信息论的主要研究内容根据研究范围的大小，可对信息论进行以下分类狭义信息论，也称经典信息论或香农信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论。香农信息理论的体系结构如图1.2所示。3
3 图 1.1 信息传输基本模型 1.2.2.1 信源、信宿和信道 信源是发送消息的源，根据其输出的性质，有数字信源和模拟信源之分。离散信源输出 离散的符号或数字消息序列，模拟信源输出连续波形信号。信源是信息论的主要研究对象之 一，由于信源的输出具有不确定性，因此可用概率论和随机过程的方法予以研究。 信宿取的是信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信息论中研究的信道都是等效信道，是将传输信息的物理媒质和调制解调器合并考虑。 所关心的问题是：在噪声干扰下，信道输入至输出之间的状态转移关系。 1.2.2.2 信源编码器与信源译码器 从信息传输的角度看，总是希望信息传输的效率尽量高。通常信源发出的符号序列中， 各符号携带信息的多少相差很大，即信息分布不均匀，因此有必要对符号序列加以变换，使 得变换之后的序列信息分布均匀化。这种变换称为信源编码。 信源编码之前的序列较“松散”（有信息的冗余），而编码之后的序列较“紧凑”，这 种由“松散”变为“紧凑”的过程也称数据压缩。总之，信源编码的实质就是为了去掉信源 中的信息冗余。 信源编码分为无失真编码和限失真编码。 信源译码是信源编码的逆过程。 1.2.2.3 信道编码器与信道译码器 信道编码的主要作用是提高信息传输的可靠性。因为有噪声干扰，信息传输总有出错的 可能。信道编码通常是在信息序列中有目的地加入冗余，使其变“长”，从而实现对传输错 误的检测或纠正。 信道译码规则要根据信道的噪声特性而定，通常不是一一变换，而是多一变换。 1.2.4 信息论的主要研究内容 根据研究范围的大小，可对信息论进行以下分类。 狭义信息论，也称经典信息论或香农信息论。它主要研究信息的测度、信道容量以及信 源和信道编码理论等问题。这部分内容是信息论的基础理论。香农信息理论的体系结构如图 1.2 所示
香农信息理论+4+压缩理论信道编码理论保密理论→→↓保密码压缩编码纠错码+有失真信源编码无失真信源编码图1.2香农信息理论体系结构一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。广义信息论，它的研究领域不仅包括上述二方面的内容，而且还包括所有与信息有关的自然和社会领域。4
4 香农信息理论 压缩理论 信道编码理论 保密理论 压缩编码 纠错码 保密码 有失真信源编码 无失真信源编码 图 1.2 香农信息理论体系结构 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、 信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。 广义信息论，它的研究领域不仅包括上述二方面的内容，而且还包括所有与信息有关的 自然和社会领域