《信息论专题》课程教学大纲 一、课程基本信息 课程代码：16206802 课程名称：信息论专题 英文名称：Information Theory Semina 课程类别：公共课 时：32 学 分.2 适用对象：各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息 过程的透彻分析，综合己有各学科研究方向，阐释信息论的发展如何为信息 技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会 科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及 这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算， 为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联 系：介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章绪论 (一)目的与要求 1.了解信息论的发展背景和重要性。 2.掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组 成体系，掌握信息论的目标和主要科学研究方法。 3.了解信息论的诞生及发展历史、现状和趋势。 (二)教学内容 第一节信息的概念 1.主要内容：①信息的基本概念：②信息传输系统模型和性能指标： ③信息论的研究范畴。 2.基本概念和知识点：信息、消息、信号、概率信息
1 《信息论专题》课程教学大纲 一、课程基本信息 课程代码：16206802 课程名称：信息论专题 英文名称：Information Theory Seminar 课程类别：公共课 学 时：32 学 分：2 适用对象: 各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息 过程的透彻分析，综合已有各学科研究方向，阐释信息论的发展如何为信息 技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会 科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及 这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算， 为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联 系；介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章 绪论 （一）目的与要求 1.了解信息论的发展背景和重要性。 2.掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组 成体系，掌握信息论的目标和主要科学研究方法。 3.了解信息论的诞生及发展历史、现状和趋势。 （二）教学内容 第一节 信息的概念 1．主要内容：①信息的基本概念；②信息传输系统模型和性能指标； ③信息论的研究范畴。 2．基本概念和知识点：信息、消息、信号、概率信息
3.问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息 论的组成体系 第二节信息论研究的对象、目的和内容 1.主要内容：①信息论研究的对象：②信息论的研究目的：③与实 际通信系统相联系，理解信息论的研究内容。 2.基本概念和知识点：信息传输系统模型、信息度量基本概念的建 立 3.问题与应用（能力要求）：掌握信息论的组成体系。 第三节信息传输系统模型基本概念 1.主要内容：①信息传输系统模型的概念：②信息传输系统模型的 基本结构：③与实际通信系统相联系，理解信息传输系统模型： ④介绍我国信息化发展历程以及当前面临的国际竞争环境：⑤党 和政府为建设小康社会，实现人民美好生活需求，在信息化建设 上做出的巨大努力。 2。基本概念和知识点：信息传输系统模型基本概念的建立、基本结 构的了解。 3.问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。 (三)思考与实践 1.信息理论包含哪些基本问题 2.阐述信息理论的产生背景和发展历史。 3.通信系统包含哪些基本模型？ (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第二章信息的度量 (一)目的与要求 1.理解信息熵和平均互信息的物理意义： 2.了解信息不增性原理： 3.掌握最大熵定理 4.通过给定信源的模型，能够计算其信息熵。 (二)教学内容 第一节信源模型 1,主要内容：①实际信源、信源模型的建立：②信源的分类方法。 2
2 3．问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息 论的组成体系。 第二节 信息论研究的对象、目的和内容 1．主要内容：①信息论研究的对象；②信息论的研究目的；③与实 际通信系统相联系，理解信息论的研究内容。 2．基本概念和知识点：信息传输系统模型、信息度量基本概念的建 立。 3．问题与应用（能力要求）：掌握信息论的组成体系。 第三节 信息传输系统模型基本概念 1．主要内容：①信息传输系统模型的概念；②信息传输系统模型的 基本结构；③与实际通信系统相联系，理解信息传输系统模型； ④介绍我国信息化发展历程以及当前面临的国际竞争环境；⑤党 和政府为建设小康社会，实现人民美好生活需求，在信息化建设 上做出的巨大努力。 2．基本概念和知识点：信息传输系统模型基本概念的建立、基本结 构的了解。 3．问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。 （三）思考与实践 1．信息理论包含哪些基本问题？ 2．阐述信息理论的产生背景和发展历史。 3．通信系统包含哪些基本模型？ （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第二章 信息的度量 （一）目的与要求 1.理解信息熵和平均互信息的物理意义； 2.了解信息不增性原理； 3.掌握最大熵定理； 4.通过给定信源的模型，能够计算其信息熵。 （二）教学内容 第一节 信源模型 1．主要内容：①实际信源、信源模型的建立；②信源的分类方法
2.基本概念和知识点：信源、信源模型、信源模型分类。 3.问题与应用（能力要求）：掌握信源的数学模型：了解不同信源分 类方法及各类信源： 第二节信息的描述 1.主要内容：①离散无记忆信源：②非理想观察模型。 2.基本概念和知识点：离散无记忆信源、非理想观察模型、不确定 性。 3.问题与应用（能力要求）：掌握离散无记忆信源的数学模型，熟悉 非理想观察模型中各类不确及信息的概念。 第三节不确定性与信息 1,主要内容：①自信息量：②联合自信息量与条件自信息量：③自 信息量的性质：④互信息量及其性质。 2.基本概念和知识点：联合自信息量、条件自信息量、互信息量 3.问题与应用（能力要求）：掌握自信息量的计算方法：了解自信息 量单位的物理意义：了解在非理想观察模型中各种自信息量的物 理含义：了解可加性的物理解释：了解互信息量与各类自信息量 间的关系和物理意义。 第四节离散随机变量的（统计）平均不确定性一一离散熵 L.主要内容：①离散熵：②离散熵的性质：③联合熵和条件熵 2.基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3.问题与应用（能力要求）：掌握各种实际信源离散熵的计算：理解 离散熵的物理含义：了解熵的各个性质的推导过程：利用熵的性 质解释实际信源的各种特点：了解熵的各个性质的推导过程：熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明： 掌握联合熵、条件熵的计算：理解各种熵的物理意义。 第五节平均互信息量及其性质 1,主要内容：①平均互信息量的概念：②平均互信息量的性质。 2.基本概念和知识点：平均互信息量、平均互信息量的物理意义、 平均互信息量与各类熵之间的关系。 3.问题与应用（能力要求）：理解平均互信息量的各条性质的推导： 灵活坛用平均石信息量与高之间的关系，计算分析各种实际应用 题目的平均互信息量。 第六节离散无记忆信源的扩展 I.主要内容：①N次扩展信源的概率空间：②次扩展信源的熵
3 2．基本概念和知识点：信源、信源模型、信源模型分类。 3．问题与应用（能力要求）：掌握信源的数学模型；了解不同信源分 类方法及各类信源。 第二节 信息的描述 1．主要内容：①离散无记忆信源；②非理想观察模型。 2．基本概念和知识点：离散无记忆信源、非理想观察模型、不确定 性。 3．问题与应用（能力要求）：掌握离散无记忆信源的数学模型，熟悉 非理想观察模型中各类不确定及信息的概念。 第三节 不确定性与信息 1．主要内容：①自信息量；②联合自信息量与条件自信息量；③自 信息量的性质；④互信息量及其性质。 2．基本概念和知识点：联合自信息量、条件自信息量、互信息量。 3．问题与应用（能力要求）：掌握自信息量的计算方法；了解自信息 量单位的物理意义；了解在非理想观察模型中各种自信息量的物 理含义；了解可加性的物理解释；了解互信息量与各类自信息量 间的关系和物理意义。 第四节 离散随机变量的（统计）平均不确定性——离散熵 1．主要内容：①离散熵；②离散熵的性质；③联合熵和条件熵。 2．基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3．问题与应用（能力要求）：掌握各种实际信源离散熵的计算；理解 离散熵的物理含义；了解熵的各个性质的推导过程；利用熵的性 质解释实际信源的各种特点；了解熵的各个性质的推导过程；熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明； 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第五节 平均互信息量及其性质 1．主要内容：①平均互信息量的概念；②平均互信息量的性质。 2．基本概念和知识点：平均互信息量、平均互信息量的物理意义、 平均互信息量与各类熵之间的关系。 3．问题与应用（能力要求）：理解平均互信息量的各条性质的推导； 灵活运用平均互信息量与熵之间的关系，计算分析各种实际应用 题目的平均互信息量。 第六节 离散无记忆信源的扩展 1．主要内容：①N 次扩展信源的概率空间；②N 次扩展信源的熵
2.基本概念和知识点：N次扩展信源。 3.问题与应用（能力要求）：扩展信源与单符号信源的关系，能够利 用单符号信源推导DMS扩展信源的概率空间及嫡。 第七节离散平稳信源的熵 1.主要内容：①离散嫡：②离散熵的性质：③联合熵和条件熵。 2.基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵 3.问题与应用（能力要求）：掌握各种实际信源离散熵的计算：理解 离散熵的物理含义：了解熵的各个性质的推导过程：利用熵的性 质解释实际信源的各种特点：了解熵的各个性质的推导过程：热 悉信息论不等式、香农不等式，并能利用其讲行各种不第式证明： 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第八节连续信源的熵 1.主要内容：①连续信源的联合熵、条件熵和平均互信息：②连续 信源的熵：③连续信源的熵功率。 2.基本概念和知识点：连续信源的概率空间、嫡功率、连续信源剩 余度。 3.问题与应用（能力要求）：了解连续信源的联合熵、微分熵和平均 互信息的定义及相互关系：了解均值受限的连续随机变量的微分 熵极大化：了解功率受限的连续随机变量的微分熵极大化：运用 微分熵的极大化特性解释实际信源与噪声的最优选择问题。 (三)思考与实践 1.结合自信息量的定义式，解释不确定性、可能性、概率直接的关 系 2.讨论自信息量、联合自信息量、条件自信息量单位的有何不同， 并解释原因。可举例说明。 3. 如果消息长度为无穷大时，如何计算消息中的平均每个符号的自 信息量？ 4.抛一枚硬币和抛一个骰子，“判断硬币正面朝上”和“判断骰子6 点朝上”这两个事件中，哪一个更为困难？为什么？试用信息理 论加以解释。 5.从微分熵的极大化的角度，讨论实际信源采用什么信号发送最为 有利？ (四)教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习
4 2．基本概念和知识点：N 次扩展信源。 3．问题与应用（能力要求）：扩展信源与单符号信源的关系，能够利 用单符号信源推导 DMS 扩展信源的概率空间及熵。 第七节 离散平稳信源的熵 1．主要内容：①离散熵；②离散熵的性质；③联合熵和条件熵。 2．基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件 熵。 3．问题与应用（能力要求）：掌握各种实际信源离散熵的计算；理解 离散熵的物理含义；了解熵的各个性质的推导过程；利用熵的性 质解释实际信源的各种特点；了解熵的各个性质的推导过程；熟 悉信息论不等式、香农不等式，并能利用其进行各种不等式证明； 掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第八节 连续信源的熵 1．主要内容：①连续信源的联合熵、条件熵和平均互信息；②连续 信源的熵；③连续信源的熵功率。 2．基本概念和知识点：连续信源的概率空间、熵功率、连续信源剩 余度。 3．问题与应用（能力要求）：了解连续信源的联合熵、微分熵和平均 互信息的定义及相互关系；了解均值受限的连续随机变量的微分 熵极大化；了解功率受限的连续随机变量的微分熵极大化；运用 微分熵的极大化特性解释实际信源与噪声的最优选择问题。 （三）思考与实践 1．结合自信息量的定义式，解释不确定性、可能性、概率直接的关 系。 2．讨论自信息量、联合自信息量、条件自信息量单位的有何不同， 并解释原因。可举例说明。 3．如果消息长度为无穷大时，如何计算消息中的平均每个符号的自 信息量？ 4．抛一枚硬币和抛一个骰子，“判断硬币正面朝上”和“判断骰子 6 点朝上”这两个事件中，哪一个更为困难？为什么？试用信息理 论加以解释。 5．从微分熵的极大化的角度，讨论实际信源采用什么信号发送最为 有利？ （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习
讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第三章信道模型和信道容量 (一)目的与要求 1.了解信道的分类： 2.能根据信道的数学模型与已知的信源，计算平均互信息量、噪音熵、 疑义度和联合熵： 3.理解信道容量及其理论堪 4.能根据信道的对称性，计算离散对称信道的信道容量。 (一)教学内容 第一节信道模型与分类 1.主要内容：①信道模型：②信道分类方法与类别。 2.基本概念和知识点：信道、信道模型、信道模型分类。 3.问题与应用（能力要求）：掌握信道的数学模型：了解不同信道分 类方法及各类信道。 第二节离散无记忆信道的数学模型 1.主要内容：①离散无记忆信道：②离散无记忆信道的三种描述方 法。 2.基本概念和知识点：离散无记忆信源、转移概率集合、转移概率 矩阵、信道线图。 3.问题与应用（能力要求）：会用转移概率集合、转移概率矩阵、信 道线图三种方法描述离散无记忆信道：掌握三种方法的互相转换。 第三节概率的计算问题 1.主要内容：先验概率、转移概率、后验概率等的相互转换 2.基本概念和知识点：先验概率、转移概率、后验概率。 3.问题与应用（能力要求）：教学要求已知先验概率矩阵、转移概率 矩阵、可计算联合概率矩阵、后验概率矩阵。 第四节信道的疑义度、散布度和平均互信息 1.主要内容：①信道的疑义度：②联信道的散布度：③信道的平均 互信息。 2.基本概念和知识点：信首骚义度的定义、计算方法和物理意义： 联信道散布度的定义、计算方法和物理意义：信道平均互信息的 的概率表达式的变形、凸性。 3。问题与应用（能力要求）：能够计算信道疑义度和散布度：理解平 5
5 讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第三章 信道模型和信道容量 （一）目的与要求 1.了解信道的分类； 2.能根据信道的数学模型与已知的信源，计算平均互信息量、噪音熵、 疑义度和联合熵； 3.理解信道容量及其理论基础； 4.能根据信道的对称性，计算离散对称信道的信道容量。 （二）教学内容 第一节 信道模型与分类 1．主要内容：①信道模型；②信道分类方法与类别。 2．基本概念和知识点：信道、信道模型、信道模型分类。 3．问题与应用（能力要求）：掌握信道的数学模型；了解不同信道分 类方法及各类信道。 第二节 离散无记忆信道的数学模型 1．主要内容：①离散无记忆信道；②离散无记忆信道的三种描述方 法。 2．基本概念和知识点：离散无记忆信源、转移概率集合、转移概率 矩阵、信道线图。 3．问题与应用（能力要求）：会用转移概率集合、转移概率矩阵、信 道线图三种方法描述离散无记忆信道；掌握三种方法的互相转换。 第三节 概率的计算问题 1．主要内容：先验概率、转移概率、后验概率等的相互转换。 2．基本概念和知识点：先验概率、转移概率、后验概率。 3．问题与应用（能力要求）：教学要求已知先验概率矩阵、转移概率 矩阵、可计算联合概率矩阵、后验概率矩阵。 第四节 信道的疑义度、散布度和平均互信息 1．主要内容：①信道的疑义度；②联信道的散布度；③信道的平均 互信息。 2．基本概念和知识点：信道疑义度的定义、计算方法和物理意义； 联信道散布度的定义、计算方法和物理意义；信道平均互信息的 的概率表达式的变形、凸性。 3．问题与应用（能力要求）：能够计算信道疑义度和散布度；理解平