《信息理论与编码》教学大纲课程名称：信息理论与编码/InformationTheoryandCoding学时/学分：48/3（其中含实验8学时）先修课程：线性代数、概率论与随机过程、信号与系统、通信原理适用专业：通信工程、信息工程、电子信息工程、电子科学与技术、电子信息科学与技术、光信息科学与技术等开课学院（部）、系（教研室）：信息工程学院、理学院一、课程的性质与任务《信息理论与编码》是通信工程、信息工程、电子信息工程等专业的一门理论性很强的学科基础课。其主要任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。二、课程的教学内容、基本要求及学时分配（一）教学内容1信息的基本概念信息的定义，信息的性质与特征，信息的分类，信息传递系统模型，2离散信源及其信息测度信源的分类，自信息量、条件自信息量以及互信息量，离散信源的及其性质，平均互信息量及其性质，离散无记忆信源的扩展信源，离散平稳信源，马尔可夫信源，信源的信息含量效率和穴余度，连续信源的摘，连续信源炳的极大化。3信道及其信道容量信道模型与分类，信道的信息传输率和信道容量，离散无记忆信道容量的计算，离散无记忆扩展信道，信道的组合，信源与信道的匹配，连续信道，波形信道。4无失真信源编码信源编码的基本概念，定长与定长编码定理，唯一可译变长码的构造和判断方法，变长编码定理，变长编码方法。5有噪信道编码错误概率与译码规则，汉明距离，有噪信道编码定理，纠错码的基本思想。6限失真信源编码失真测度，信息率失真函数，限失真信源编码定理。（二）基本要求1、了解信息的定义和基本特征；2、掌握自信息量、互信息量、摘以及平均互信息的概念、性质与计算方法3、掌握离散无记忆信道、连续信道以及波形信道的信道容量的基本概念和计算方法4、掌握离散信源编码定理与Huffman编码方法：5、掌握离散信道错误概率计算方法与译码规则选定方法，了解有噪信道编码定理；6、掌握失真测度概念，掌握信息率失真函数的性质，了解限失真信源编码定理：（三）学时分配本课程的教学时数为48学时，课内学时分配如下表：课程内容讲课实验小计0221信息的基本概念12214离散信源及其信息测度210143信道及其信道容量46064无失真信源编码1
《信息理论与编码》教学大纲 课程名称：信息理论与编码 / Information Theory and Coding 学时/学分：48/3 （其中含实验 8 学时） 先修课程：线性代数、概率论与随机过程、信号与系统 、通信原理 适用专业： 通信工程、信息工程、电子信息工程、电子科学与技术、电子信息科学与技术、光信息科学与 技术等 开课学院（部）、系(教研室)：信息工程学院、理学院 一、课程的性质与任务 《信息理论与编码 》是通信工程、信息工程、电子信息工程等专业的一门理论性很强的学科基础课。其主要 任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养利用 信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基 础。 二、课程的教学内容、基本要求及学时分配 （一）教学内容 1 信息的基本概念 信息的定义，信息的性质与特征，信息的分类，信息传递系统模型。 2 离散信源及其信息测度 信源的分类，自信息量、条件自信息量以及互信息量，离散信源的熵及其性质，平均互信息量及其性质，离散 无记忆信源的扩展信源，离散平稳信源，马尔可夫信源，信源的信息含量效率和冗余度，连续信源的熵，连续信源 熵的极大化。 3 信道及其信道容量 信道模型与分类，信道的信息传输率和信道容量，离散无记忆信道容量的计算，离散无记忆扩展信道，信道的 组合，信源与信道的匹配，连续信道，波形信道。 4 无失真信源编码 信源编码的基本概念，定长与定长编码定理，唯一可译变长码的构造和判断方法，变长编码定理，变长编码方 法。 5 有噪信道编码 错误概率与译码规则，汉明距离，有噪信道编码定理，纠错码的基本思想。 6 限失真信源编码 失真测度，信息率失真函数，限失真信源编码定理。 （二）基本要求 1、了解信息的定义和基本特征； 2、掌握自信息量、互信息量、熵以及平均互信息的概念、性质与计算方法； 3、掌握离散无记忆信道、连续信道以及波形信道的信道容量的基本概念和计算方法； 4、掌握离散信源编码定理与Huffman编码方法； 5、掌握离散信道错误概率计算方法与译码规则选定方法，了解有噪信道编码定理； 6、掌握失真测度概念，掌握信息率失真函数的性质，了解限失真信源编码定理； （三）学时分配 本课程的教学时数为48学时，课内学时分配如下表： 课程内容 讲课 实验 小 计 1 信息的基本概念 2 0 2 2 离散信源及其信息测度 12 2 14 3 信道及其信道容量 10 4 14 4 无失真信源编码 6 0 6
6285有噪信道编码4046限失真信源编码40848合计（四）课程内容的重点、难点1信息的基本概念重点：信息的定义体系，信息传递系统模型。2离散信源及其信息测度重点：自信息量和摘的定义、计算以及物理意义：信源的扩展。难点：连续信源炳的计算和意义，连续信源摘的极大化问题。3信道及其信道容量重点：信道模型，信道容量的定义与计算。难点：波形信道信道容量的定义与计算4无失真信源编码重点：唯一可译码概念，变长编码方法。难点：定长与定长编码定理5有噪信道编码重点：错误概率与译码规则，纠错码的基本思想。难点：有噪信道编码定理。6限失真信源编码重点：失真测度，信息率失真函数。难点：信息率失真函数计算方法。三、课程改革与特色本课程使用了多媒体教学和双语教学。本课程是一门基础理论课，主要讲述信息的存储、度量以及编码的数学理论，涉及的数学知识较深。通过该课程的学习，可为信息传输系统的设计打下坚实的理论基础
5 有噪信道编码 6 2 8 6 限失真信源编码 4 0 4 合计 40 8 48 （四）课程内容的重点、难点 1 信息的基本概念 重点：信息的定义体系，信息传递系统模型。 2 离散信源及其信息测度 重点：自信息量和熵的定义、计算以及物理意义；信源的扩展。 难点：连续信源熵的计算和意义，连续信源熵的极大化问题。 3 信道及其信道容量 重点：信道模型，信道容量的定义与计算。 难点：波形信道信道容量的定义与计算 4 无失真信源编码 重点：唯一可译码概念，变长编码方法。 难点：定长与定长编码定理 5 有噪信道编码 重点：错误概率与译码规则，纠错码的基本思想。 难点：有噪信道编码定理。 6 限失真信源编码 重点：失真测度，信息率失真函数。 难点：信息率失真函数计算方法。 三、课程改革与特色 本课程使用了多媒体教学和双语教学。 本课程是一门基础理论课，主要讲述信息的存储、度量以及编码的数学理论，涉及的数学知识较深。通过该课 程的学习，可为信息传输系统的设计打下坚实的理论基础