《信息理论与编码》学习指南必备基础：高等数学、线性代数、概率论与随机过程、信号与系统、通信原理一、本课程的主要内容《信息理论与编码》是信息工程、电子信息工程、通信工程等专业的一门学科基础必修课。通过本课程的学习，可以获得1.信息的定义、性质与特征，信息传递系统模型；2.信源模型与信息测度方法；3.信道模型、信道容量的计算方法；4.无失真信源编码方法；5.错误概率与译码规则，有噪信道编码定理；6.限失真信源编码。本课程在讲授信息的度量方法以及信源、信道编码的基本理论与方法的同时，注重培养利用信息论的基本原理分析和解决实际问题的能力，为进一步进行专业课程学习打下良好的理论基础。二、课程内容及其重点难点1.信息的基本概念信息的定义，信息的性质与特征，信息的分类，信息传递系统模型。重点：信息的定义体系，信息传递系统模型。2.信源及其信息测度信源的分类，自信息量、条件自信息量以及互信息量，离散信源的滴及其性质，平均互信息量及其性质，离散无记忆信源的扩展信源，离散平稳信源，马尔可夫信源，信源的信息含量效率和亢余度，连续信源的，连续信源的极大化重点：自信息量和滴的定义、计算以及物理意义信源的扩展难点：连续信源的计算和意义，连续信源的极大化问题。3.信道及其信道容量信道模型与分类，信道的信息传输率和信道容量，离散无记忆信道容量的计算，离散无记忆扩展信道，信道的组合，信源与信道的匹配，连续信道，波形信道重点：信道模型，信道容量的定义与计算。难点：波形信道信道容量的定义与计算4.无失真信源编码信源编码的基本概念，定长与定长编码定理，唯一可译变长码的构造和判断方法，变长编码定理，变长编码方法。重点：唯一可译码概念，变长编码方法。难点：定长与定长编码定理5.有噪信道编码错误概率与译码规则，汉明距离，有噪信道编码定理，纠错码的基本思想。重点：错误概率与译码规则，纠错码的基本思想难点：有噪信道编码定理6.限失真信源编码失真测度，信息率失真函数，限失真信源编码定理，信息率失真函数计算方法
《信息理论与编码》学习指南 必备基础：高等数学、线性代数、概率论与随机过程、信号与系统、通信原理 一、本课程的主要内容 《信息理论与编码》是信息工程、电子信息工程、通信工程等专业的一门学科基础必修课。通过 本课程的学习，可以获得： 1.信息的定义、性质与特征，信息传递系统模型； 2.信源模型与信息测度方法； 3.信道模型、信道容量的计算方法； 4.无失真信源编码方法； 5.错误概率与译码规则，有噪信道编码定理； 6.限失真信源编码。 本课程在讲授信息的度量方法以及信源、信道编码的基本理论与方法的同时，注重培养利用信息 论的基本原理分析和解决实际问题的能力，为进一步进行专业课程学习打下良好的理论基础。 二、课程内容及其重点难点 1.信息的基本概念 信息的定义，信息的性质与特征，信息的分类，信息传递系统模型。 重点：信息的定义体系，信息传递系统模型。 2.信源及其信息测度 信源的分类，自信息量、条件自信息量以及互信息量，离散信源的熵及其性质，平均互信息量及 其性质，离散无记忆信源的扩展信源，离散平稳信源，马尔可夫信源，信源的信息含量效率和冗余 度，连续信源的熵，连续信源熵的极大化。 重点：自信息量和熵的定义、计算以及物理意义；信源的扩展。 难点：连续信源熵的计算和意义，连续信源熵的极大化问题。 3.信道及其信道容量 信道模型与分类，信道的信息传输率和信道容量，离散无记忆信道容量的计算，离散无记忆扩展 信道，信道的组合，信源与信道的匹配，连续信道，波形信道。 重点：信道模型，信道容量的定义与计算。 难点：波形信道信道容量的定义与计算 4.无失真信源编码 信源编码的基本概念，定长与定长编码定理，唯一可译变长码的构造和判断方法，变长编码定 理，变长编码方法。 重点：唯一可译码概念，变长编码方法。 难点：定长与定长编码定理 5.有噪信道编码 错误概率与译码规则，汉明距离，有噪信道编码定理，纠错码的基本思想。 重点：错误概率与译码规则，纠错码的基本思想。 难点：有噪信道编码定理。 6.限失真信源编码 失真测度，信息率失真函数，限失真信源编码定理，信息率失真函数计算方法
重点：失真测度，信息率失真函数。难点：信息率失真函数计算方法。三、 课程内容的学习要求1.了解信息的定义和基本特征；2.掌握自信息量、互信息量、摘以及平均互信息的概念、性质与计算方法；3.掌握离散无记忆信道、连续信道以及波形信道的信道容量概念和计算方法4.掌握离散信源编码定理与Huffman编码方法；5.掌握离散信道错误概率计算方法与译码规则选定方法，了解有噪信道编码定理6.掌握失真测度概念，掌握信息率失真函数的性质，了解限失真信源编码定理四、学习本课程注意事项本课程为湖北省精品课程，信息工程学院平台课程，实行统一教学学时，统一教学大纲，统一教学日历，统一命题考试，统一阅卷。开发了课程学习网站，提供了丰富的网络教学资源，开通了在线答疑系统。实行板书和多媒体辅助的教学手段。课程分为理论教学和实验教学两部分。课程考核成绩由考试卷面成绩、实验成绩和平时成绩共同确定，课程结业考试为闭卷考试，占总评成绩的70%，实验成绩占10%，平时成绩由出勤和作业等决定，占总评成绩的20%。五、推荐教材及参考书推荐教材吕锋，王虹，刘皓春.信息理论与编码.北京：人民邮电出版社，2010年9月配套辅导书王虹，刘雪冬.信息理论与编码学习指导.北京：人民邮电出版社，2011年2月参考书：傅祖芸.信息论一一基础理论与应用（第3版）北京：电子工业出版社，2011年2月ThomasM.Cover.ElementsofInformationTheory.北京：机械工业出版社，2008年3月
重点：失真测度，信息率失真函数。 难点：信息率失真函数计算方法。 三、课程内容的学习要求 1.了解信息的定义和基本特征； 2.掌握自信息量、互信息量、熵以及平均互信息的概念、性质与计算方法； 3.掌握离散无记忆信道、连续信道以及波形信道的信道容量概念和计算方法； 4.掌握离散信源编码定理与Huffman编码方法； 5.掌握离散信道错误概率计算方法与译码规则选定方法，了解有噪信道编码定理； 6.掌握失真测度概念，掌握信息率失真函数的性质，了解限失真信源编码定理。 四、学习本课程注意事项 本课程为湖北省精品课程，信息工程学院平台课程，实行统一教学学时，统一教学大纲，统一教 学日历，统一命题考试，统一阅卷。开发了课程学习网站，提供了丰富的网络教学资源，开通了在 线答疑系统。实行板书和多媒体辅助的教学手段。课程分为理论教学和实验教学两部分。 课程考核成绩由考试卷面成绩、实验成绩和平时成绩共同确定，课程结业考试为闭卷考试，占总 评成绩的70％，实验成绩占10％，平时成绩由出勤和作业等决定，占总评成绩的20％。 五、推荐教材及参考书 推荐教材 吕锋，王虹，刘皓春.信息理论与编码. 北京：人民邮电出版社，2010年9月 配套辅导书 王虹，刘雪冬. 信息理论与编码学习指导. 北京：人民邮电出版社，2011年2月 参考书： 傅祖芸. 信息论——基础理论与应用（第3版）. 北京：电子工业出版社，2011年2月 Thomas M.Cover. Elements of Information Theory.北京：机械工业出版社，2008年3月