《深度学习》课程教学大纲 一、课程基本信息 课程代码：18100173 课程名称：深度学习 英文名称：Deep learning 课程类别：专业方向课 学 时：48 学 分：3 适用对象：大三以上对人工智能及相关学科感兴趣的学生 考核方式：考查 先修课程：数学分析、高等代数、概率论与数理统计 二、课程简介 本课程是人工智能前沿课程，培养学生用机器学习方法分析并解决包括但不限于 图像理解、语音识别、自然语言理解等实际问题的能力。内容主要主要分成三大块， “是以回归、分类、广义回归为代表的浅层模型：二是BP神经网络、深度网络、卷 积网络、反馈网络、长短期记忆单元等为代表的深度神经网络模型：三是介于有监督 学习和无监督学习之间的强化学习模型。这些技术和内容是当今人工智能人才所必须 堂握的，也是相关企业所迫切需要的。课程的特色是通时通俗易懂的推导、简单的算 例展示各种模型的技术细节，然后通过实验来强化对知识的理解和动手能力的提高。 This is one of cutting-edge course from the field of artificial intelligence.Generally, The topics cover shallow model(regression/classification models include the basic concept of machine leamning,generalized linear models).Deep model(BP networks and Depth learning models,deep convolution network,Rucurrent neural network,Long-short term memory model)and a set of methods called reenforced leaming techniques used in today's popular AlphaGo chess programs 三、课程性质与教学目的（黑体，小4） (正文宋体/小四) 建议在课程教学目的融入课程思政要求 本课程是人工智能前沿课程，其目的是借助统计学科背景知识，让学生彻底理解 并掌握以深度学习为代表的人工智能前沿技术，培养学生用机器学习方法分析并解决 包括但不限于图像理解、语音识别、自然语言理解等实际问题的能力。为相关企事业 单位培养合格的人工智能方面的人才
1 《深度学习》课程教学大纲 一、课程基本信息 课程代码：18100173 课程名称：深度学习 英文名称：Deep learning 课程类别：专业方向课 学 时：48 学 分：3 适用对象:大三以上对人工智能及相关学科感兴趣的学生 考核方式：考查 先修课程：数学分析、高等代数、概率论与数理统计 二、课程简介 本课程是人工智能前沿课程，培养学生用机器学习方法分析并解决包括但不限于 图像理解、语音识别、自然语言理解等实际问题的能力。内容主要主要分成三大块， 一是以回归、分类、广义回归为代表的浅层模型；二是 BP 神经网络、深度网络、卷 积网络、反馈网络、长短期记忆单元等为代表的深度神经网络模型；三是介于有监督 学习和无监督学习之间的强化学习模型。这些技术和内容是当今人工智能人才所必须 掌握的，也是相关企业所迫切需要的。课程的特色是通过通俗易懂的推导、简单的算 例展示各种模型的技术细节，然后通过实验来强化对知识的理解和动手能力的提高。 This is one of cutting-edge course from the field of artificial intelligence. Generally, The topics cover shallow model( regression/classification models include the basic concept of machine learning , generalized linear models),Deep model(BP networks and Depth learning models, deep convolution network, Rucurrent neural network, Long-short term memory model ) and a set of methods called reenforced learning techniques used in today's popular AlphaGo chess programs. 三、课程性质与教学目的(黑体,小 4) （正文宋体/小四） 建议在课程教学目的融入课程思政要求 本课程是人工智能前沿课程，其目的是借助统计学科背景知识，让学生彻底理解 并掌握以深度学习为代表的人工智能前沿技术，培养学生用机器学习方法分析并解决 包括但不限于图像理解、语音识别、自然语言理解等实际问题的能力。为相关企事业 单位培养合格的人工智能方面的人才
通过本课程，将结合技术的介绍穿插进行课程思政教育，让学生形成科技强国的 意识，甚至形成科技复兴民族的理念。具体地，本课程将向学生传递科学技术发展规 律基础上，设法让学生建立正确的科学与技术的辩证统一的关系的认知，并认识中外 科技发展水平差异，以及差距背后的个体和群体的原因。然后让学生潜移默化中形成 踏踏实实做学问，在个体扎实科研工作基础上实现个人价值与国家、民族复兴大业这 一社会价值的统一。 四、教学内容及要求（黑体.小4） 建议重点在此模块根据课程情况融入课程思政元素 第一章浅层超型 (一)目的与要求 1.介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3.理解浅层模型处理数据能力的局限 (二)教学内容 第一节深度学习史前发展史 1主要内容 数据分析的三个阶段的划分。从统计学、数学、计算机三大学科在数据分析中的 角色演变认识科技发展规律。 2.基本概念和知识点 数据分析，机器学习，人工智能三概念，以及统计学、计算机技术发展在数据科 学中的角色与作用演化 3.问题与应用（能力要求） 要求做到概念清晰，学科边界明确，发展脉络的准确把握。 第二节线性回归模型 1.主要内容 线性回归（梯度下降，正规方程），模型选择，属性空间，假设函数空间，特征映 射，特征选择，回归分析的概率解释。 2.基本概念和知识点 训练集，输入变量/特征，输出变量/标变量，假设函数，极小二乘法，优化目标，随机 2
2 通过本课程，将结合技术的介绍穿插进行课程思政教育，让学生形成科技强国的 意识，甚至形成科技复兴民族的理念。具体地，本课程将向学生传递科学技术发展规 律基础上，设法让学生建立正确的科学与技术的辩证统一的关系的认知，并认识中外 科技发展水平差异，以及差距背后的个体和群体的原因。然后让学生潜移默化中形成 踏踏实实做学问，在个体扎实科研工作基础上实现个人价值与国家、民族复兴大业这 一社会价值的统一。 四、教学内容及要求(黑体,小 4) 建议重点在此模块根据课程情况融入课程思政元素 第一章 浅层模型 （一）目的与要求 1.介绍机器学习的基本概念和方法，掌握编程实现机器学习算法的能力 2.掌握数据分析基本方法和背后的统计学原理 3.理解浅层模型处理数据能力的局限 （二）教学内容 第一节 深度学习史前发展史 1.主要内容 数据分析的三个阶段的划分。从统计学、数学、计算机三大学科在数据分析中的 角色演变认识科技发展规律。 2.基本概念和知识点 数据分析，机器学习，人工智能三概念，以及统计学、计算机技术发展在数据科 学中的角色与作用演化。 3.问题与应用（能力要求） 要求做到概念清晰，学科边界明确，发展脉络的准确把握。 第二节 线性回归模型 1.主要内容 线性回归（梯度下降,正规方程），模型选择，属性空间，假设函数空间，特征映 射，特征选择，回归分析的概率解释。 2.基本概念和知识点 训练集,输入变量/特征,输出变量/目标变量,假设函数,极小二乘法,优化目标,随机
梯度，全梯度」 3.问题与应用（能力要求） 掌握机器学习的基本概念，初步建立模型的概念，并掌握通过优化方法编程实现从 数据中学习简单的线性模型的能力 第三节Logistics二分类模型 1.主要内容 回归与分类问题，Logistics回归 2.基本概念和知识点 伯努利分布与分类问题 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的二 分类模型的能力。 第四节Softmax多分类模型 1主要内容 Softmax多分类模型 2.基本概念和知识点 多重伯努利分布与多分类模型 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的多 分类模型的能力。 第五节广义线性模型 1.主要内容 广义线性模型GLMs 2.基本概念和知识点 指数分布族，联接函数Link function),响应函数Response function)
3 梯度,全梯度. 3.问题与应用（能力要求） 掌握机器学习的基本概念,初步建立模型的概念,并掌握通过优化方法编程实现从 数据中学习简单的线性模型的能力. 第三节 Logistics 二分类模型 1.主要内容 回归与分类问题，Logistics 回归 2.基本概念和知识点 伯努利分布与分类问题 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的二 分类模型的能力。 第四节 Softmax 多分类模型 1.主要内容 Softmax 多分类模型 2.基本概念和知识点 多重伯努利分布与多分类模型 3.问题与应用（能力要求） 建立训练数据的概率分布的概念，初步形成对数据的洞察力。理解并掌握为何不 同分布的数据需选用不同的模型。掌握通过优化方法编程实现从数据中学习简单的多 分类模型的能力。 第五节 广义线性模型 1.主要内容 广义线性模型 GLMs 2.基本概念和知识点 指数分布族，联接函数(Link function),响应函数(Response function)
3.问题与应用（能力要求） 进一步理解线性模型的局限以及广义线性模型思想在克服传统线性模型不足上 的努力及取得的相应效果，逐步形成广义线性模型这一类浅层模型的内在局限性的认 识。理解并掌握Softmax多分类模型，掌握通过优化方法编程实现从数据中学习多分 类模型的能力。 第四节模型选择与交叉验证 1.主要内容 模型选择，特征选择。 2.基本概念和知识点 欠拟合和过拟合，方差与偏倚，训练误差，测试误差，交叉验证，k折交叉验证 3.问题与应用（能力要求） 理解欠拟合和过拟合的概念，并能通过训练误差和测试误差识别模型是处于欠拟 合还是处于过拟合。掌握通过交叉验证方法进行模型选择的基本方法。 (三)思考与实践 编程实现至少一个浅层模型，并思考浅层模型的局限。 (四)教学方法与手段 课堂讲授，课后编程 第二章深层模型 (一)目的与要求 1.介绍BP神经网络、深层神经网络 2理解深层神经网络工作机理，掌握训练深层神经网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 (二)教学内容 第一节传统BP网络 1.主要内容 联结学派的生物学背景，BP网络结构，BP算法 2.基本概念和知识点
4 3.问题与应用（能力要求） 进一步理解线性模型的局限以及广义线性模型思想在克服传统线性模型不足上 的努力及取得的相应效果，逐步形成广义线性模型这一类浅层模型的内在局限性的认 识。理解并掌握 Softmax 多分类模型，掌握通过优化方法编程实现从数据中学习多分 类模型的能力。 第四节 模型选择与交叉验证 1.主要内容 模型选择，特征选择。 2.基本概念和知识点 欠拟合和过拟合，方差与偏倚，训练误差，测试误差，交叉验证，k-折交叉验证 3.问题与应用（能力要求） 理解欠拟合和过拟合的概念，并能通过训练误差和测试误差识别模型是处于欠拟 合还是处于过拟合。掌握通过交叉验证方法进行模型选择的基本方法。 (三)思考与实践 编程实现至少一个浅层模型，并思考浅层模型的局限。 (四)教学方法与手段 课堂讲授，课后编程 第二章 深层模型 （一）目的与要求 1.介绍 BP 神经网络、深层神经网络 2.理解深层神经网络工作机理，掌握训练深层神经网络的技巧 3.掌握克服深层神经网络过拟合的若干技巧和方法 （二）教学内容 第一节 传统 BP 网络 1.主要内容 联结学派的生物学背景，BP 网络结构，BP 算法 2.基本概念和知识点
MP神经元模型，激活函数，前向计算，反向计算，3层BP网络的任意逼近能 力 3.问题与应用（能力要求） 掌握BP网络的原理和计算过程。掌握通过优化方法编程实现BP算法 第二节从BP网络到深度网络 1.主要内容 BP网络的局限及深度网络优点，表示学习，深度学习中的正则化技术 2基本概念和知识点 无监督学习，梯度消失爆炸，逐层贪心预训练，稀疏自编码，栈式自编码，特 征提取，微调多层自编码，表示稀疏，模型平均，Dropout 3.问题与应用（能力要求） 理解并掌握深度学习中的关键技术，比如特征提取，正则化技术。具备将深度技 术应用于解决高精度的分类识别难题的能力。 第三节深度网络的进一步解释 1主要内容 深层网络的可视化、深层网络的局部整体表征学习能力 2.基本概念和知识点 自动特征提取、局部整体表征学习 3.问题与应用（能力要求） 理解并掌握深度神经网络在局部整体表征学习方面的能力。具备将深度技术应 用于解决高精度的分类识别难题的能力。 第四节克服过拟合：深度网络中的正则化技术 1.主要内容 克服过拟合的三类技术：模型约束、输入约束、模型集成 2.基本概念和知识点 正则化、过拟合 3.问题与应用（能力要求）
5 MP 神经元模型，激活函数，前向计算，反向计算，3 层 BP 网络的任意逼近能 力 3.问题与应用（能力要求） 掌握 BP 网络的原理和计算过程。掌握通过优化方法编程实现 BP 算法。 第二节 从 BP 网络到深度网络 1.主要内容 BP 网络的局限及深度网络优点，表示学习，深度学习中的正则化技术 2.基本概念和知识点 无监督学习，梯度消失/爆炸，逐层贪心预训练，稀疏自编码，栈式自编码，特 征提取，微调多层自编码，表示稀疏，模型平均，Dropout 3.问题与应用（能力要求） 理解并掌握深度学习中的关键技术，比如特征提取，正则化技术。具备将深度技 术应用于解决高精度的分类识别难题的能力。 第三节 深度网络的进一步解释 1.主要内容 深层网络的可视化、深层网络的局部-整体表征学习能力 2.基本概念和知识点 自动特征提取、局部-整体表征学习 3.问题与应用（能力要求） 理解并掌握深度神经网络在局部-整体表征学习方面的能力。具备将深度技术应 用于解决高精度的分类识别难题的能力。 第四节 克服过拟合：深度网络中的正则化技术 1.主要内容 克服过拟合的三类技术：模型约束、输入约束、模型集成 2.基本概念和知识点 正则化、过拟合 3.问题与应用（能力要求）