湖南工业大学：《深度学习技术》研究生课程教学大纲 Deep learning technique

湖南工业大学研究生课程教学大纲课程编号：00812009编写人：深度学习技术编写日期：2022-02-24深度学习技术课程中文名称Deep learning technique课程英文名称春季开课学期开课单位计算机学院课程类别计算机科学与技术专业专业课彭利红职称主讲教师副教授联系电话15874086995教学团队成员彭成，张龙信32学时教学及考学分32理论教学与实践教学相结合闭卷考试核方式√考试面向学科（专业考核计算机科学与技术方式学位领域）口考查预修课程线性代数，概率论，数值计算，机器学习课程内容：《深度学习技术》是计算机科学与技术专业的一门专业基础课。课程首先介绍机器学习基础、深度学习技术平台及深度学习中的优化方法。然后以Google开源软件TensorFlow为平台，讲述深度学习中的相关模型及其设计与实现，主要内容包括全连接神经网络、自编码器和多层感知机、卷积神经网络、循环神经网络等相关网络的设计与实现，以及在网络训练过程中所涉及的数据处理、网络调优与超参数设置。2 学时第一部分机器学习基础包括机器学习的基本内容和方法，学习过程中产生的过度拟合及模型选择问题2学时第二部分深度学习技术与平台概述包括深度学习技术，深度学习平台，TensoFlow4学时第三部分深度学习中的优化方法及正则化包括梯度下降法、动量法、自适应学习率算法与正则化方法4学时第四部分全连接神经网络包括全连接神经网络设计与训练，网络调优和超参数设置，训练过程可视化4学时第五部分自编码器与多层感知机

湖南工业大学研究生课程教学大纲 课程编号：00812009 编写人： 深度学习技术 编写日期：2022-02-24 课程中文名称 深度学习技术 课程英文名称 Deep learning technique 开课学期 春季 开课单位 计算机学院 课程类别 计算机科学与技术专业 专业课 主讲教师 彭利红 职称 副教授 联系电话 15874086995 教学团队成员 彭成，张龙信 学时 32 学分 32 教学及考 核方式 理论教学与实践教学相结合 闭卷考试 面向学科（专业 学位领域） 计算机科学与技术 考核 方式 √考试 □考查 预修课程 线性代数，概率论，数值计算，机器学习 课程内容 ： 《深度学习技术》是计算机科学与技术专业的一门专业基础课。课程首先介绍机器 学习基础、深度学习技术平台及深度学习中的优化方法。然后以 Google 开源软件 TensorFlow 为平台，讲述深度学习中的相关模型及其设计与实现，主要内容包括全连接 神经网络、自编码器和多层感知机、卷积神经网络、循环神经网络等相关网络的设计与 实现，以及在网络训练过程中所涉及的数据处理、网络调优与超参数设置。 第一部分 机器学习基础 2 学时 包括机器学习的基本内容和方法，学习过程中产生的过度拟合及模型选择问题 第二部分 深度学习技术与平台概述 2 学时 包括深度学习技术，深度学习平台，TensoFlow 第三部分 深度学习中的优化方法及正则化 4 学时 包括梯度下降法、动量法、自适应学习率算法与正则化方法 第四部分 全连接神经网络 4 学时 包括全连接神经网络设计与训练，网络调优和超参数设置，训练过程可视化 第五部分 自编码器与多层感知机 4 学时

包括自编码器设计，多层感知机设计与训练，目标优化函数设置，自编码器设计与多层感知机的拓展应用第六部分6学时卷积神经网络包括卷积神经网络设计与训练，Pooling技术和Dropout技术，LRN技术第七部分循环神经网络6学时包括循环神经网络设计与训练，LSTM网络，网络欠拟合和过拟合处理方法第八部分4学时深度强化学习包括策略网络和估值网络设计与训练，奖励和估值设计，AlphaGo的实现课程内容英文简介Deep learning technology is a basic course of electronics and communicationengineering.The course first introduces the basic principals of machine learning, theplatforms of deep learning technology, and optimization methods in deep learning. The coursethen considers open-source software TensorFlow of Google as the platform, describes therelated model in deep learning and their designs and implementations, These network modelsinclude fully connected neural network, self-encoder, multi-layer perceptron, convolutionalneural network and cyclic neural network.Additionally, the course describes data processing.network tuning and parameter setting involved in the process of network training课程教学目标及重点、难点：本课程的任务是要使学生了解深度学习的相关技术和术语，掌握深度学习的基本概念和基本原理，掌握全连接神经网络、自编码器和多层感知机、卷积神经网络、循环神经网络、深度强化学习等的设计与实现，能够采用Google开源软件TensorFlow作为深度学习技术实现的平台，恰当地构建和训练这些模型，并考虑如何使用预训练模型达到最佳结果，同时，会把深度学习的各种模型应用到相关领域中。本课程是一门实践性很强、应用领域很广的课程，学生不仅要注重深度学习相关方法、原理和技术的掌握，也应该注重模型和技术的实际应用。本课程教学难点卷积神经网络、循环神经网络、深度强化学习的设计与实现。本课程的最终目标在于通过本课程的学习，促使学生掌握深度学习技术并能够应用该技术解决实际问题。教学要求：1.了解机器学习的基本内容和方法，理解学习过程中产生的过度拟合及模型选择问题；

包括自编码器设计，多层感知机设计与训练，目标优化函数设置，自编码器设计与 多层感知机的拓展应用 第六部分 卷积神经网络 6 学时 包括卷积神经网络设计与训练，Pooling 技术和 Dropout 技术，LRN 技术 第七部分 循环神经网络 6 学时 包括循环神经网络设计与训练，LSTM 网络，网络欠拟合和过拟合处理方法 第八部分 深度强化学习 4 学时 包括策略网络和估值网络设计与训练，奖励和估值设计，Alpha Go 的实现 课程内容英文简介 Deep learning technology is a basic course of electronics and communication engineering. The course first introduces the basic principals of machine learning, the platforms of deep learning technology, and optimization methods in deep learning. The course then considers open-source software TensorFlow of Google as the platform, describes the related model in deep learning and their designs and implementations. These network models include fully connected neural network, self-encoder, multi-layer perceptron, convolutional neural network and cyclic neural network. Additionally, the course describes data processing, network tuning and parameter setting involved in the process of network training 课程教学目标及重点、难点： 本课程的任务是要使学生了解深度学习的相关技术和术语，掌握深度学习的基本概 念和基本原理，掌握全连接神经网络、自编码器和多层感知机、卷积神经网络、循环神 经网络、深度强化学习等的设计与实现，能够采用 Google 开源软件 TensorFlow 作为深 度学习技术实现的平台，恰当地构建和训练这些模型，并考虑如何使用预训练模型达到 最佳结果，同时，会把深度学习的各种模型应用到相关领域中。本课程是一门实践性很 强、应用领域很广的课程，学生不仅要注重深度学习相关方法、原理和技术的掌握，也 应该注重模型和技术的实际应用。本课程教学难点卷积神经网络、循环神经网络、深度 强化学习的设计与实现。本课程的最终目标在于通过本课程的学习，促使学生掌握深度 学习技术并能够应用该技术解决实际问题。 教学要求： 1. 了解机器学习的基本内容和方法，理解学习过程中产生的过度拟合及模型选择问 题；

2.了解深度学习技术中的Caffe，Neon，Torch等平台，理解深度学习技术原理，掌握TensorFlow平台的构建；3.掌握梯度下降法、动量法、自适应学习率算法与正则化方法：4了解全连接网络训练过程中的可视化，理解其网络调优和超参数设置，掌握其设计与训练：5.了解自编码器设计和多层感知机的拓展应用，理解其目标优化函数的设置，掌握其设计与训练：6.了解LRN技术，理解部分Pooling技术和Dropout技术，掌握卷积神经网络的设计与训练；7.了解循环神经网络的欠拟合和过拟合处理方法，理解LSTM网络，掌握循环神经网络的设计与训练；8.了解AlphaGo的实现，理解深度强化学习中的奖励和估值设计，掌握策略网络和估值网络的设计与训练。教材及主要参考书：1.IanGoodfellow等著，赵申剑等译，深度学习.人民邮电出版社.20172.黄文坚，唐源.TensorFlow实战电子工业出版社.20173.郑泽宇，梁博文，顾思宇.TensorFloW：实战Google深度学习框架（第2版）．电子工业出版社.20184.吴岸城，神经网络与深度学习，电子工业出版社.20165.邓力，俞栋.深度学习方法及应用。机械工业出版社.2016大作业：针对某一具体问题，应用深度学习技术中的一类或几类网络处理数据，训练和优化网络，并得到与其他方法相比的较好结果

2. 了解深度学习技术中的 Caffe，Neon，Torch 等平台，理解深度学习技术原理，掌 握 TensorFlow 平台的构建； 3. 掌握梯度下降法、动量法、自适应学习率算法与正则化方法； 4. 了解全连接网络训练过程中的可视化，理解其网络调优和超参数设置，掌握其设 计与训练； 5. 了解自编码器设计和多层感知机的拓展应用，理解其目标优化函数的设置，掌握 其设计与训练； 6. 了解 LRN 技术，理解部分 Pooling 技术和 Dropout 技术，掌握卷积神经网络的设 计与训练； 7. 了解循环神经网络的欠拟合和过拟合处理方法，理解 LSTM 网络，掌握循环神经 网络的设计与训练； 8. 了解 Alpha Go 的实现，理解深度强化学习中的奖励和估值设计，掌握策略网络 和估值网络的设计与训练。 教材及主要参考书： 1. Ian Goodfellow 等著，赵申剑等译. 深度学习.人民邮电出版社. 2017. 2. 黄文坚，唐源. TensorFlow 实战. 电子工业出版社. 2017. 3. 郑泽宇，梁博文，顾思宇. TensorFlow：实战 Google 深度学习框架（第 2 版）. 电 子工业出版社. 2018. 4. 吴岸城. 神经网络与深度学习. 电子工业出版社. 2016. 5. 邓力，俞栋. 深度学习方法及应用. 机械工业出版社. 2016. 大作业： 针对某一具体问题，应用深度学习技术中的一类或几类网络处理数据，训练和优化 网络，并得到与其他方法相比的较好结果