1.6本书的知识体系 2021年5月18日 解释性差等缺点更加凸显，因此神经网络的研究又一次陷入低潮。 第五阶段：深度学习的崛起第五阶段为从2006年开始至今，在这一时期研究 者逐渐掌握了训练深层神经网络的方法，使得神经网络重新崛起 [Hinton et al,.20O6]通过逐层预训练来学习一个深度信念网络，并将其权深度信念网参见 重作为一个多层前馈神经网络的初始化权重，再用反向传播算法进行精调。这 第123节 种“预训练+精调”的方式可以有效地解决深度神经网络难以训练的问题.随 着深度神经网络在语音识别[Hinton et al,2012和图像分类[Krizhevsky et al. 2012]等任务上的巨大成功，以神经网络为基础的深度学习迅速崛起.近年来，随 着大规模并行计算以及GPU设备的普及，计算机的计算能力得以大幅提高.此 外，可供机器学习的数据规模也越来越大.在强大的计算能力和海量的数据规模 支持下，计算机已经可以端到端地训练一个大规模神经网络，不再需要借助预训 练的方式.各大科技公司都投入巨资研究深度学习，神经网络迎来第三次高潮 1.6本书的知识体系 本书主要对神经网络和深度学习所涉及的知识提出一个较全面的基础性介 绍.本书的知识体系如图1.6所示，可以分为三大块：机器学习、神经网络和概率图 模型 效机 确新 EM算法 保变信念路 模型 推断 学习 变分自编码器 一--…→密度估计 全连接网路 概率图模型 无监督学习-自编码器] 前馈网络 聚类☐ 图网络一模型 神经网络 机器学习 强化学习 记忆网路 分类 酷环同路 监督学习 回归 记忆增网路 模型 学习准则 结构化学习 线性模型 医我性松型D优化算法 随机梯度下用大后估计 图1.6本书的知识体系 本书的知识体系在各章节中的安排如下： 机器学习机器学习可以分为监督学习、无监督学习和强化学习.第2章对机器 学习进行概述，使读者能够了解机器学习的基本概念以及三要素：模型、学习准 https://nndl.github.io/
1.6 本书的知识体系 2021 年 5 月 18 日 16 解释性差等缺点更加凸显，因此神经网络的研究又一次陷入低潮． 第五阶段：深度学习的崛起 第五阶段为从 2006 年开始至今，在这一时期研究 者逐渐掌握了训练深层神经网络的方法，使得神经网络重新崛起． [Hinton et al., 2006] 通过逐层预训练来学习一个深度信念网络， 深 度 信 念 网 络 参 见 第12.3节． 并将其权 重作为一个多层前馈神经网络的初始化权重，再用反向传播算法进行精调．这 种“预训练 + 精调”的方式可以有效地解决深度神经网络难以训练的问题．随 着深度神经网络在语音识别[Hinton et al., 2012]和图像分类[Krizhevsky et al., 2012]等任务上的巨大成功，以神经网络为基础的深度学习迅速崛起．近年来，随 着大规模并行计算以及 GPU 设备的普及，计算机的计算能力得以大幅提高．此 外，可供机器学习的数据规模也越来越大．在强大的计算能力和海量的数据规模 支持下，计算机已经可以端到端地训练一个大规模神经网络，不再需要借助预训 练的方式．各大科技公司都投入巨资研究深度学习，神经网络迎来第三次高潮． 1.6 本书的知识体系 本书主要对神经网络和深度学习所涉及的知识提出一个较全面的基础性介 绍．本书的知识体系如图1.6所示，可以分为三大块：机器学习、神经网络和概率图 模型． 概率图模型 模型 神经网络 机器学习 前馈网络 全连接网络 卷积网络 图网络 记忆网络 循环网络 记忆增强网络 模型 要素 线性模型 非线性模型 优化算法 随机梯度下降 学习准则 结构风险最小化 最大似然估计 最大后验估计 类型 监督学习 分类 回归 结构化学习 强化学习 无监督学习 密度估计 变分自编码器 生成对抗网络 深度信念网络 玻尔兹曼机 自编码器 聚类 模型 有向图 无向图 学习 EM 算法 推断 精确推断 近似推断 图 1.6 本书的知识体系 本书的知识体系在各章节中的安排如下： 机器学习 机器学习可以分为监督学习、无监督学习和强化学习．第2章对机器 学习进行概述，使读者能够了解机器学习的基本概念以及三要素：模型、学习准 https://nndl.github.io/
17常用的深度学习框架 2021年5月18日 17 则和优化算法，并以线性回归为例来讲述不同学习算法之间的关联.第3章主要 介绍一些基本的线性模型.这两章都以监督学习为主进行介绍.第9章介绍了一 些无监督学习方法，包括无监督特征学习和概率密度估计.第10章中介绍了一些 和模型无关的机器学习方法.第14章介绍了深度强化学习的知识. 神经网络神经网络作为一类非线性的机器学习模型，可以更好地实现输入和虽然这里将神经同络 输出之间的映射.第4章到第6章分别讲述三种主要的神经网络模型：前馈神经网 体上合为三种 络、卷积神经网络和循环神经网络.第6章也简单介绍了一种更一般性的网络：图 类型.但是大多数网络 都是复合型钻构，即一 网络.第7章介绍神经网络的优化与正则化方法.第8章介绍神经网络中的注意力 个神经网格中包括多 机制和外部记忆 种网路结构 概率图模型概率图模型为机器学习提供了一个更加便捷的描述框架。第11章 介绍了概率图模型的基本概念，包括模型表示、学习和推断。目前深度学习和概 率图模型的融合已经十分流行.第12章介绍了两种概率图模型：玻尔兹曼机和深 度信念网络.第13章和第15章分别介绍两种概率生成模型：深度生成模型和序列 生成模型 由于深度学习涉及非常多的研究领域，因此很多知识无法进行追根溯源并 深入介绍.每章最后一节都提供了一些参考文献，读者可根据需要通过深入阅读 来了解这些知识.此外，本书的附录中介绍了一些深度学习涉及的数学知识，包 括线性代数，微积分、数学优化、概率论和信息论等」 1.7常用的深度学习框架 在深度学习中，一般通过误差反向传播算法来进行参数学习.采用手工方式 来计算梯度再写代码实现的方式会非常低效，并且容易出错.此外，深度学习模 型需要的计算机资源比较多，一般需要在CPU和GPU之间不断进行切换，开发 难度也比较大.因此，一些支持自动梯度计算、无缝CPU和GPU切换等功能的深 自动梯度计算参见 度学习框架就应运而生.比较有代表性的框架包括：Theano、Caffe、TensorFlow、 第45节 Pytorch,飞桨(PaddlePaddle)、Chainer和MXNet等 (l)Theano2:由蒙特利尔大学的Python工具包，用来高效地定义、优Theano项目目前已停 化和计算张量数据的数学表达式.Thea0可以透明地使用GPU和高效的符号止堆护 微分 (2)Caffe:由加州大学伯克利分校开发的针对卷积神经网络的计算框架 ㄧ更全面的深度学习框架介绍可以参考https/en.wikipedia..org/wiki/Comparison_of_deep learning_software aring.net/software/thean oioArchitecture for Fast Feature Embeding.fberkele https://nndleithub.io/
1.7 常用的深度学习框架 2021 年 5 月 18 日 17 则和优化算法，并以线性回归为例来讲述不同学习算法之间的关联．第3章主要 介绍一些基本的线性模型．这两章都以监督学习为主进行介绍．第9章介绍了一 些无监督学习方法，包括无监督特征学习和概率密度估计．第10章中介绍了一些 和模型无关的机器学习方法．第14章介绍了深度强化学习的知识． 神经网络 神经网络作为一类非线性的机器学习模型，可以更好地实现输入和 输出之间的映射． 虽然这里将神经网络 结构大体上分为三种 类型，但是大多数网络 都是复合型结构，即一 个神经网络中包括多 种网络结构． 第4章到第6章分别讲述三种主要的神经网络模型：前馈神经网 络、卷积神经网络和循环神经网络．第6章也简单介绍了一种更一般性的网络：图 网络．第7章介绍神经网络的优化与正则化方法．第8章介绍神经网络中的注意力 机制和外部记忆． 概率图模型 概率图模型为机器学习提供了一个更加便捷的描述框架．第11章 介绍了概率图模型的基本概念，包括模型表示、学习和推断．目前深度学习和概 率图模型的融合已经十分流行．第12章介绍了两种概率图模型：玻尔兹曼机和深 度信念网络．第13章和第15章分别介绍两种概率生成模型：深度生成模型和序列 生成模型． 由于深度学习涉及非常多的研究领域，因此很多知识无法进行追根溯源并 深入介绍．每章最后一节都提供了一些参考文献，读者可根据需要通过深入阅读 来了解这些知识．此外，本书的附录中介绍了一些深度学习涉及的数学知识，包 括线性代数、微积分、数学优化、概率论和信息论等． 1.7 常用的深度学习框架 在深度学习中，一般通过误差反向传播算法来进行参数学习．采用手工方式 来计算梯度再写代码实现的方式会非常低效，并且容易出错．此外，深度学习模 型需要的计算机资源比较多，一般需要在 CPU 和 GPU 之间不断进行切换，开发 难度也比较大．因此，一些支持自动梯度计算、无缝CPU和GPU切换等功能的深 度学习框架就应运而生． 自 动 梯 度 计 算 参 见 第4.5节． 比较有代表性的框架包括：Theano、Caffe、TensorFlow、 Pytorch、飞桨（PaddlePaddle）、Chainer和MXNet等1． （1） Theano2：由蒙特利尔大学的 Python 工具包， Theano 项目目前已停 止维护． 用来高效地定义、优 化和计算张量数据的数学表达式．Theano 可以透明地使用 GPU 和高效的符号 微分． （2） Caffe3：由加州大学伯克利分校开发的针对卷积神经网络的计算框架， 1 更全面的深度学习框架介绍可以参考https://en.wikipedia.org/wiki/Comparison_of_deep_ learning_software． 2 http://www.deeplearning.net/software/theano 3 全称为Convolutional Architecture for Fast Feature Embedding，http://caffe.berkeleyvision.org https://nndl.github.io/
1.7常用的深度学习框架 2021年5月18日 18 主要用于计算机视觉.Cae用C++和Python实现，但可以通过配置文件来实Cae2已经被并入 现所要的网络结构，不需要编码。 PyTorch中. (3)TensorFlow:由Google公司开发的深度学习框架，可以在任意具 备CPU或者GPU的设备上运行.TensorFlow的计算过程使用数据流图来表示. TensorFlow的名字来源于其计算过程中的操作对象为多维数组，即张量(Ten: sor).TensorFlow 1.0版本采用静态计算图，2.0版本之后也支持动态计算图. 计算图参见第4.5.3节 (4)PyTorch:由Facebook、NVIDIA、Twitter等公司开发维护的深度学 习框架，其前身为Lua语言的Torch3.PyTorch也是基于动态计算图的框架，在 需要动态改变神经网络结构的任务中有着明显的优势。 (5)飞桨(PaddlePaddle)4:由百度开发的一个高效和可扩展的深度学习 框架，同时支持动态图和静态图.飞桨提供强大的深度学习并行技术，可以同时 支持稠密参数和稀疏参数场景的超大规模深度学习并行训练，支持千亿规模参 数和数百个节点的高效并行训练 (6)MindSpore':由华为开发的一种适用于端边云场景的新型深度学习 训练/推理框架.MindSpore为Ascend AI处理器提供原生支持，以及软硬件协同 优化 (7)Chainer:一个最早采用动态计算图的深度学习框架，其核心开发 团队为来自日本的一家机器学习创业公司Preferred Networks.和Tensorflow、 Theano、Caffe等框架使用的静态计算图相比，动态计算图可以在运行时动态地 构建计算图，因此非常适合进行一些复杂的决策或推理任务。 (8)MXNet?:由亚马逊、华盛顿大学和卡内基·梅隆大学等开发维护的 深度学习框架.MXNt支持混合使用符号和命令式编程来最大化效率和生产率， 并可以有效地扩展到多个GPU和多台机器. 在这些基础框架之上，还有一些建立在这些框架之上的高度模块化的神经 网络库，使得构建一个神经网络模型就像搭积木一样容易.其中比较有名的模块 目前，Kes已经被集 化神经网络框架有：l)基于TensorFlow和Theano的Keras3;2)基于Theano 成到TensorFlow2.0版 的Lasagne':3)面向图结构数据的DGLo. https://www.tensorflow.org 2 http://pytorch.org 3http://torch.ch Parallel Distributed Deep Leaming.http://paddlepaddleor/ shttps://www.mindspore.cn/ 6 https://chainerorg 7 https://mxnetapache.org http://keras.io/ https://github.com/Lasagne/Lasagne 10 Deep Graph Library.PyTorch,MXNet TensorFlow.https://www.dglai/. https://nndl.github.io/
1.7 常用的深度学习框架 2021 年 5 月 18 日 18 主要用于计算机视觉．Caffe 用 C++ 和 Python 实现，但可以通过配置文件来实 现所要的网络结构，不需要编码． Caffe2已经被并入 PyTorch中． （3） TensorFlow1：由 Google 公司开发的深度学习框架，可以在任意具 备CPU或者GPU的设备上运行．TensorFlow的计算过程使用数据流图来表示． TensorFlow 的名字来源于其计算过程中的操作对象为多维数组，即张量（Tensor）．TensorFlow 1.0版本采用静态计算图，2.0 版本之后也支持动态计算图． 计算图参见第4.5.3节． （4） PyTorch2：由 Facebook、NVIDIA、Twitter 等公司开发维护的深度学 习框架，其前身为 Lua 语言的 Torch3．PyTorch 也是基于动态计算图的框架，在 需要动态改变神经网络结构的任务中有着明显的优势． （5） 飞桨（PaddlePaddle）4：由百度开发的一个高效和可扩展的深度学习 框架，同时支持动态图和静态图．飞桨提供强大的深度学习并行技术，可以同时 支持稠密参数和稀疏参数场景的超大规模深度学习并行训练，支持千亿规模参 数和数百个节点的高效并行训练． （6） MindSpore5：由华为开发的一种适用于端边云场景的新型深度学习 训练/推理框架．MindSpore为Ascend AI处理器提供原生支持，以及软硬件协同 优化． （7） Chainer6：一个最早采用动态计算图的深度学习框架，其核心开发 团队为来自日本的一家机器学习创业公司 Preferred Networks．和 Tensorflow、 Theano、Caffe 等框架使用的静态计算图相比，动态计算图可以在运行时动态地 构建计算图，因此非常适合进行一些复杂的决策或推理任务． （8） MXNet7：由亚马逊、华盛顿大学和卡内基·梅隆大学等开发维护的 深度学习框架．MXNet支持混合使用符号和命令式编程来最大化效率和生产率， 并可以有效地扩展到多个GPU和多台机器． 在这些基础框架之上，还有一些建立在这些框架之上的高度模块化的神经 网络库，使得构建一个神经网络模型就像搭积木一样容易．其中比较有名的模块 化神经网络框架有：1）基于 TensorFlow 和 Theano 的 Keras8；2）基于 Theano 的Lasagne9； 目前，Keras 已经被集 成到TensorFlow 2.0版 本中． 3）面向图结构数据的DGL10 ． 1 https://www.tensorflow.org 2 http://pytorch.org 3 http://torch.ch 4 Parallel Distributed Deep Learning，http://paddlepaddle.org/ 5 https://www.mindspore.cn/ 6 https://chainer.org 7 https://mxnet.apache.org 8 http://keras.io/ 9 https://github.com/Lasagne/Lasagne 10 Deep Graph Library，支持PyTorch、MXNet和TensorFlow，https://www.dgl.ai/． https://nndl.github.io/
1.8总结和深入阅读 2021年5月18日 19 1.8总结和深入阅读 要理解深度学习的意义或重要性，就得从机器学习或者是人工智能的更广 的视角来分析.在传统机器学习中，除了模型和学习算法外，特征或表示也是影 响最终学习效果的重要因素，甚至在很多的任务上比算法更重要.因此，要开发 一个实际的机器学习系统，人们往往需要花费大量的精力去尝试设计不同的特 征以及特征组合，来提高最终的系统能力，这就是所谓的特征工程问题， 如何自动学习有效的数据表示成为机器学习中的关键问题.早期的表示学 习方法，比如特征抽取和特征选择，都是人工引入一些主观假设来进行学习的. 这种表示学习不是端到端的学习方式，得到的表示不一定对后续的机器学习任 务有效.而深度学习是将表示学习和预测模型的学习进行端到端的学习，中间不 需要人工干预.深度学习所要解决的问题是贡献度分配问题，而神经网络恰好是 解决这个问题的有效模型.套用马克思的一句名言，“金银天然不是货币，但货币 天然是金银”，我们可以说，神经网络天然不是深度学习，但深度学习天然是神经 网络 目前，深度学习主要以神经网络模型为基础，研究如何设计模型结构，如何 有效地学习模型的参数，如何优化模型性能以及在不同任务上的应用等.[Ben- gio et al,.2013]给出了一个很好的表示学习综述.若希望全面了解人工神经网络 和深度学习的知识，可以参考《Deep Learning》[Goodfellow et al.,20l6]以及文 献[Bengio,,2009.关于神经网络的历史可以参考文献[Anderson et al,200o] 斯坦福大学的CS231n1和CS224n是两门非常好的深度学习入门课程，分别从 计算机视觉和自然语言处理两个角度来讲授深度学习的基础知识和最新进展. 深度学习的研究进展非常迅速.因此，最新的文献一般会发表在学术会议 上.和深度学习相关的学术会议主要有： (l)国际表示学习会议3(International Conference on Learning Repre- sentations,ICLR):主要聚焦于深度学习. (2)神经信息处理系统年会(Annual Conference on Neural Informa- tion Processing Systems,.NeurIPS):交叉学科会议，但偏重于机器学习.主要包 括神经信息处理，统计方法、学习理论以及应用等 (3)国际机器学习会议(International Conference on Machine Learn- ing,ICML):机器学习顶级会议，深度学习作为近年来的热点，也占据了ICML http://cs231n.stanford.edu 2http://web.stanford.edu/class/cs224n/ 3 http://www.iclr.cc 4https://nips.cc shttps://icml.cc https://nndl.github.io/
1.8 总结和深入阅读 2021 年 5 月 18 日 19 1.8 总结和深入阅读 要理解深度学习的意义或重要性，就得从机器学习或者是人工智能的更广 的视角来分析．在传统机器学习中，除了模型和学习算法外，特征或表示也是影 响最终学习效果的重要因素，甚至在很多的任务上比算法更重要．因此，要开发 一个实际的机器学习系统，人们往往需要花费大量的精力去尝试设计不同的特 征以及特征组合，来提高最终的系统能力，这就是所谓的特征工程问题． 如何自动学习有效的数据表示成为机器学习中的关键问题．早期的表示学 习方法，比如特征抽取和特征选择，都是人工引入一些主观假设来进行学习的． 这种表示学习不是端到端的学习方式，得到的表示不一定对后续的机器学习任 务有效．而深度学习是将表示学习和预测模型的学习进行端到端的学习，中间不 需要人工干预．深度学习所要解决的问题是贡献度分配问题，而神经网络恰好是 解决这个问题的有效模型．套用马克思的一句名言，“金银天然不是货币，但货币 天然是金银”，我们可以说，神经网络天然不是深度学习，但深度学习天然是神经 网络． 目前，深度学习主要以神经网络模型为基础，研究如何设计模型结构，如何 有效地学习模型的参数，如何优化模型性能以及在不同任务上的应用等．[Bengio et al., 2013]给出了一个很好的表示学习综述．若希望全面了解人工神经网络 和深度学习的知识，可以参考《Deep Learning》[Goodfellow et al., 2016]以及文 献 [Bengio, 2009]．关于神经网络的历史可以参考文献 [Anderson et al., 2000]． 斯坦福大学的 CS231n1 和 CS224n2是两门非常好的深度学习入门课程，分别从 计算机视觉和自然语言处理两个角度来讲授深度学习的基础知识和最新进展． 深度学习的研究进展非常迅速．因此，最新的文献一般会发表在学术会议 上．和深度学习相关的学术会议主要有： （1） 国际表示学习会议3（International Conference on Learning Representations，ICLR）：主要聚焦于深度学习． （2） 神经信息处理系统年会4（Annual Conference on Neural Information Processing Systems，NeurIPS）：交叉学科会议，但偏重于机器学习．主要包 括神经信息处理、统计方法、学习理论以及应用等． （3） 国际机器学习会议5（International Conference on Machine Learning，ICML）：机器学习顶级会议，深度学习作为近年来的热点，也占据了 ICML 1 http://cs231n.stanford.edu 2 http://web.stanford.edu/class/cs224n/ 3 http://www.iclr.cc 4 https://nips.cc 5 https://icml.cc https://nndl.github.io/
参考文献 2021年5月18日 20 的很大比例 (4)国际人工智能联合会议！(International Joint Conference on Artifi- cial Intelligence,ICAI):人工智能领域最顶尖的综合性会议.历史悠久，从 1969年开始举办 (5)美国人工智能协会年会2(AAAI Conferenceon Artificial Intelligence, AAAI):人工智能领域的顶级会议，每年二月份左右召开，地点一般在北美， 另外，人工智能的很多子领域也都有非常好的专业学术会议.在计算机视 觉领域，有计算机视觉与模式识别大会(IEEE Conference on Computer Vision and Pattern Recognition,CVPR)和国际计算机视觉会议(International Com- ference on Computer Vision,ICCV).在自然语言处理领域，有计算语言学年 Annual Meeting of the Association for Computational Linguistics.ACL) 和自然语言处理实证方法大会(Conference on Empirical Methods in Natural Language Processing.EMNLP). 参考文献 周志华，2016.机器学习[M.北京：清华大学出版社. Anderson JA.Rosenfeld E.2000.Talking nets:An oral history of neural networks[M).MIT Press cells make the human brain an isometrically scaled-up primate brain[J).Journal of Comparative Neurology,513(5532-541. Bengio Y.2009.Learning deeparchitectures forAI[].Foundationsand trends in Machine Learning. 211-127. BengoY.Courville A.Vincent P.2013.Representation learing:A review and new perspectives IEEE transactions on pattern analysis and machine intelligence.35(8):1798-1828. Fukushima K,1980.Neocognitron:A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J.Biological cybernetics,36(4):193-202. Goodfellow IJ,Bengio Y.Courville AC.2016.Deep learning[M/OL]MIT Press.http://www amingbook.c Hinton G.Deng L Yu D.et al,2012.Deep neural networks for acoustic modeling in speech recog- nition:The shared views of four research groups[J].IEEE Signal Processing Magazine,296): 82.97. Hinton G E,Salakhutdinov RR.2006.Reducing the dimensionality of data with neural networks 0.Science,313(5786)504507 KrizhevskyA.Sutskever1,Hinton ImageNet classification with deep ral networks[C]//Advances in Neural Information Processing Systems 25.1106-1114. LeCun Y,Boser B.Denker J,etal,199.Backpropagation applied to handwritten zip code recog- nition[J].Neural computation,1(4):541-551. https://www.ijcai.org 2 http://www.aaai.org https://nndl.github.io
参考文献 2021 年 5 月 18 日 20 的很大比例． （4） 国际人工智能联合会议1（International Joint Conference on Artificial Intelligence，IJCAI）：人工智能领域最顶尖的综合性会议．历史悠久，从 1969年开始举办． （5） 美国人工智能协会年会2（AAAI Conference on Artificial Intelligence， AAAI）：人工智能领域的顶级会议，每年二月份左右召开,地点一般在北美． 另外，人工智能的很多子领域也都有非常好的专业学术会议．在计算机视 觉领域，有计算机视觉与模式识别大会（IEEE Conference on Computer Vision and Pattern Recognition，CVPR）和国际计算机视觉会议（International Comference on Computer Vision，ICCV）．在自然语言处理领域，有计算语言学年 会（Annual Meeting of the Association for Computational Linguistics，ACL） 和自然语言处理实证方法大会（Conference on Empirical Methods in Natural Language Processing，EMNLP）等． 参考文献 周志华, 2016. 机器学习[M]. 北京: 清华大学出版社. Anderson J A, Rosenfeld E, 2000. Talking nets: An oral history of neural networks[M]. MIT Press. Azevedo F A, Carvalho L R, Grinberg L T, et al., 2009. Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain[J]. Journal of Comparative Neurology, 513(5):532-541. Bengio Y, 2009. Learning deep architectures for AI[J]. Foundations and trends in Machine Learning, 2(1):1-127. Bengio Y, Courville A, Vincent P, 2013. Representation learning: A review and new perspectives[J]. IEEE transactions on pattern analysis and machine intelligence, 35(8):1798-1828. Fukushima K, 1980. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological cybernetics, 36(4):193-202. Goodfellow I J, Bengio Y, Courville A C, 2016. Deep learning[M/OL]. MIT Press. http://www. deeplearningbook.org/. Hinton G, Deng L, Yu D, et al., 2012. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups[J]. IEEE Signal Processing Magazine, 29(6): 82-97. Hinton G E, Salakhutdinov R R, 2006. Reducing the dimensionality of data with neural networks [J]. Science, 313(5786):504-507. Krizhevsky A, Sutskever I, Hinton G E, 2012. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems 25. 1106-1114. LeCun Y, Boser B, Denker J S, et al., 1989. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1(4):541-551. 1 https://www.ijcai.org 2 http://www.aaai.org https://nndl.github.io/