人工神经元模型 y=xw+...+xWk+...+xxWx +b X1 W1 : WR Xk : WK 激活函数 XK 权重 b 偏值 Hangzhou Dianzi University杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 y w1 wk wK … 1 x k x Kx 权重 b 偏值 … … … y 激活函数 1 1 ... ... kk KK y xw xw x w b 人工神经元模型
学习的本质 学习的本质 学什么？怎么学？ 生物到人工模型 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络发展历史 发展历史 神经网络基本概念 神经网络基本概念 激活函数、学习规则、优化算法、 经典人工神经网络 经典人工神经网络 前向神经网络、BP神经网络，Hopfield神经网络， Hangzhou Dianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 学习的本质 神经网络基本概念 生物到人工模型 神经网络发展历史 经典人工神经网络 学习的本质 学什么？ 怎么学？ … 从生物神经元到人工神经元 生物神经元、人工神经元，… 神经网络发展历史 神经网络基本概念 激活函数、学习规则、优化算法、 … 经典人工神经网络 ？ 前向神经网络、BP神经网络，Hopfield神经网络，… 发展历史 …
Deep Neural Network 发展历史 (Pretraining) Multi-layered SVM ADALINE XOR Perceptron Problem (Backpropagation) Perceptron Golden Age Dark Age (Al Winter") Electronic Brain ◆ 1943 1957 1960 1969 1986 1995 2006 1940 1950 1960 1970 1980 1990 2000 2010 S.McCulloch-W.Pitts F.Rosenblatt B.Widrow-M.Hoff M.Minsky-S.Papert D.Rumelhart-G.Hinton-R.Wiliams V.Vapnik-C.Cortes G.Hinton -5.Ruslan Adustable Weights Leamable Weights and Threshold XOR Problem Solution to nonlinearly separable problems.Limitations of leaming prior knowedge Hierarchical feature Leaming .Weights are not Learned Big computation,local optima and overfirting Kemel function:Human Intervention http://beamandrew.github.io/deeplearning/2017/02/23/deep learning 101 part1.html Hangchou①ianzi Universit的y杭州电子科技大学 School of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 http://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html 发展历史
发展历史 Neural Network History Expectations or media hype Gartner Hype Cycle Peak of Inflated Expectations :Plateau of Productivity /Slope of Enlightenment Trough of Disillusionment Technology Trigger time 1950-70 1980 1990 200020062009 DNN DNN Hangchou Dianzi Universit的y杭州电子科技大学 Schoolo时Computer Science and Tecfnology计算机学院周文晖
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 发展历史
诞生期 奥地利医生Franz Joseph Gall(1758-1828) 意大利细胞学家Camillo Golgi(1843~1926)徒手将 推测人类的精神活动是由脑的功能活动实现 脑组织切成薄片，用重铬酸钾-硝酸银浸染法染色，第 的，认识到意识和精神活动具有物质基础。 一次在显微镜下观察到了神经细胞和神经胶质细胞。这 为神经科学的研究提供了最为基本的组织学方法。 Hangchou①iansi University抗州电子科技大学 School of Computer Science and Technol6oD计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 诞生期 奥地利医生 Franz Joseph Gall （ 1758‐1828 ） 推测人类的精神活动是由脑的功能活动实现 的，认识到意识和精神活动具有物质基础。 意大利细胞学家 Camillo Golgi （ 1843~1926 ）徒手将 脑组织切成薄片，用重铬酸钾 - 硝酸银浸染法染色，第 一次在显微镜下观察到了神经细胞和神经胶质细胞。这 为神经科学的研究提供了最为基本的组织学方法