统计学习理论及应用 第六讲非线性分类模型多层感知机 编写：文泉、陈娟 电子科技大学 计机科学与工程学院
统计学习理论及应用 第六讲 非线性分类模型-多层感知机 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院
目录 4 多层感知机到底在做什么？ 历史进程 Tilling(耕种，耕作)算法 预备知识 6 可微激活函数函的多层感知机学习方法 ⊙采用线性激活函数的神经元 o误差e的表示 。采用阈值激活函数的神经元 ·误差的反向传播 。采用S形激活函数的神经元 。反向传播算法 3 异或问题 Q计算例子 1/66
目录 1 历史进程 2 预备知识 采用线性激活函数的神经元 采用阈值激活函数的神经元 采用 S 形激活函数的神经元 3 异或问题 4 多层感知机到底在做什么？ 5 Tilling（耕种，耕作）算法 6 可微激活函数函的多层感知机学习方法 误差 e 的表示 误差的反向传播 反向传播算法 计算例子 1 / 66
7.1.历史进程 第一代神经网络 感知机（~1960) Bomb Toy 输出单元： 类标签 利用人工设计的特征 层，学习各个特征权重 w用以识别模式。 非自适应的 。有干净、漂亮的学 人工设计特 习算法来调节权重 征 W o ·感知机局限于能学 习的任务范围。 输入数据： 图像像素值 2/66
7.1. 历史进程 第一代神经网络 感知机（∼1960) 利用人工设计的特征 层，学习各个特征权重 w 用以识别模式。 有干净、漂亮的学 习算法来调节权重 w 。 感知机局限于能学 习的任务范围。 Bomb Toy 输出单元： 类标签 非自适应的 人工设计特 征 输入数据： 图像像素值 2 / 66
第二代神经网络 向后传播误差学 Compare outputs with 习多层神经网络 correct answer to get 权重 error signal outputs hidden layers inputs vector David E.Rumelhart,Geoffrey E.Hinton and Ronald J.Williams,"Learning Representations by Back-Propagating Errors,"Nature,Vol.323,1986,pp.533-536. 3/66
第二代神经网络 向后传播误差学 习多层神经网络 权重 Compare outputs with correct answer to get error signal outputs hidden layers inputs vector David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams,“Learning Representations by Back-Propagating Errors,” Nature, Vol.323, 1986, pp. 533-536. 3 / 66
7.2.预备知识 Structure of a Typical Neuron Dendrites- Axon Terminals Nucleus Node of Ranvier Schwann's Cells Axon Myelin Sheath Cell Body 4/66
7.2. 预备知识 4 / 66