3、人工神经网络概述 生物神经元系统 人工神经网络是受生物神经网络的启发构造而成 James(《心理学》,1890年):大脑皮层每一点的活力产生 于其它点势能释放的综合效能,即其它点的兴奋次数、强度和 所接受的能量 大脑含~101个神经元,它们通过~1015个联结构成一个网络。 每个神经元具有独立的接受、处理和传递电化学信号的能力 这种传递由神经通道来完成
3、 人工神经网络概述 生物神经元系统 人工神经网络是受生物神经网络的启发构造而成。 James（《心理学》，1890年） ：大脑皮层每一点的活力产生 于其它点势能释放的综合效能，即其它点的兴奋次数、强度和 所接受的能量。 大脑含～1011个神经元，它们通过～ 1015个联结构成一个网络。 每个神经元具有独立的接受、处理和传递电化学信号的能力， 这种传递由神经通道来完成
神经元的结构 树突从细胞体伸向其它神经元,神经元之间接受信号的联结点 为突触。通过突触输入的信号起着兴奋/抑制作用。当细胞体接 受的累加兴奋作用超过某问值时,细胞进入兴奋状态,产生冲 动,并由轴突输出。 Dendri 树突 Cell bod 细胞体 Axon 轴突 Nucleus 细脑核 轴交末梢 Synapse 突触
神经元的结构 树突从细胞体伸向其它神经元，神经元之间接受信号的联结点 为突触。通过突触输入的信号起着兴奋/抑制作用。当细胞体接 受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲 动，并由轴突输出。 Cell body Axon Nucleus Synapse 突触 Dendrite 树突
经元系统的基本特征 神经元及其联结 神经元之间的联结强度决定信号传递的强弱 ◎神经元之间的联结强度可以随训练而改变 信号分为兴奋型和抑制型 ◎一个神经元接受的信号的累计效果决定该神经元的状态 每个神经元有一个值
神经元系统的基本特征 神经元及其联结 神经元之间的联结强度决定信号传递的强弱 神经元之间的联结强度可以随训练而改变 信号分为兴奋型和抑制型 一个神经元接受的信号的累计效果决定该神经元的状态 每个神经元有一个阈值
ANN理论及其发展阶段 第一阶段 1943年,心理学家 Mcculloch和数学家Pi神经元进行形化研究,提出 了神经元的数学模型MP型。 1944年,D.O.Hebb出改变神经元联结强度的Heb学习规则,至今仍然 是人工神经网络学习算法的一个基本原则 1957年, Rosenblatt次引进感知器( Perceptron概念来模拟生物的感知 学习能力。 1962年, widros提出用于自适应系统的连续取值的线性网络。 轴突 突触 内核 树突 轴突 2 Z-2wpil0 y=/(ew x 6
ANN理论及其发展阶段 w1 Z=wixi w2 wn x1 x2 xn y = f(wixi - ) 轴突 突触 树突 内核 轴突 第一阶段 1943年，心理学家McCulloch和数学家Pitts对神经元进行形式化研究，提出 了神经元的数学模型——MP模型。 1944年，D. O. Hebb提出改变神经元联结强度的Hebb学习规则，至今仍然 是人工神经网络学习算法的一个基本原则。 1957年，Rosenblatt首次引进感知器(Perceptron)概念来模拟生物的感知、 学习能力。 1962年，Widros提出用于自适应系统的连续取值的线性网络
第二阶段 1969年, ML Minsk和 S. Papert从理论上证明了当时单隐含层感知器网络 模型无法解决的许多简单问题,包括最基本的“异或(XORy”问题。使ANN 理论的发展进入一个低谷; 1974年, Webos提出BP学习理论; S. Grossberg提出自适应共振理论(ART)。 第三阶段 突破性进展:1982年, Caltech的物理学家 J. Hopfie提出 Hopfield神经网络 系统(HNNS)型,提出能量函数的概念,用非线性动力学方法来研究ANN, 开拓了ANN用于联想记忆和优化计算的新途径 1988年, Mcclelland和 Rumelhart利用多层反馈学习算法解决了“异或 (XOR)”问题
第二阶段 1969年，M. L. Minsky和S. Papert从理论上证明了当时单隐含层感知器网络 模型无法解决的许多简单问题，包括最基本的“异或(XOR)”问题。使ANN 理论的发展进入一个低谷； 1974年，Webos提出BP学习理论； S. Grossberg提出自适应共振理论（ART）。 第三阶段 突破性进展：1982年，CalTech的物理学家J. Hopfield提出Hopfield神经网络 系统(HNNS)模型，提出能量函数的概念，用非线性动力学方法来研究ANN， 开拓了ANN用于联想记忆和优化计算的新途径； 1988年，McClelland和Rumelhart利用多层反馈学习算法解决了“异或 （XOR）”问题