9.1人工神经网络概述当Hopfield 网络输入正确的神经元活动模式时由于此刻它将反映我们所期望的正确答案，所以它的输出将为整个输出的正确模式，网络将稳定在该状态。特别值得注意的是，如果仅仅给出正确输入模式的部分作为“线索”输入到该网络，它将经过短暂演化、不断调节各单元输出后，会稳定在正确输出模式（也即整个模式）上，于是，网络反映出各个神经元活动的稳定关系。最终Hopfield 网络将从某些仅仅与其存贮的“记忆”接近的信息中恢复出整个记忆，这已经与人们的记忆比较相似了
9.1 人工神经网络概述 特别值得注意的是，如果仅仅给出正确输入模式 的部分作为“线索”输入到该网络，它将经过短暂 演化、不断调节各单元输出后，会稳定在正确输出 模式（也即整个模式）上，于是，网络反映出各个 神经元活动的稳定关系。最终Hopfield 网络将从某 些仅仅与其存贮的“记忆”接近的信息中恢复出整 个记忆，这已经与人们的记忆比较相似了。 当Hopfield 网络输入正确的神经元活动模式时， 由于此刻它将反映我们所期望的正确答案，所以它 的输出将为整个输出的正确模式，网络将稳定在该 状态
9.1人工神经网络概述（3）Adaline神经网络Adaline网络是一个单输出的单层前馈网络、一个自适应线性神经元模型，也是有教师监督学习的一个较早的神经网络。该网络由BernardWidrow和M.E.Hof于1960年提出，又称为Widrow一Hof规则（也称为S-律）。该规则使得在每一步修正中总误差总是下降，这意味着随着训练过程网络最终会达到一个误差的极小值
9.1 人工神经网络概述 （3）Adaline神经网络 Adaline网络是一个单输出的单层前馈网络、一 个自适应线性神经元模型，也是有教师监督学 习的一个较早的神经网络。 该网络由Bernard Widrow和M.E.Hoff于1960年提 出，又称为Widrow－Hoff规则（也称为-律）。 该规则使得在每一步修正中总误差总是下降， 这意味着随着训练过程网络最终会达到一个误 差的极小值
9.1人工神经网络概述对于该神经网络，当训练集的一个信号被输入到网络中时，网络就会产生一个输出，于是教师用此规则告诉每个输出神经元的误差，即它的输出与正确输出之间的差异，利用其来调整网络单元之间的连接权值，以改进网络性能8这个名称便来源于这种差异的含义
9.1 人工神经网络概述 对于该神经网络，当训练集的一个信号被输入 到网络中时，网络就会产生一个输出，于是教 师用此规则告诉每个输出神经元的误差，即它 的输出与正确输出之间的差异，利用其来调整 网络单元之间的连接权值，以改进网络性能。 这个名称便来源于这种差异的含义
9.1人工神经网络概述（4）BP神经网络BP网络采用反传算法而得名，该网络也采用教师监督学习机制。BP网络的每个神经元输出不一定是二值的，通常其取值在0到+1之间，这对应于神经元的平均发放率(取最大发放率为+1)。每个单元对输入加权求和，但此时不再有一个真实的值，而是采用如图教材9.2所示的S形阈值函数(sigmoid函数)来体现其输入与输出间的典型关系。由该函数定性分析，如果神经元所收到的所有的输入总和很小，其输出也很小；总和稍大时其输出便增加；当总和很大时，输出接近最大值+1
9.1 人工神经网络概述 （4）BP神经网络 BP网络采用反传算法而得名，该网络也采用教 师监督学习机制。BP网络的每个神经元输出不一 定是二值的，通常其取值在0到+1之间，这对应 于神经元的平均发放率(取最大发放率为+1)。每 个单元对输入加权求和，但此时不再有一个真实 的阈值，而是采用如图教材9.2所示的S形阈值函 数(sigmoid函数)来体现其输入与输出间的典型关 系。由该函数定性分析，如果神经元所收到的所 有的输入总和很小，其输出也很小；总和稍大时， 其输出便增加；当总和很大时，输出接近最大值 +1
9.1人工神经网络概述这种特性有点类似于真实神经元平均发放率。因为该曲线本身是非线性的，其上任意一点的斜率是有限的。又很类似于真实神经元的活动。因此，这种特性使得BP网络的非线性特性进一步体现，能处理比严格线性系统更广泛问题输出输入神经网络典型输入/输出曲线
9.1 人工神经网络概述 这种特性有点类似于真实神经元平均发放率。因 为该曲线本身是非线性的，其上任意一点的斜率是 有限的。又很类似于真实神经元的活动。因此，这 种特性使得BP网络的非线性特性进一步体现，能 处理比严格线性系统更广泛问题。 神经网络典型输入/输出曲线