第07讲反馈网络 zoujiang(@public.wh.hb.cn 邹江
第07讲 反馈网络 zoujiang@public.wh.hb.cn 邹江
反馈网络( Recurrent Network),又称自联想记忆网络,其 目的是为了设计一个网络,储存一组平衡点,使得当 给网络一组初始值时,网络通过自行运行而最终收敛 到这个设计的平衡点上。 1982年,美国加州工学院物理学家霍普菲尔德 (J. Hopfield)发表了一篇对人工神经网络研究颇有影响 的论文。 反馈网络能够表现出非线性动力学系统的动态特性。它 所具有的主要特性为以下两点: 第一、网络系统具有若干个稳定状态。当网络从某一初 始状态开始运动,网络系统总可以收敛到某一个稳定 的平衡状态; 第二,系统稳定的平衡状态可以通过设计网络的权值而 被存储到网络中
反馈网络(Recurrent Network)，又称自联想记忆网络，其 目的是为了设计一个网络，储存一组平衡点，使得当 给网络一组初始值时，网络通过自行运行而最终收敛 到这个设计的平衡点上。 1982年，美国加州工学院物理学家霍普菲尔德 (J．Hopfield)发表了一篇对人工神经网络研究颇有影响 的论文。 反馈网络能够表现出非线性动力学系统的动态特性。它 所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初 始状态开始运动，网络系统总可以收敛到某一个稳定 的平衡状态； 第二，系统稳定的平衡状态可以通过设计网络的权值而 被存储到网络中
在本章中,我们将集中讨论反馈网络,通过网络神经元 状态的变迁而最终稳定于平衡状态,得到联想存储或 优化计算的结果。 在这里,着重关心的是网络的稳定性问题,研究的重点 是怎样得到和利用稳定的反馈网络 霍普菲尔德网络是单层对称全反馈网络,根据其激活函 数的选取不同,可分为离散型的霍普菲尔德网络 ( Discrete Hopfield Neural Network,简称DHNN)和连续 型的霍普菲尔德网络( Continuous Hopfield Neural Network,简称CHNN) DHNN的激活函数为二值型的,其输入、输出为{0,1}的 反馈网络,主要用于联想记忆 CHNN的激活函数的输入与输出之间的关系为连续可微的 单调上升函数,主要用于优化计算
在本章中，我们将集中讨论反馈网络，通过网络神经元 状态的变迁而最终稳定于平衡状态，得到联想存储或 优化计算的结果。 在这里，着重关心的是网络的稳定性问题，研究的重点 是怎样得到和利用稳定的反馈网络。 霍普菲尔德网络是单层对称全反馈网络，根据其激活函 数的选取不同，可分为离散型的霍普菲尔德网络 (Discrete Hopfield Neural Network，简称DHNN)和连续 型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。 DHNN的激活函数为二值型的，其输入、输出为{0，1}的 反馈网络，主要用于联想记忆。 CHNN的激活函数的输入与输出之间的关系为连续可微的 单调上升函数，主要用于优化计算
○7.1霍普菲尔德网络模型 P 0团 图7.1反馈网络结构图
7．1 霍普菲尔德网络模型 图7．1 反馈网络结构图
在反馈网络中 如果其激活函数)是一个二值型的硬函数,如图7.2所 示,即a1=sgn(n1),i=1,2,…r,则称此网络为离散型 反馈网络; 如果a=(n)中的)为一个连续单调上升的有界函数,这 类网络被称为连续型反馈网络。图7.3中所示为一个 具有饱和线性激活函数,它满足连续单调上升的有界 函数的条件,常作为连续型的激活函数。 图7.2DHNN中的激活函数图7.3CHNN中的激活函数
在反馈网络中 如果其激活函数f(·)是一个二值型的硬函数，如图7．2所 示，即ai ＝sgn(ni )，i＝l, 2, … r，则称此网络为离散型 反馈网络； 如果ai=f(ni )中的f(·)为一个连续单调上升的有界函数，这 类网络被称为连续型反馈网络。图7．3中所示为一个 具有饱和线性激活函数，它满足连续单调上升的有界 函数的条件，常作为连续型的激活函数。 图7．2 DHNN中的激活函数 图7．3 CHNN中的激活函数