即研究系统在什么条件下不会出现振荡和混钝现象。 (2)网络的稳定点 个非线性网络能够有很多个稳定点,对权值的设计,要求其中的某些稳定点是所要求 的解。对于用做联想记忆的反馈型网络,希望稳定点就是一个记忆,那么记忆容量就与稳定 点的数量有关,希望记忆的量越大,那么,稳定点的数目也越大,但稳定点数目的增加可能 会引起吸引域的减小,从而使联想功能减弱。对于用做优化的反馈网络,由于目标函数(即 系统中的能量函数)往往要求只有一个全局最小。那么稳定点越多,陷入局部最小的可能性 就越大,因而要求系统的稳定点越少越好。 (3)吸引域的设计 希望的稳定点有尽可能大的吸引域,而非希望的稳定点的吸引域要尽可能的小。因为状 态空间是一个多维空间,状态随时间的变化轨迹可能是多种形状,吸引域就很难用一个明确 的解析式来表达,这在设计时要尽可能考虑 7.3离散型霍普菲尔德网络 7.3.1DHNN模型结构 在DHNN模型中,每个神经元节点的输出可以有两值状态,-1或1(0或1),其输出类 似于MP神经元,可表示为: 1∑"na>0 乙wgq;<0 广±i 在上式中,取b=0,权矩阵中有w=w,且取w=0。即DHNN采用对称联接。因此, 其网络结构可以用一个加权元向量图表示。图7.5(a)为一个3节点DHNN结构,其中,每 个输入神经元节点除了不与具有相同节点号的输出相连外,与其他节点两两相连。每个输出 信号又反馈到相同的输入节点 由图7.5(a),考虑到DHNN的权值特性w=wi,网络各节点加权输入和分别为:
6 即研究系统在什么条件下不会出现振荡和混钝现象。 (2)网络的稳定点 一个非线性网络能够有很多个稳定点，对权值的设计，要求其中的某些稳定点是所要求 的解。对于用做联想记忆的反馈型网络，希望稳定点就是一个记忆，那么记忆容量就与稳定 点的数量有关，希望记忆的量越大，那么，稳定点的数目也越大，但稳定点数目的增加可能 会引起吸引域的减小，从而使联想功能减弱。对于用做优化的反馈网络，由于目标函数(即 系统中的能量函数)往往要求只有一个全局最小。那么稳定点越多，陷入局部最小的可能性 就越大，因而要求系统的稳定点越少越好。 (3)吸引域的设计 希望的稳定点有尽可能大的吸引域，而非希望的稳定点的吸引域要尽可能的小。因为状 态空间是一个多维空间，状态随时间的变化轨迹可能是多种形状，吸引域就很难用一个明确 的解析式来表达，这在设计时要尽可能考虑。 7．3 离散型霍普菲尔德网络 7．3．1 DHNN 模型结构 在 DHNN 模型中，每个神经元节点的输出可以有两值状态，-1 或 1(0 或 1)，其输出类 似于 MP 神经元，可表示为： 在上式中，取 b＝0，权矩阵中有 wij＝wji，且取 wii＝0。即 DHNN 采用对称联接。因此， 其网络结构可以用一个加权元向量图表示。图 7．5(a)为一个 3 节点 DHNN 结构，其中，每 个输入神经元节点除了不与具有相同节点号的输出相连外，与其他节点两两相连。每个输出 信号又反馈到相同的输入节点。 由图 7．5(a)，考虑到 DHNN 的权值特性 wij＝wji，网络各节点加权输入和分别为：
S=W12a2 t w13a 2=W241+W23a3 S3=w31a1+w13a2 由此可得简化后等效的网络结构如图7.5(b)所示。 (a)普菲尔德网络结构图 (b)等价的霍普菲尔德网络图 图7.5霍普菲尔德网络图 对于以符号函数为激活函数的网络,网络的方程可写为: a a(+1)=sgn[n() )>0 < 7.3.2联想记忆 联想记忆功能是DINN的一个重要应用范围。要想实现联想记忆,反馈网络必须具有 两个基本条件:①网络能收敛到稳定的平衡状态,并以其作为样本的记忆信息;②具有回忆 能力,能够从某一残缺的信息回忆起所属的完整的记忆信息 DHNN实现联想记忆的过程分为两个阶段:学习记忆阶段和联想回忆阶段。在学习记 忆阶段中,设计者通过某一设计方法确定一组合适的权值,使网络记忆期望的稳定平衡点
7 由此可得简化后等效的网络结构如图 7．5(b)所示。 图 7．5 霍普菲尔德网络图 对于以符号函数为激活函数的网络，网络的方程可写为： 7．3．2 联想记忆 联想记忆功能是 DHNN 的一个重要应用范围。要想实现联想记忆，反馈网络必须具有 两个基本条件：①网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；②具有回忆 能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。 DHNN 实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记 忆阶段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点
而联想回忆阶段则是网络的工作过程。此时,当给定网络某一输入模式,网络能够通过自身 的动力学状态演化过程最终达到稳定的平衡点,从而实现自联想或异联想回忆。 反馈网络有两种基本的工作方式:串行异步和并行同步方式。 1)串行异步方式:任意时刻随机地或确定性地选择网络中的一个神经元进行状态更新 而其余神经元的状态保持不变 2)并行同步方式:任意时刻网络中部分神经元(比如同一层的神经元的状态同时更新 如果任意时刻网络中全部神经元同时进行状态更新,那么称之为全并行同步方式 对于s个神经元的反馈网络DHNN有2个状态的可能性。其输出状态是一个包含-1或 1(0或1)的矢量,每一时刻网络将处于某一种状态下。当网络状态的更新变化采用随机异步 策略,即随机地选择下一个要更新的神经元,且允许所有神经元具有相同的平均变化概率 在状态更新过程中,包括三种情况:由-1变为1:由1变为1及状态保持不变。在任一时刻, 网络中只有一个神经元被选择进行状态更新或保持,所以异步状态更新的网络从某一初态开 始需经过多次更新状态后才可以达到某种稳态。这种更新方式的特点是:实现上容易,每个 神经元有自己的状态更新时刻,不需要同步机制;另外,功能上的串行状态更新可以限制网 络的输出状态,避免不同稳态等概率的出现;再者,异步状态更新更接近实际的生物神经系 统的表现。 7.3.3DHNN的海布(Hebb)学习规则 在DHNN的网络训练过程中,运用的是海布调节规则:当神经元输入与输出节点的状 态相同(即同时兴奋或抑制)时,从第j个到第i个神经元之间的连接强度则增强,否则则减 弱。海布法则是一种无指导的死记式学习算法。 离散型霍普菲尔德网络的学习目的,是对具有q个不同的输入样本组Pxq=[Pl, P,希望通过调节计算有限的权值矩阵W,使得当每一组输入样本P,k=1,2,…,q 作为系统的初始值,经过网络的工作运行后,系统能够收敛到各自输入样本矢量本身。当k 1时,对于第ⅰ个神经元,由海布学习规则可得网络权值对输入矢量的学习关系式为: Wii =a p pi 其中,a>0,i=1,2…,r;j=1,2…,r。在实际学习规则的运用中,一般取a=1 或1/r。(7.2)式表明了海布调节规则:神经元输入P与输出A的状态相同(即同时为正或为
8 而联想回忆阶段则是网络的工作过程。此时，当给定网络某一输入模式，网络能够通过自身 的动力学状态演化过程最终达到稳定的平衡点，从而实现自联想或异联想回忆。 反馈网络有两种基本的工作方式：串行异步和并行同步方式。 1)串行异步方式：任意时刻随机地或确定性地选择网络中的一个神经元进行状态更新， 而其余神经元的状态保持不变； 2)并行同步方式：任意时刻网络中部分神经元(比如同一层的神经元)的状态同时更新。 如果任意时刻网络中全部神经元同时进行状态更新，那么称之为全并行同步方式。 对于 s 个神经元的反馈网络 DHNN 有 2 s 个状态的可能性。其输出状态是一个包含-1 或 1(0 或 1)的矢量，每一时刻网络将处于某一种状态下。当网络状态的更新变化采用随机异步 策略，即随机地选择下一个要更新的神经元，且允许所有神经元具有相同的平均变化概率。 在状态更新过程中，包括三种情况：由-1 变为 1；由 1 变为-1 及状态保持不变。在任一时刻， 网络中只有一个神经元被选择进行状态更新或保持，所以异步状态更新的网络从某一初态开 始需经过多次更新状态后才可以达到某种稳态。这种更新方式的特点是：实现上容易，每个 神经元有自己的状态更新时刻，不需要同步机制；另外，功能上的串行状态更新可以限制网 络的输出状态，避免不同稳态等概率的出现；再者，异步状态更新更接近实际的生物神经系 统的表现。 7．3．3 DHNN 的海布(Hebb)学习规则 在 DHNN 的网络训练过程中，运用的是海布调节规则：当神经元输入与输出节点的状 态相同(即同时兴奋或抑制)时，从第 j 个到第 i 个神经元之间的连接强度则增强，否则则减 弱。海布法则是一种无指导的死记式学习算法。 离散型霍普菲尔德网络的学习目的，是对具有 q 个不同的输入样本组 Pr×q＝[P1 , P2 … P q ]，希望通过调节计算有限的权值矩阵 W，使得当每一组输入样本 P k，k=1，2，…，q， 作为系统的初始值，经过网络的工作运行后，系统能够收敛到各自输入样本矢量本身。当 k ＝1 时，对于第 i 个神经元，由海布学习规则可得网络权值对输入矢量的学习关系式为： (7.2) 其中，α＞0，i＝1，2…，r；j=1，2…，r。在实际学习规则的运用中，一般取α＝1 或 1/r。(7．2)式表明了海布调节规则：神经元输入 P 与输出 A 的状态相同(即同时为正或为
负肘时,从第j个到第ⅰ个神经元之间的连接强度w则增强(即为正),否则w减弱(为负)。 那么由(7.2)式求出的权值w是否能够保证a=p?取a=1,我们来验证一下,对于 第i个输出节点,有: A=1 Pj)=sgn( 2 ppip)=sgn(Pi)=Pi 因为p和a值均取二值{-1,1},所以当其为正值时,即为1;其值为负值时,即为-1 同符号值相乘时,输出必为1。而且由sgn(p1)可以看出,不一定需要sgn(p4)的值,只要符 号函数gn(·)中的变量符号与p的符号相同,即能保证sgn(·)=p。这个符号相同的范 围就是一个稳定域 当k=1时,海布规则能够保证a1=p成立,使网络收敛到自己。现在的问题是:对于 同一权矢量W,网络不仅要能够使一组输入状态收敛到其稳态值,而且是要能够同时记忆 住多个稳态值,即同一个网络权矢量必须能够记忆住多组输入样本,使其同时收敛到不同对 应的稳态值。所以,根据海布规则的权值设计方法,当k由1增加到2,直至q时,则是在 原有己设计出的权值的基础上,增加一个新量p'p,k=2…,q,所以对网络所有输入样本 记忆权值的设计公式为 c∑ 式中矢量T为记忆样本,T=P。上式称为推广的学习调节规则。当系数q=1时,称(7.3) 式为T的外积和公式 DHNN的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本 因为霍普菲尔德网络有w=w,所以完整的霍普菲尔德网络权值设计公式应当为 w;=c∑ kk k=1 (74) 用向量形式表示为
9 负)时，从第 j 个到第 i 个神经元之间的连接强度 wij 则增强(即为正)，否则 wij 减弱(为负)。 那么由(7．2)式求出的权值 wij 是否能够保证 ai＝pj？ 取α＝l，我们来验证一下，对于 第 i 个输出节点，有： 因为 pi 和 ai 值均取二值{—l，1}，所以当其为正值时，即为 1；其值为负值时，即为-1。 同符号值相乘时，输出必为 1。而且由 sgn(pi 1 )可以看出，不一定需要 sgn(pi 1 )的值，只要符 号函数 sgn(·)中的变量符号与 pi 1 的符号相同，即能保证 sgn(·)＝pi 1。这个符号相同的范 围就是一个稳定域。 当 k＝1 时，海布规则能够保证 ai 1＝pi 1 成立，使网络收敛到自己。现在的问题是：对于 同一权矢量 W，网络不仅要能够使一组输入状态收敛到其稳态值，而且是要能够同时记忆 住多个稳态值，即同一个网络权矢量必须能够记忆住多组输入样本，使其同时收敛到不同对 应的稳态值。所以，根据海布规则的权值设计方法，当 k 由 1 增加到 2，直至 q 时，则是在 原有己设计出的权值的基础上，增加一个新量 pj kpi k，k＝2…, q，所以对网络所有输入样本 记忆权值的设计公式为： (7.3) 式中矢量 T 为记忆样本，T＝P。上式称为推广的学习调节规则。当系数α＝1 时，称(7．3) 式为 T 的外积和公式。 DHNN 的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本 上。 因为霍普菲尔德网络有 wij＝wji，所以完整的霍普菲尔德网络权值设计公式应当为： （7.4） 用向量形式表示为：