13.1人工神经网络与神经网络优化算法 y,(k)-t1,nf[x(k),=M-1 (k)= 4 ,p f'Ix(k)S+(k)o(k),1=M-2 m=1 其中,c为学习率
13.1人工神经网络与神经网络优化算法 其中， 为学习率。 = − − = − = + = + + 1 1 1 1 , , ' , ' , , , [ ( )] ( ) ( ), 2, ,1 [ ( ) ] [ ( )], 1 ( ) Nl m l j m l m p l j p l j p j p l j p l j p f x k k k l M y k t f x k l M k (4)
13.1人工神经网络与神经网络优化算法 实质上,BP算法是一种梯度下降算法,算 法性能依赖于初始条件,学习过程易于陷 入局部极小。数值仿真结果表明,BP算法 的学习速度、精度、初值鲁棒性和网络推 广性能都较差,不能满足应用的需要。实 用中应按照需要适当改进
13.1人工神经网络与神经网络优化算法 实质上，BP算法是一种梯度下降算法，算 法性能依赖于初始条件，学习过程易于陷 入局部极小。数值仿真结果表明，BP算法 的学习速度、精度、初值鲁棒性和网络推 广性能都较差，不能满足应用的需要。实 用中应按照需要适当改进
13.1人工神经网络与神经网络优化算法 4 Hopfield网络 1982年, Hopfield开创性地在物理学、神经生物学 和计算机科学等领域架起了桥梁,提出 Hopfield反馈神经网络模型(HNN),证明在高强 度连接下的神经网络依靠集体协同作用能自发产 生计算行为。 Hopfield网络是典型的全连接网络, 通过在网络中引入能量函数以构造动力学系统, 并使网络的平衡态与能量函数的极小解相对应, 从而将求解能量函数极小解的过程转化为网络向 平衡态的演化过程
13.1人工神经网络与神经网络优化算法 4.Hopfield 网络 1982年，Hopfield开创性地在物理学、神经生物学 和计算机科学等领域架起了桥梁，提出了 Hopfield 反馈神经网络模型(HNN)，证明在高强 度连接下的神经网络依靠集体协同作用能自发产 生计算行为。Hopfield 网络是典型的全连接网络， 通过在网络中引入能量函数以构造动力学系统， 并使网络的平衡态与能量函数的极小解相对应， 从而将求解能量函数极小解的过程转化为网络向 平衡态的演化过程
13.1人工神经网络与神经网络优化算法 (1)离散型 Hopfield网络 离散型 Hopfield网络的输出为二值型,网络 采用全连接结构。令吗2…为各神经元 的输出,am灬On为各神经元与第个神 经元的连接权值,Q为第i个神经元的阈 值,则有
13.1人工神经网络与神经网络优化算法 (1) 离散型Hopfield 网络 离散型Hopfield 网络的输出为二值型，网络 采用全连接结构。令 为各神经元 的输出， 为各神经元与第 个神 经元的连接权值， 为第 个神经元的阈 值，则有 n v ,v , ,v 1 2 i i ni , , , 1 2 i i i
131人工神经网络与神经网络优化算法 ≥0 =f(0nv1-01)=f(1)= j=l 1,1<0(5 J≠1
13.1 人工神经网络与神经网络优化算法 （5） − = − = = = 1, 0 1, 0 ( ) ( ) 1 i i i n j i j i j i j i u u v f v f u