10.1人工神经网络与神经网络优化算法 (k+1)=01(k)-aE/oa(k) ()-a∑。(k)y12(k) (10-1-3)
10.1 人工神经网络与神经网络优化算法 （10-1-3） = − − − − − = − + = − P p l i p l j p l l i j l l i j l l i j l l i j k k y k k k E k 1 1 , , 1, 1, 1, 1, ( ) ( ) ( ) ( 1) ( ) / ( )
10.1人工神经网络与神经网络优化算法 yn(k)-t11f[x,2(k),7=M-1 ),Pp f[x()2m(k)0m(,1=M-=2…1 (10-1-4) 其中,O为学习率
10.1 人工神经网络与神经网络优化算法 (10-1-4) 其中， 为学习率。 = − − = − = + = + + 1 1 1 1 , , ' , ' , , , [ ( )] ( ) ( ), 2, ,1 [ ( ) ] [ ( )], 1 ( ) Nl m l j m l m p l j p l j p j p l j p l j p f x k k k l M y k t f x k l M k
10.1人工神经网络与神经网络优化算法 实质上,BP算法是一种梯度下降算法,算法 性能依赖于初始条件,学习过程易于陷入 局部极小。数值仿真结果表明,BP算法的 学习速度、精度、初值鲁棒性和网络推广 性能都较差,不能满足应用的需要。实用 中按照需要适当改进
10.1 人工神经网络与神经网络优化算法 实质上，BP算法是一种梯度下降算法，算法 性能依赖于初始条件，学习过程易于陷入 局部极小。数值仿真结果表明，BP算法的 学习速度、精度、初值鲁棒性和网络推广 性能都较差，不能满足应用的需要。实用 中按照需要适当改进
10.1人工神经网络与神经网络优化算法 10.14 Hopfield网络 1982年, Hopfield开创性地在物理学、神经生物 学和计算机科学等领域架起了桥梁,提出 Hopfield反馈神经网络模型(HNVN),证明在高 强度连接下的神经网络依靠集体协同作用能自发 产生计算行为。 Hopfield网络是典型的全连接 网络,通过在网络中引入能量函数以构造动力学 系统,并使网络的平衡态与能量函数的极小解相 对应,从而将求解能量函数极小解的过程转化为 网络向平衡态的演化过程
10.1 人工神经网络与神经网络优化算法 10.1.4 Hopfield 网络 1982年，Hopfield开创性地在物理学、神经生物 学和计算机科学等领域架起了桥梁，提出了 Hopfield 反馈神经网络模型(HNN)，证明在高 强度连接下的神经网络依靠集体协同作用能自发 产生计算行为。Hopfield 网络是典型的全连接 网络，通过在网络中引入能量函数以构造动力学 系统，并使网络的平衡态与能量函数的极小解相 对应，从而将求解能量函数极小解的过程转化为 网络向平衡态的演化过程
10.1人工神经网络与神经网络优化算法 (1)离散型 Hopfield网络 离散型 Hopfield网络的输出为二值型,网络 采用全连接结构。令v,V2…"为各神经元 的输出,O1O2…m为各神经元与第个神 经元的连接权值,1为第L神经元的阈值, 刂有
10.1 人工神经网络与神经网络优化算法 (1) 离散型Hopfield 网络 离散型Hopfield 网络的输出为二值型，网络 采用全连接结构。令 为各神经元 的输出， 为各神经元与第 个神 经元的连接权值， 为第 神经元的阈值， 则有 n v ,v , ,v 1 2 i i ni , , 1 2 i i i