13.1人工神经网络与神经网络优化算法 ●3.前向神经网络 (1)多层前向网络 个M层的多层前向网络可描述为: ●①网络包含一个输入层(定义为第0层)和 M-1个隐层,最后一个隐层称为输出层。 ②第层包含M个神经元和一个阈值单元 (定义为每层的第0单元),输出层不含阈 值单元
13.1人工神经网络与神经网络优化算法 ⚫ 3 .前向神经网络 (1)多层前向网络 一个M层的多层前向网络可描述为： ⚫ ①网络包含一个输入层（定义为第0层）和 M－1个隐层，最后一个隐层称为输出层。 ⚫ ②第 层包含 个神经元和一个阈值单元 （定义为每层的第0单元），输出层不含阈 值单元。 Nl
13.1人工神经网络与神经网络优化算法 ③第层第社个单元到第个单元的权值表为 ④第层(0)第个(7)神经元的 输入定义为x/=∑∞y输出定义 为y=/(x),其(为隐单元激励函数, 常采用 Sigmoid函数,即x2=l+s(-x)输 入单元一般采用线性激励函数/(x)=x, 阈值单元的输出始终为1
13.1人工神经网络与神经网络优化算法 ③第 层第 个单元到第 个单元的权值表为 。 ④第 层（ >0）第 个（ >0）神经元的 输入定义为 ，输出定义 为 ，其中 为隐单元激励函数， 常采用Sigmoid函数，即 。输 入单元一般采用线性激励函数 ， 阈值单元的输出始终为1。 l −1 i l l ij −1, l l j j − = − − = 1 0 1, 1 Nl i l i l l ij l x j y ( ) l j l j y = f x f (•) 1 ( ) [1 exp( )]− f x = + −x f (x) = x j
13.1人工神经网络与神经网络优化算法 ⑤目标函数通常采用 E=∑E ∑∑(y M-1 2 J,p J.p (2) p=j=1 其中,P为样本数;n为第p个样本的第个 输出分量
13.1人工神经网络与神经网络优化算法 ⑤ 目标函数通常采用 （2） 其中，P为样本数； 为第p个样本的第j个 输出分量。 = = − = − = = − P p N j j p M j p P p p M E E y t 1 1 2 , 1 , 1 1 ( ) 2 1 j p t
131人工神经网络与神经网络优化算法 (2)BP算法 BP算法是前向神经网络经典的有监督学习 算法,它的提出对前向神经网络的发展起 过历史性的推动作用。对于上述的M层的 人工神经网络,BP算法可由下列迭代式描 述,具体推导可参见神经网络的相关书目
13.1 人工神经网络与神经网络优化算法 ⑵ BP算法 BP算法是前向神经网络经典的有监督学习 算法，它的提出对前向神经网络的发展起 过历史性的推动作用。对于上述的M层的 人工神经网络，BP算法可由下列迭代式描 述，具体推导可参见神经网络的相关书目
13.1人工神经网络与神经网络优化算法 ol"(k+1)=o()-mE/o(k) =o"(k)-a∑。(ky%2(k)(3
13.1人工神经网络与神经网络优化算法 （3） = − − − − − = − + = − P p l i p l j p l l i j l l i j l l i j l l i j k k y k k k E k 1 1 , , 1, 1, 1, 1, ( ) ( ) ( ) ( 1) ( ) / ( )