10.1人工神经网络与神经网络优化算法 ■人工神经网络是由大量的神经元互连而成的网络, 按其拓扑结构来分,可以分成两大类:层次网络 模型和互连网络模型。层次网络模型是神经元分 成若干层顺序连接,在输入层上加上输入信息, 通过中间各层,加权后传递到输出层后输出,其 中有的在同一层中的各神经元相互之间有连接, 有的从输出层到输入层有反馈;互连网络模型中 任意两个神经元之间都有相互连接的关系,在连 接中,有的神经元之间是双向的,有的是单向的, 按实际情况决定
10.1 人工神经网络与神经网络优化算法 ◼ 人工神经网络是由大量的神经元互连而成的网络， 按其拓扑结构来分，可以分成两大类：层次网络 模型和互连网络模型。层次网络模型是神经元分 成若干层顺序连接，在输入层上加上输入信息， 通过中间各层，加权后传递到输出层后输出，其 中有的在同一层中的各神经元相互之间有连接， 有的从输出层到输入层有反馈；互连网络模型中， 任意两个神经元之间都有相互连接的关系，在连 接中，有的神经元之间是双向的，有的是单向的， 按实际情况决定
10.1人工神经网络与神经网络优化算法 ■10.13前向神经网络 (1)多层前向网络 个M层的多层前向网络可描述为 ①网络包含一个输入层(定义为第0层)和 M-1个隐层,最后一个隐层称为输出层 ②第层包含N个神经元和一个阈值单元 (定义为每层的第O单元),输出层不含阈 值单元;
10.1 人工神经网络与神经网络优化算法 ◼ 10.1.3 前向神经网络 (1)多层前向网络 一个M层的多层前向网络可描述为： ◼ ①网络包含一个输入层（定义为第0层）和 M-1个隐层，最后一个隐层称为输出层； ◼ ②第层包含 个神经元和一个阈值单元 （定义为每层的第0单元），输出层不含阈 值单元； Nl
10.1人工神经网络与神经网络优化算法 ③第l-层第i个单元到第个单元的权值表为 l-1 ④第l层(l>0)第j个(J>0)神经元的 输入定义为x=∑∞%1y输出定义 为y=f(x),其中f(为隐单元激励函数, 常采用 Sigmoid函数,即f(x)=+exp(-x) 输入单元一般采用线性激励函数f(x)=x, 阈值单元的输出始终为1;
10.1 人工神经网络与神经网络优化算法 ③第 层第 个单元到第个单元的权值表为 ； ④第 层（ >0）第 个（ >0）神经元的 输入定义为 ，输出定义 为 ，其中 为隐单元激励函数， 常采用Sigmoid函数，即 。 输入单元一般采用线性激励函数 ， 阈值单元的输出始终为1； l −1 i l l ij −1, l l j j − = − − = 1 0 1, 1 Nl i l i l l ij l x j y ( ) l j l j y = f x f (•) 1 ( ) [1 exp( )]− f x = + −x f (x) = x
10.1人工神经网络与神经网络优化算法 ⑤目标函数通常采用 E=∑E ∑∑( M-1 2 p ,p (10-1-2) 其中P为样本数,,为第p个样本的第j个输 出分量
10.1 人工神经网络与神经网络优化算法 ⑤ 目标函数通常采用： （10-1-2） 其中P为样本数， 为第p个样本的第j个输 出分量。 = = − = − = = − P p N j j p M j p P p p M E E y t 1 1 2 , 1 , 1 1 ( ) 2 1 j p t
10.1人工神经网络与神经网络优化算法 (2)BP算法 BP算法是前向神经网络经典的有监督学习算 法,它的提出,对前向神经网络的发展起 过历史性的推动作用。对于上述的M层的 人工神经网络,BP算法可由下列迭代式描 述,具体推导可参见神经网络的相关书目
10.1 人工神经网络与神经网络优化算法 ⑵ BP算法 BP算法是前向神经网络经典的有监督学习算 法，它的提出，对前向神经网络的发展起 过历史性的推动作用。对于上述的M层的 人工神经网络，BP算法可由下列迭代式描 述，具体推导可参见神经网络的相关书目