2.学习规则(1)选择一组初始权值wi(1)(2)计算某一输入模式对应的实际输出与期望输出的误差(3)更新权值,值可视为输入恒为(一1)的一个权值:w,(t+l) =w,(t)+n[d, -y,(t)]x,(t)式中,n:学习因子:d,yt):第个神经元的期望输出与实际输出;xt):第个神经元的第个输入。(4)返回(2),直到对所有训练模式网络输出均能满足要求神经网络的学习体现在:权值变化:网络结构变化
2. δ学习规则 (3)更新权值,阈值可视为输入恒为(-1)的一个权值; (1)选择一组初始权值wij(1); (2)计算某一输入模式对应的实际输出与期望输出的误差; w (t 1) w (t) [d y (t)]x (t) i j + = i j + j − j i 式中, (4)返回 (2) ,直到对所有训练模式网络输出均能满足要求。 dj,yj (t):第j个神经元的期望输出与实际输出; xi (t):第j个神经元的第i个输入。 神经网络的学习体现在: η:学习因子; 权值变化; 网络结构变化
8.2.4神经网络的结构分类分层结构有明显层次,信息流向由输入层到输出层前馈网络相互连接结构没有明显层次,任意两个神经元之间可达,具有输出单元到隐层单元或输入单元的反馈连接。反馈网络
8.2.4 神经网络的结构分类 分层结构 有明显层次,信息流向由输入层到输出层。 —— 前馈网络 没有明显层次,任意两个神经元之间可达,具有输出 单元到隐层单元或输入单元的反馈连接 。 —— 反馈网络 相互连接结构
8.3前馈神经网络感知器8.3.1感知器(Perceptron):F.Rosenblatt于1957年提出YM结构特点:V1*双层(输入层、输出层);*两层单元之间为全互连:*连接权值可调。*输出层神经元个数等于类别数(两类问题时输出层X1X2Xn为一个神经元)感知器结构示意图
8.3 前馈神经网络 8.3.1 感知器 感知器(Perceptron):F.Rosenblatt于1957年提出。 x1 x2 xn y1 . yM . . . 感知器结构示意图 * 双层(输入层、输出层); * 两层单元之间为全互连; * 连接权值可调。 结构特点: * 输出层神经元个数等于类 别数(两类问题时输出层 为一个神经元)
设输入模式向量,X=[x,x2,,,共M类输出层第神经元对应第模式类Xi8wjX2OW2j输出为 ,=fwx,-,).-.i-1WiyiXiyi0:第i个神经元的阈值:-输入模式第个分量与WniWj:3输出层第个神经元间的连接权输出单元对所有输入数值加权求和,经闯值型输出函数产生一组输出模式令, =-W(n+1)j。取TX=[xi,X2,".,xn,1]1W, =[wij, W2j, .", W(n+1),]Tn+1有y, = f(Ew,x,)= f(WTx)i=1
设输入模式向量, X = [x1 , x2 , , xn ] T ,共M类。 输出层第j个神经元对应第j个模式类, θj:第j个神经元的阈值; wij:输入模式第i个分量与 输出层第j个神经元间的连接权。 令 j = −w(n+1) j 。取 T 1 2 ( 1) [ , , , ] Wj = w j w j w n+ j T 1 2 [ , , , , 1] n X = x x x ( ) ( ) T 1 1 W j X n i j i j i y = f w x = f + = 有 ( ) 1 j n i j i j i y = f w x − = 输出为 ┇ x2 y xi i x1 j wij w2j ┇ w1j ┇ ┇ wnj yj 输出单元对所有输入数值加权求和,经阈值型输出函数 产生一组输出模式