5-2BP网络的学习算法 5-2-2BP学习算法的描述 输入层与中间层的连接权值：w 口隐含层与输出层的连接权值：wo 口隐含层各神经元的阈值：b, 口输出层各神经元的阈值：b。 口样本数据个数：k=1,2,…m 口激活函数： f() 误差函数：e=】之(d,()-o,(k)月 2006-12-6 北京科技大学自动化系付冬梅 12
2006-12-6 北京科技大学 自动化系 付冬梅 12 ❑ 输入层与中间层的连接权值: ❑ 隐含层与输出层的连接权值: ❑ 隐含层各神经元的阈值: ❑ 输出层各神经元的阈值: ❑ 样本数据个数: ❑ 激活函数: ❑ 误差函数： wih f( ) who h b k m =1,2, o b 2 1 1 ( ( ) ( )) 2 q o o o e d k yo k = = - 5-2 BP网络的学习算法 5-2-2 BP学习算法的描述
5-2 BP网络的学习算法 5-2-2BP学习算法的描述 第一步，网络初始化 给各连接权值分别赋一个区间(-1,1)内的随机 数，设定误差函数，给定计算精度值和最大学 习次数M。 第二步，随机选取第k个输入样本及对应期望 输出 X(k)=（x(k),x2(k),…,xn(k)） d(k)=（d(k),d2(k),…,d,(k)） 2006-12-6 北京科技大学自动化系付冬梅 13
2006-12-6 北京科技大学 自动化系 付冬梅 13 ◼ 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机 数，设定误差函数e，给定计算精度值 和最大学 习次数M。 ◼ 第二步,随机选取第 个输入样本及对应期望 输出 k x( ) ( ), ( ), , ( ) k x k x k x k = ( 1 2 n ) d o ( ) ( ), ( ), , ( ) k d k d k d k = ( 1 2 q ) 5-2 BP网络的学习算法 5-2-2 BP学习算法的描述
5-2 BP网络的学习算法 5-2-2BP学习算法的描述 第三步，计算隐含层各神经元的输入和输出 hi,()=∑wx()-b, h=1,2,…,p ho;(k)=f(hin(k) h=1,2,…,p yi,(k)=∑wh0,(k)-b。 0=1,2,…9 h=1 y0(k)=fyi(k)o=1,2,…g 2006-12-6 北京科技大学自动化系付冬梅 14
2006-12-6 北京科技大学 自动化系 付冬梅 14 ◼ 第三步，计算隐含层各神经元的输入和输出 1 ( ) ( ) 1,2, , n h ih i h i hi k w x k b h p = = - = ( ) f( ( )) 1,2, , h h ho k hi k h p = = 1 ( ) ( ) 1,2, p o ho h o h yi k w ho k b o q = = - = ( ) f( ( )) 1,2, o o yo k yi k o q = = 5-2 BP网络的学习算法 5-2-2 BP学习算法的描述
5-2 BP网络的学习算法 5-2-2BP学习算法的描述 第四步，利用网络期望输出和实际输出，计算 误差函数对输出层的各神经元的偏导数δ，) ae_e ayi。 OW ho ayi。awho Ovi,(k) ∑"ho,()-b,) =ho,(k) OWho OW ho be a52d(-m.( =-(d(k)-y0(k)o。(k) 可y。 ayi。 =-(d,(k)-y0(k)f,(k)会-6(k) 2006-12-6 北京科技大学自动化系付冬梅 15
2006-12-6 北京科技大学 自动化系 付冬梅 15 ◼ 第四步，利用网络期望输出和实际输出，计算 误差函数对输出层的各神经元的偏导数 。 o ho o ho e e yi w yi w = ( ( ) ) ( ) ( ) p ho h o o h h ho ho w ho k b yi k ho k w w - = = 2 1 1 ( ( ( ) ( ))) 2 ( ( ) ( )) ( ) ( ( ) ( ))f ( ( )) ( ) q o o o o o o o o o o o o d k yo k e d k yo k yo k yi yi d k yo k yi k k = - = = - - = - - - ( ) o k 5-2 BP网络的学习算法 5-2-2 BP学习算法的描述
5-2 BP网络的学习算法 5-2-2BP学习算法的描述 第五步，利用隐含层到输出层的连接权值、输 出层的6，和隐含层的输出计算误差函数对隐含 层各神经元的偏导数G,(k) dedeoyi,=-8(k)ho,(k) Wro oyi。Owo e ahin,(k) OWih Chin(k) OWih hi (k) a(∑whx(k-b:) i- =x,(k) OWih OW ih 2006-12-6 北京科技大学自动化系付冬梅 16
2006-12-6 北京科技大学 自动化系 付冬梅 16 ◼ 第五步，利用隐含层到输出层的连接权值、输 出层的 和隐含层的输出计算误差函数对隐含 层各神经元的偏导数 。 ( ) ( ) o o h ho o ho e e yi k ho k w yi w = = - 1 ( ) ( ) ( ( ) ) ( ) ( ) h ih h ih n ih i h h i i ih ih e e hi k w hi k w w x k b hi k x k w w = = - = = ( ) h k ( ) o k 5-2 BP网络的学习算法 5-2-2 BP学习算法的描述