1.3网络学习规则 米 ◆格劳斯贝格(S. Grossberg提出了两种类型的 神经元模型:内星与外星,用以来解释人类及 动物的学习现象 内星可以被训练来识别矢量 外星可以被训练来产生矢量 基本学习规则 内星学习规则 外星学习规则 科荷伦学习规则 2021/2/20
2021/2/20 6 1.3 网络学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的 神经元模型：内星与外星，用以来解释人类及 动物的学习现象 – 内星可以被训练来识别矢量 – 外星可以被训练来产生矢量 基本学习规则 – 内星学习规则 – 外星学习规则 – 科荷伦学习规则
1.31内星与外星 米 P2 P3 PI P pr o 内星通过联接权矢量W接受一组输入信号P P 2021/2/20 外星通过联接权矢量向外输出一组信号A
2021/2/20 7 1.3.1 内星与外星 外星通过联接权矢量向外输出一组信号A 内星通过联接权矢量W接受一组输入信号P
1.32内星学习规则 米 ◆可以通过内星及其学习规则可训练某一神经元 节点只响应特定的输入矢量P,它借助于调节 网络权矢量W近似于输入矢量P来实现的 ◆单内星中对权值修正的格劳斯贝格内星学习规则为 △w1;=l·(pj-wlj)·a,j=l,2,…,r ◆内星神经元联接强度的变化△w1与输出成正比的。 如果内星输出a被某一外部方式而维护高值时,通过不断反复 地学习,趋使ΔW1逐渐减少,直至最终达到W=P,从而使 内星权矢量学习了输入矢量P,达到了用内星来识别一个矢量 的目的 2021/2/20 另一方面,如果内星输岀保持为低值时,网络权矢量被学习 的可能性较小,甚至不能被学习
2021/2/20 8 1.3.2 内星学习规则 可以通过内星及其学习规则可训练某一神经元 节点只响应特定的输入矢量P，它借助于调节 网络权矢量W近似于输入矢量P来实现的 单内星中对权值修正的格劳斯贝格内星学习规则为 内星神经元联接强度的变化Δw1j与输出成正比的。 – 如果内星输出a被某一外部方式而维护高值时，通过不断反复 地学习，趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使 内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量 的目的 – 另一方面，如果内星输出保持为低值时，网络权矢量被学习 的可能性较小，甚至不能被学习
1.33外星学习规则 米 ◆外星网络的激活函数是线性函数。它被用来学习回忆 个矢量,其网络输入P也可以是另一个神经元模型的 输出 ◆外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A ◆对于一个外星,其学习规则为 △wa1=lr:(ai-wi)·p ◆与内星不同,外星联接强度的变化△w是与输入矢量P成正比的 当输入矢量被保持高值,比如接近1时,每个权值w将趋于输出a值, 若p;=1,则外星使权值产生输出矢量 当输入矢量p为0时,网络权值得不到任何学习与修正 2021/2/20
2021/2/20 9 1.3.3 外星学习规则 外星网络的激活函数是线性函数。它被用来学习回忆 一个矢量，其网络输入P也可以是另一个神经元模型的 输出 外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A 对于一个外星，其学习规则为 与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的 – 当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值， 若pj＝1，则外星使权值产生输出矢量 – 当输入矢量pj为0时，网络权值得不到任何学习与修正
1.33外星学习规则 米 ◆当有个外星相并联,每个外星与s个线 性神经元相连组成一层外星时,其权值 修正方式为 △W=l·(A-W)·P W=s×权值列矢量 Ir=学习速率 A=S×q外星输出 P=r×q外星输入 2021/2/20
2021/2/20 10 1.3.3 外星学习规则 当有r个外星相并联，每个外星与s个线 性神经元相连组成一层外星时，其权值 修正方式为 – W＝s×r权值列矢量 – lr＝学习速率 – A＝s×q外星输出 – P＝r×q外星输入