Activation functions of a neuron Step function Sign function Sigmoid function Linearfunction 1.iX≥0 +1.ifX≥0 linear 0 Ifx <o LIf x<o 1+e 二值函数 双极函数 S型函数 线性函数 20211/27 16
2021/1/27 16 二值函数 双极函数 S型函数 线性函数
神经元的存贮模型 空间模式( Spatial Model) 时空模式( Spatialtemporal Model) 空间模式三种存储类型 >1、RAM方式( Random Access memory) 随机访问方式是将地址映射到数据。 >2、CAM方式( Content Addressable memory) 内容寻址方式是将数据映射到地址。 >3、AM方式( Associative Memory) 相联存储(联想记忆)方式是将数据映射到数据。 20211/27 17
2021/1/27 17 ◆空间模式（Spatial Model） ◆时空模式（Spatialtemporal Model） ◆空间模式三种存储类型 ➢1、 RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 ➢2、 CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 ➢3、 AM方式（Associative Memory） 相联存储(联想记忆)方式是将数据映射到数据。 神经元的存贮模型
后两种方式是人工神经网络的工作方式。 °在学习/训练期间,人工神经网络以CAM方 式工作;权矩阵又被称为网络的长期存储 ( Long term Memory,简记为LTM)。 网络在正常工作阶段是以AM方式工作的; 神经元的状态表示的模式为短期存储( Short Term Memory,简记为STM)。 20211/27 18
2021/1/27 18 • 后两种方式是人工神经网络的工作方式。 • 在学习/训练期间，人工神经网络以CAM方 式工作；权矩阵又被称为网络的长期存储 （Long Term Memory，简记为LTM）。 • 网络在正常工作阶段是以AM方式工作的； 神经元的状态表示的模式为短期存储（Short Term Memory，简记为STM）
自相联(Auto- associative)映射:训练网络 的样本集为向量集合为 1a2 ●● 在理想情况下,该网络在完成训练后,其 权矩阵存放的将是上面所给的向量集合。 20211/27 19
2021/1/27 19 • 自相联（Auto-associative）映射：训练网络 的样本集为向量集合为 {A1，A2，…，An } • 在理想情况下，该网络在完成训练后，其 权矩阵存放的将是上面所给的向量集合
异相联( Hetero- associative)映射 (A1,B1),(A2,B2),…,(An,Bn) 该网络在完成训练后,其权矩阵存放的将是上面 所给的向量集合所蕴含的对应关系 当输入向量A不是样本的第一的分量时,样本中 不存在这样的元素(A,B),使得 A;≤A≤A或者A≤A≤A 且此时有 A≤A≤A 则向量B是B与B的插值。 20211/27 20
2021/1/27 20 • 异相联（Hetero-associative）映射 {（A1，B1），（A2，B2），…，（An，Bn）} • 该网络在完成训练后，其权矩阵存放的将是上面 所给的向量集合所蕴含的对应关系。 • 当输入向量A不是样本的第一的分量时，样本中 不存在这样的元素（Ak，Bk），使得 Ai≤Ak≤A或者A≤Ak≤Aj • 且此时有 Ai≤A≤Aj • 则向量B是Bi与Bj的插值