一、内容回顾 ◆生物神经元 ◆人工神经网络结构 人工神经网络 人工神经元模型 常见响应函数 人工神经网络典型结构 神经网络基本学习算法 2021/2/20
2021/2/20 6 生物神经元 人工神经网络结构 – 人工神经网络 – 人工神经元模型 – 常见响应函数 – 人工神经网络典型结构 神经网络基本学习算法 一、内容回顾
二、内容回顾 米 ◆生物神经元 ◆人工神经网络结构 神经网络基本学习算法 权值确定 Hebb学习规则 误差校正学习规则 相近(无教师)学习规则 2021/2/20
2021/2/20 7 生物神经元 人工神经网络结构 神经网络基本学习算法 – 权值确定 – Hebb学习规则 – 误差校正学习规则 – 相近（无教师）学习规则 一、内容回顾
Hebb学习规则 米 ◆Donl!Hebb根据生理学中条件反射机理,于 1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活),则它们 之间的突触连接加强 △℃;=av;v; a为学习速率,Vi为神经元和的输出 ◆Hebb学习规则是人工神经网络学习的基本规 则,几乎所有神经网络的学习规则都可以看作 8Heb学习规则的变形 2021/2/20
2021/2/20 8 Hebb学习规则 Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则 – 如果两个神经元同时兴奋(即同时被激活)，则它们 之间的突触连接加强 – a为学习速率，Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规 则，几乎所有神经网络的学习规则都可以看作 Hebb学习规则的变形
Q误差校正规则 ◆用已知样本作为教师对网络进行学习 ◆学习规则可由二次误差函数的梯度法导出 ◆误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本,收敛速度慢 对样本地表示次序变化比较敏感 △vb;=ao;v; 2021/2/20 8,=F(y-y;)
2021/2/20 9 误差校正规则 用已知样本作为教师对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法 – 不能保证得到全局最优解 – 要求大量训练样本，收敛速度慢 – 对样本地表示次序变化比较敏感
Q无教师学习规则 米 A=alvi-aj 这类学习不在于寻找一个特殊映射的表示,而 是将事件空间分类为输入活动区域,并有选择 地对这些区域响应,从而调整参数一反映观察 事件的分部 输入可以为连续值,对噪声有较强抗干扰能力 ◆对较少输入样本,结果可能要依赖于输入序列 2012在ART、 Kohonen等自组织竞争型网络中采用
2021/2/20 10 无教师学习规则 这类学习不在于寻找一个特殊映射的表示，而 是将事件空间分类为输入活动区域，并有选择 地对这些区域响应，从而调整参数一反映观察 事件的分部 输入可以为连续值，对噪声有较强抗干扰能力 对较少输入样本，结果可能要依赖于输入序列 在ART、Kohonen等自组织竞争型网络中采用