第五章突触动力学川：有监督学习 王衡
第五章 突触动力学Ⅱ：有监督学习 王衡
目录 1有监督的函数估计 冬2有监督的学习相当于操作性条件反射 3有监督的学习相当于有先验知识的随机模式 学习 4算法，感知器，LMS,BP
目录 ❖ 1有监督的函数估计 ❖ 2有监督的学习相当于操作性条件反射 ❖ 3有监督的学习相当于有先验知识的随机模式 学习 ❖ 4算法，感知器，LMS，BP
1.有监督的函数估计 冬给定观察得到的随机矢量样本对： (x,y),(x2,2),…(xm,ym） 要估计一个未知函数：f:x一y,并且使期望 误差函数EJ]最小。误差=期望输出-实际输 出
1.有监督的函数估计 ❖ 给定观察得到的随机矢量样本对： 要估计一个未知函数：f : x—y，并且使期望 误差函数E[J]最小。误差=期望输出-实际输 出 1 1 2 2 ( , ), ( , ), ( , ) m m x y x y x y
1.有监督的丞数估计 冬设N为一个神经网络的传递函数，那么可以定义 瞬时误差为y一N(x),这是一个随机向量， 因为我们不知道联合概率密度函数p(仪，y),所以， 无法求出， E[y,-N(用 E[(y:-W(x)(y,-Nx,逼近用观测到的 随机量来估计期望值，然后在离散的近似算法中 使用这些估计量，通常是随机的梯度下降法，举 个例子，在Vidrow's LMS算法中，他用的梯度 是随机梯度
1.有监督的函数估计 ❖ 设N为一个神经网络的传递函数，那么可以定义 瞬时误差为 ，这是一个随机向量， 因为我们不知道联合概率密度函数p(x,y)，所以， 无法求出， 一般用 。随机逼近用观测到的 随机量来估计期望值，然后在离散的近似算法中 使用这些估计量，通常是随机的梯度下降法，举 个例子，在Widrow’s LMS算法中，他用的梯度 是随机梯度 ( ) i i y N x − [ ( )] E y N x i i − [( ( ))( ( )) ] T E y N x y N x i i i i − −
理解细节 1.error surface 2.m* 3.函数估计与分类
理解细节 ❖ 1.error surface ❖ 2.m* ❖ 3.函数估计与分类