有监督的函数估计： 神经网络引进的函数估计的概念为：已知随机样本矢量对 (x,y),…(xm,ym),要从这些样本中估计出产生这些样本 矢量对的函数，即：∫：x→y 其中：x,∈xcR” 是输入空间 y,∈yCRP 是输出空间 f 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数E(J) (也叫目标函数)最小化
有监督的函数估计： 神经网络引进的函数估计的概念为：已知随机样本矢量对 1 1 , ), ( , ) m m （x y x y ，要从这些样本中估计出产生这些样本 矢量对的函数 f ，即： f x y : → 其中： n i x x R 是输入空间 p i y y R 是输出空间 f 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数 E J( ) （也叫目标函数）最小化
有监督的函数估计： ■设N为一个神经网络的传递函数，那么可以定义瞬时误差 为y,-W(x),这是一个随机向量，因为我们不知道联合 概率密度函数p(X,y),所以，无法求出，ELy-N(x】,一 般用Ey,-N(x)y,-N(x)']。 随机逼近用观测到的随机量来估计期望值，然后在 离散的近似算法中使用这些估计量，通常是随机的梯度 下降法，举个例子，在Vidrow's LMS算法中，他用的梯 度是随机梯度。 幻灯片5
有监督的函数估计： ◼ 设N为一个神经网络的传递函数，那么可以定义瞬时误差 为 ，这是一个随机向量，因为我们不知道联合 概率密度函数p(x,y)，所以，无法求出， , 一 般用 。 随机逼近用观测到的随机量来估计期望值，然后在 离散的近似算法中使用这些估计量，通常是随机的梯度 下降法，举个例子，在Widrow’s LMS算法中，他用的梯 度是随机梯度。 ( ) i i y N x − [ ( )] E y N x i i − [( ( ))( ( )) ] T E y N x y N x i i i i − − 幻灯片 5