第五章突触动力学Ⅱ·有监督学习下面从不同角度分析监督学习：1、有监督函数估计神经网络引进的函数估计的概念为：已知随机样本矢量对（x,J)…(xm,ym），要从这些样本中估计出产生这些样本矢量对的函数 ，即：f: x-y是输入空间其中：x, ExCR"是输出空间y,eycRP是要估计的泛函f所采用的方法为是使一个未知期望的误差函数 E(J)（也叫目标函数）最小化
第五章 突触动力学Ⅱ：有监督学习 1、有监督函数估计 神经网络引进的函数估计的概念为：已知随机样 本矢量对 1 1 , ), ( , ) m m （x y x y ，要从这些样本中估计 出产生这些样本矢量对的函数 f ，即： 下面从不同角度分析监督学习： f x y : → 其中： n i x x R 是输入空间 p i y y R 是输出空间 f 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数 E J( ) （也叫目标函数）最小化
第五章突触动力学Ⅱ·有监督学习2、作为有效条件的有监督学习有效条件强化响应(Operant conditioning reinforceresponses)。条件聚类强化了刺激，例如，一个生物体学会了一刺激响应对：S→R，那么在条件刺激 S中加一个条件 B 进行学习，即：(B&S)→R 或 B-→(S→R)这样不断强化刺激，直到输入B 时反应为 R。这样就有：B一→R 也就是学会了一条规则。这样的例子如巴普洛夫条件反射试验
第五章 突触动力学Ⅱ：有监督学习 2、作为有效条件的有监督学习 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激，例如，一个生物 体学会了一刺激响应对： S R → ，那么在条件刺激 S 中加一个条件 B 进行学习，即： ( & ) ( ) B S R B S R → → → 或 这样不断强化刺激，直到输入 B 时反应为 R。这样就 有： B R → 也就是学会了一条规则。这样的例子如 巴普洛夫条件反射试验
第五章突触动力学Ⅱ：有监督学习3、用已知的类隶属度作为随机模式学习的有监督学习模式：定义为模式空间Rn的一个点；时变模式：空间 Rn 中的一条轨迹线：映射 x:[O,T]一→Rn 定义了从时间区间 [O,TI到模式空间 Rn 中单点的映射。概率密度 p(x) 为模式 x在 Rn 中的分布的一种描述模式类：为空间 R" 的子集现在的任务是用已知的样本 x(1),x(2)：及模式类估计 p(x)
第五章 突触动力学Ⅱ：有监督学习 3、用已知的类隶属度作为随机模式学习的有监督学习 模式：定义为模式空间 的一个点； n R 时变模式：空间 n R 中的一条轨迹线； 映射 :[0, ] n x T R → 定义了从时间区间 [0, ] T 到模式 空间 n R 中单点的映射。 概率密度 p x( ) 为模式 x 在 n R 中的分布的一种描述 模式类：为空间 n R 的子集 现在的任务是用已知的样本 x x (1), (2) 及模式类， 估计 p x( )
第五章突触动力学ⅡI·有监督学习定义 I:Rn →{0,1} 是集合 S 的指示函数：xesI,(x) =x&s0指示函数指出了模式 ×的类隶属度。如果 S 是将R'映射到[0,11 而不是{0,1}，那么 S 就是一个连续的或者说多值的（模糊的）集合，即模式x以不同的程度隶属于不同的类假设将模式样本空间R"分为k 个不相交的子集：R"=D UD,..UD, 且 D,OD,=Φ 如果i j
第五章 突触动力学Ⅱ：有监督学习 定义 : {0,1} n s I R → 是集合 S 的指示函数： 1 ( ) 0 s x S I x x S = 指示函数指出了模式 x 的类隶属度。如果 S 是将 n R 映射到 [0,1] 而不是 {0,1} ，那么 S 就是一个连续的 或者说多值的（模糊的）集合，即模式 x 以不同的程 度隶属于不同的类。 假设将模式样本空间 n R 分为 k 个不相交的子集： 1 2 n R D D D D D i j = = k i j 且 如果
第五章突触动力学Ⅱ：有监督学习则类概率密度为：P(D,) = (, p(x)dx = E[ID, ]E为求期望值，且有：≥P(D)=1有监督和无监督模式学习的区别依赖于已有的信息以及学习系统如何利用它。在两种情况下系统都不知道p(x如果知道确定的类，并且学习系统利用了这些信息，那么模式学习就是监督学习。如果不知道或没用类隶属度（指示函数），则模式学习就是非监督的
第五章 突触动力学Ⅱ：有监督学习 则类概率密度为： ( ) ( ) [ ] i i i D D P D p x dx E I = = E 为求期望值，且有： 1 ( ) 1 k i i P D = = 有监督和无监督模式学习的区别依赖于已有的信息以 及学习系统如何利用它。在两种情况下系统都不知道 p x( ) 如果知道确定的类，并且学习系统利用了这些信息，那 么模式学习就是监督学习。如果不知道或没用类隶属度 （指示函数），则模式学习就是非监督的