第五章突触动力学Ⅱ：有监督学习 下面从不同角度分析监督学习： 1、有监督函数估计 神经网络引进的函数估计的概念为：已知随机样 本矢量对(x,y),(xm,ym),要从这些样本中估计 出产生这些样本矢量对的函数，即： f:x→y 其中：x,∈xcR” 是输入空间 y,∈ycRP 是输出空间 f 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数E(J) (也叫目标函数)最小化
第五章 突触动力学Ⅱ：有监督学习 1、有监督函数估计 神经网络引进的函数估计的概念为：已知随机样 本矢量对 1 1 , ), ( , ) m m （x y x y ，要从这些样本中估计 出产生这些样本矢量对的函数 f ，即： 下面从不同角度分析监督学习： f x y : → 其中： n i x x R 是输入空间 p i y y R 是输出空间 f 是要估计的泛函 所采用的方法为是使一个未知期望的误差函数 E J( ) （也叫目标函数）最小化
第五章突触动力学Ⅱ：有监督学习 2、作为有效条件的有监督学习 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激，例如，一个生物 体学会了一刺激响应对：S→R,那么在条件刺激S 中加一个条件B进行学习，即： (B&S)-→R或B→(S→R) 这样不断强化刺激，直到输入B时反应为R。这样就 有：B→R也就是学会了一条规则。这样的例子如 巴普洛夫条件反射试验
第五章 突触动力学Ⅱ：有监督学习 2、作为有效条件的有监督学习 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激，例如，一个生物 体学会了一刺激响应对： S R → ，那么在条件刺激 S 中加一个条件 B 进行学习，即： ( & ) ( ) B S R B S R → → → 或 这样不断强化刺激，直到输入 B 时反应为 R。这样就 有： B R → 也就是学会了一条规则。这样的例子如 巴普洛夫条件反射试验
第五章突触动力学Ⅱ：有监督学习 3、用已知的类隶属度作为随机模式学习的有监督学习 模式：定义为模式空间R”的一个点； 时变模式：空间R”中的一条轨迹线： 映射x:[O,T]>R”定义了从时间区间[0，T]到模式 空间R”中单点的映射。 概率密度(x)为模式x在R”中的分布的一种描述 模式类：为空间R”的子集 现在的任务是用已知的样本x(1),x(2)·及模式类， 估计p(x)
第五章 突触动力学Ⅱ：有监督学习 3、用已知的类隶属度作为随机模式学习的有监督学习 模式：定义为模式空间 的一个点； n R 时变模式：空间 n R 中的一条轨迹线； 映射 :[0, ] n x T R → 定义了从时间区间 [0, ] T 到模式 空间 n R 中单点的映射。 概率密度 p x( ) 为模式 x 在 n R 中的分布的一种描述 模式类：为空间 n R 的子集 现在的任务是用已知的样本 x x (1), (2) 及模式类， 估计 p x( )
第五章突触动力学Ⅱ：有监督学习 定义I,:R”→{0,1}是集合S的指示函数： () 1 x∈S xeS 指示函数指出了模式x的类隶属度。如果S是将R” 映射到[0,1]而不是{0,1}，那么S就是一个连续的 或者说多值的（模糊的）集合，即模式x以不同的程 度隶属于不同的类。 假设将模式样本空间R”分为k个不相交的子集： R”=DUD2UDk且D,∩D,=Φ如果i≠j
第五章 突触动力学Ⅱ：有监督学习 定义 : {0,1} n s I R → 是集合 S 的指示函数： 1 ( ) 0 s x S I x x S = 指示函数指出了模式 x 的类隶属度。如果 S 是将 n R 映射到 [0,1] 而不是 {0,1} ，那么 S 就是一个连续的 或者说多值的（模糊的）集合，即模式 x 以不同的程 度隶属于不同的类。 假设将模式样本空间 n R 分为 k 个不相交的子集： 1 2 n R D D D D D i j = = k i j 且 如果
第五章突触动力学Ⅱ：有监督学习 则类概率密度为： P(D,)=5 p(x)dx=ELIo1 E为求期望值，且有： P(D)=1 i=1 有监督和无监督模式学习的区别依赖于已有的信息以 及学习系统如何利用它。在两种情况下系统都不知道(x) 如果知道确定的类，并且学习系统利用了这些信息，那 么模式学习就是监督学习。如果不知道或没用类隶属度 (指示函数)，则模式学习就是非监督的
第五章 突触动力学Ⅱ：有监督学习 则类概率密度为： ( ) ( ) [ ] i i i D D P D p x dx E I = = E 为求期望值，且有： 1 ( ) 1 k i i P D = = 有监督和无监督模式学习的区别依赖于已有的信息以 及学习系统如何利用它。在两种情况下系统都不知道 p x( ) 如果知道确定的类，并且学习系统利用了这些信息，那 么模式学习就是监督学习。如果不知道或没用类隶属度 （指示函数），则模式学习就是非监督的