51感知机 ■感知机的学习算法: 训练数据:(x(1),y(1)、(x(2,y(2)…,(x(n),y(m) x()={+,x()2x2();…,x(t)},增广向量 +1x(t)∈O1 v(t) 1x(t)∈O2 ■权重: v()={1()w1(t),v2(t),…,w(t)}
5.1 感知机 感知机的学习算法： 训练数据： 权重： (x(1), y(1)),(x(2), y(2)),L,(x(n), y(n)) . 1 ( ) 1 ( ) ( ) ( ) { 1 ( ), ( ), , ( )}, 2 1 1 2 − ∈ + ∈ = = + ω ω x t x t y t x t x t x t x t ， L d 增广向量 ( ) { ( ), ( ), ( ), , ( )}. 0 1 2 w t w t w t w t w t = L d
51感知机 学习算法:是LMS算法 (1)初始化w(0)={0,0.…,0} (2)迭代 保持 (x(t)分对) y()(V(t-1)*x(1)>0 (t)= (t-1)+7y()x()y(t)(w(t-1)*x(1)≤0 更新 (x(t)分错) 控制收敛速度的参数
5.1 感知机 学习算法： （1）初始化 （2）迭代 是 w(0) = {0,0,L,0}. LMS算法 （ x(t)分对） 保持 . ( 1) ( ) ( ) ( )( ( 1) ( )) 0 ( 1) ( )( ( 1) ( )) 0 ( ) − + − ∗ ≤ − − ∗ > = w t y t x t y t w t x t w t y t w t x t w t η 更新 （ x(t) 分错） 控制收敛速度的参数
51感知机 学习算法收敛性: 对线性可分的数据有下面的定理 定理 (Novikoff):假设训练数据有界|x(≤D 两类样本的最大边界距离( maximal margin)为 2(线性SVM)。则当学习速度参数7=1时, 感知机学习算法至多做D次更新就会收敛
5.1 感知机 学习算法收敛性： 对线性可分的数据有下面的定理。 定理(Novikoff)：假设训练数据有界 ， 两类样本的最大边界距离(maximal margin)为 （线性SVM）。则当学习速度参数 时， 感知机学习算法至多做 次更新就会收敛。 x(i) ≤ D 2ρ η =1 22 ρD
51感知机 对应于线性判别函数 ■算法的问题: 对线性不可分的数据,算法不收敛! 个解决方案: 多层感知机,非线性分类器
5.1 感知机 对应于线性判别函数 算法的问题： 对线性不可分的数据，算法不收敛！ 一个解决方案： 多层感知机，非线性分类器
52多层感知机
5.2 多层感知机