训练过程就是对已知类别的样本集求解权向量w, 这是一个线性联立不等式方程组求解的过程 求解时: ①只有对线性可分的问题,g(x)=WX才有解 ②联立方程的解是非单值,在不同条件下,有不 同的解,所以就产生了求最优解的问题 ③求解W的过程就是训练的过程。训练方法的共 同点是,先给出准则函数,再寻找使准则函数 趋于极值的优化算法,不同的算法有不同的准 则函数。算法可以分为迭代法和非迭代法
训练过程就是对已知类别的样本集求解权向量w， 这是一个线性联立不等式方程组求解的过程。 求解时： ① 只有对线性可分的问题，g(x) =WTX才有解 ② 联立方程的解是非单值，在不同条件下，有不 同的解，所以就产生了求最优解的问题 ③ 求解W的过程就是训练的过程。训练方法的共 同点是，先给出准则函数，再寻找使准则函数 趋于极值的优化算法，不同的算法有不同的准 则函数。算法可以分为迭代法和非迭代法
梯度下降法一迭代法 欲对不等式方程组WX>0求解,首先定义准则函数(目 标函数J(,再求J(W的极值使W优化。因此求解权 向量的问题就转化为对一标量函数求极值的问题。解决 此类问题的方法是梯度下降法。 方法就是从起始值W1开始,算出W处目标函数的梯度 矢量VJ(W1),则下一步的W值为 2W1P,VJ(W) W为起始权向量 p1为迭代步长 J(W1为目标函数 VJ(W1)为W1处的目标函数的梯度矢量
一 梯度下降法—迭代法 欲对不等式方程组WTX>0求解，首先定义准则函数(目 标函数)J(W)，再求J(W)的极值使W优化。因此求解权 向量的问题就转化为对一标量函数求极值的问题。解决 此类问题的方法是梯度下降法。 方法就是从起始值W1开始，算出W1处目标函数的梯度 矢量▽J(W1 )，则下一步的w值为： W2 = W1 -ρ1▽J(W1 ) W1为起始权向量 ρ1为迭代步长 J(W1 ) 为目标函数 ▽J(W1 )为W1处的目标函数的梯度矢量
在第K步的时候 KVJ( pk为正比例因子 这就是梯度下降法的迭代公式。这样一步步迭代 就可以收敛于解矢量,ρ取值很重要 ρk太大,迭代太快,引起振荡,甚至发散。 pk太小,迭代太慢。 应该选最佳pk
在第K步的时候 Wk+1 = Wk -ρk▽J(Wk ) ρk为正比例因子 这就是梯度下降法的迭代公式。这样一步步迭代 就可以收敛于解矢量，ρk取值很重要 ρk太大，迭代太快，引起振荡，甚至发散。 ρk太小，迭代太慢。 应该选最佳ρk
选最佳pk 日标函数J(W)二阶台劳级数展开式为 J(W)≈J(W)VJ(WWA+ W-Wk)D(W-W2① 其中D为当W=W时J(W)的二阶偏导数矩阵 将W=Wx1=Wkp列J代入①式得: J( Wk+)=J(WK)-PKllVJ112+ 9K2VJ DVJ 其中VJ=VJ(W 对p求导数,并令导数为零有 最佳步长为pk=YV‖/JDVJ 这就是最佳p的计算公式,但因二阶偏导数矩阵D的计算 量太大,因此此公式很少用
选最佳ρk 目标函数J(W)二阶台劳级数展开式为 J(W)≈J(Wk )+ ▽J T (W- Wk )+(W- Wk ) TD(W- Wk ) T /2 ① 其中D为当W = Wk时 J(W)的二阶偏导数矩阵 将W=Wk+1 = Wk -ρk▽J(Wk )代入①式得： J(Wk+1 ) ≈J(Wk )- ρk ||▽J||2+ ρk 2▽J T D▽J 其中▽J=▽J(Wk ) 对ρk求导数 ，并令导数为零有 最佳步长为ρk=||▽J||2 /▽J TD▽J 这就是最佳ρk的计算公式，但因二阶偏导数矩阵D的计算 量太大，因此此公式很少用。 2 1
若令W=W1上式为 (Wk+1)=J(N)+J(Wk+W)+(Nk+1WDk+1W2 对W1求导,并令导数为零可得: 最佳迭代公式:W+=WD1VJ一牛顿法的迭代公式 D1是D的逆阵 寸论:牛顿法比梯度法收敛的更快,但是D的计算量大并 且要计算D1。当D为奇异时,无法用牛顿法
若令W=Wk+1上式为 J(Wk+1 )=J(Wk )+▽J T (Wk+1 -Wk )+(Wk+1 -Wk ) TD(Wk+1 -Wk ) T /2 对Wk+1求导，并令导数为零可得： 最佳迭代公式：Wk+1 = Wk - D-1▽J —牛顿法的迭代公式 D-1是D的逆阵 讨论：牛顿法比梯度法收敛的更快，但是D的计算量大并 且要计算D-1 。当D为奇异时，无法用牛顿法