SVM特性 小样本 与问题的复杂度比起来,SVM算法要求的样本 数是相对比较少的 非线性 SM擅长应付样本数据线性不可分的情况,主 要通过松弛变量和核函数技术来实现 高维模式识别 例如文本的向量表示,几万维,反例:KN
SVM特性 • 小样本 – 与问题的复杂度比起来，SVM算法要求的样本 数是相对比较少的 • 非线性 – SVM擅长应付样本数据线性不可分的情况，主 要通过松弛变量和核函数技术来实现 • 高维模式识别 – 例如文本的向量表示，几万维，反例: KNN 12
大纲 背景 线性分类 非线性分类 松弛变量 多元分类 应用 工具包
大纲 • 背景 • 线性分类 • 非线性分类 • 松弛变量 • 多元分类 • 应用 • 工具包 13
线性分类器 问题的引入 X和O是两类样本 中间的直线就是一个分类函数,它可以将两类 样本完全分开 Xx
线性分类器 • 问题的引入 – X和O是两类样本 – 中间的直线就是一个分类函数，它可以将两类 样本完全分开。 14
线性函数? 在一维空间里就是一个点 在二维空间里就是一条直线 在三维空间里就是一个平面 如果不关注空间的维数,这种线性函数还 有一个统一的名称一一超平面( Hyper p|ane)
线性函数？ • 在一维空间里就是一个点 • 在二维空间里就是一条直线 • 在三维空间里就是一个平面 • …… • 如果不关注空间的维数，这种线性函数还 有一个统一的名称——超平面(Hyper Plane) 15
线性函数→分类问题 例如我们有一个线性函数 g(x =WX+b 我们可以取阈值为0,这样当有一个样本x 需要判别的时候,我们就看g(x)的值。 若g(x)>0,就判别为类别o 若g(x)<0,则判别为类别Ⅹ T ips xX W、x、b均可以是向量 中间那条直线的表达式是g(x)=0,即Wx+b=0, 我们也把这个函数叫做分类面
线性函数→分类问题 • 例如我们有一个线性函数 – g(x)=wx+b • 我们可以取阈值为0，这样当有一个样本xi 需要判别的时候，我们就看g(xi )的值。 – 若g(xi )>0，就判别为类别O – 若g(xi )<0，则判别为类别X • Tips – w、x、b均可以是向量 – 中间那条直线的表达式是g(x)=0，即wx+b=0， 我们也把这个函数叫做分类面 16