第七章量子支持向量机 支持向量机(support vector ●Class+1 ●Class-1 mach i ne,.SVM),在传统机器学习 O Missclassified 算法中,是一种重要的监督类线性 分类算法,其思想是通过寻找最大 间隔分类超平面进行分类。 Support Vector Machine(SVM)
第七章 量子支持向量机 支持向量机(support vector machine, SVM),在传统机器学习 算法中,是一种重要的监督类线性 分类算法,其思想是通过寻找最大 间隔分类超平面进行分类
SVM被提出于1963年,在二十世纪90年代后得到快速发展 并衍生出一系列改进和扩展算法,包括多分类SVM、最小二 乘SVM(Least-Square SVM,LS-SVM)、支持向量回归 (Support Vector Regression,SVR)、支持向量聚类 support vector clustering)、半监督SVM(semi- supervised SVM,S3VM)[8] 等,在人像识别(face recognition)、文本分类(text categorization)等模式 识别(pattern recognition)问题中有广泛应用
SVM被提出于1963年,在二十世纪90年代后得到快速发展 并衍生出一系列改进和扩展算法,包括多分类SVM 、最小二 乘 SVM(Least-Square SVM, LS-SVM ) 、 支 持 向 量 回 归 ( Support Vector Regression, SVR)、 支 持 向 量 聚 类 ( support vector clustering)、 半 监 督 SVM(semisupervised SVM, S3VM)[8] 等 , 在 人像识别 ( face recognition)、文本分类(text categorization)等模式 识别(pattern recognition)问题中有广泛应用
y 寻找最大间隔超平面问题可等价于式 w·X+b=1 w·x+b=0 m向3w明 w·x+b=-1 6 60 上式中w是超平面的法向量,b是偏置,x,为第i 个训练样本,t,∈{-1,1为该训练样本的标签, wt,(w(x)+b)为样本点到超平面的距离。若 分类正确,则t(w(x)+b)>0,否则 (w(x)+b)<0
寻找最大间隔超平面问题可等价于式
其中,最接近分类超平面的样本点X:,这些点也称 为支持向量。针对于这些支持向量,需要寻找一个超 平面,使得这些支持向量到该超平面的距离最大。通 过超平面的尺度变换可将问题转化为式 argmin s.ttn(w(x)+b)≥1 在数学里面s.t.是subject to的缩写,受约束的意思
其中,最接近分类超平面的样本点 ,这些点也称 为支持向量。针对于这些支持向量,需要寻找一个超 平面,使得这些支持向量到该超平面的距离最大。通 过超平面的尺度变换可将问题转化为式 在数学里面s.t.是subject to 的缩写,受约束的意思
寻找距超平面距离最大的支持向量,即一个优化求解问题,故 而可通过Langrangian方法解决。通常引入核方法,将线性不可分 的低维特征(飞,x)变换成线性可分的高维特征飞(x,),再对高位 特征进行分类,特征空间映射示意如图所示。 Input space Feature space SVM特征空间映射示意图
寻找距超平面距离最大的支持向量,即一个优化求解问题,故 而可通过 Langrangian 方法解决。通常引入核方法,将线性不可分 的低维特征 变换成线性可分的高维特征 ,再对高位 特征进行分类,特征空间映射示意如图所示