Linear Classifiers g yest ·denotes+1 。 denotes-1 How would you classify this data? 5/154
Linear Classifiers 5 / 154
Linear Classifiers X g yest ·denotes+1 。 denotes-1 How would you classify this data? 6/154
Linear Classifiers 6 / 154
Linear Classifiers g yest ·denotes+1 。denotes-1 Any of these would be fine.. ..but which is best? 7/154
Linear Classifiers 7 / 154
5.2.线性可分SVM 5.2.1.SVM的种类 ·数据集的线性可分性:给定一个数据集 T={(x1,h),(x2,2,,(xw,w)}, 其中x∈X=R”,y∈y={+1,-1},i=1,2,.,N,如 果存在某个超平面S w·x+b=0 能够将数据集的正实例点和负实例点完全正确地划分到超 平面的两侧,即 ·对所有片=+1的实例i有w·x+b>0, 。对所有片=-1的实例i有w·x+b<0, 则称数据集T为线性可分数据集(linearly separable dataset);否则,称T为线性不可分数据集。 8/154
5.2. 线性可分 SVM 5.2.1. SVM 的种类 ▶ 数据集的线性可分性:给定一个数据集 T = {(x1, y1),(x2, y2), . . . ,(xN, yN)}, 其中 xi ∈ X = R n , yi ∈ Y = {+1, −1}, i = 1, 2, . . . , N,如 果存在某个超平面 S w · x + b = 0 能够将数据集的正实例点和负实例点完全正确地划分到超 平面的两侧,即 对所有 yi = +1 的实例 i 有 w · xi + b > 0, 对所有 yi = −1 的实例 i 有 w · xi + b < 0, 则称数据集 T 为线性可分数据集(linearly separable dataset);否则,称 T 为线性不可分数据集。 8 / 154
线性分类器 ·学习的目标是在特征空间中找到一个分离超平面,能将 实例分到不同的类。分离超平面对应于方程 w·x+b=0 ·法向量W和截距b决定,分离超平面将特征空间划分 为两部分。法向量指向的一侧为正类,另一侧为负类。 ·例如,分离超平面对应于方程w·x+b=0,它由法向量 w和截距b决定。考虑同一分离平面不同的法向量: 1.w1=(1,1)T,b=0 2.w2=-w1=(-1,-1)T,b=0 w1和w2所表示的分离超平面的正、负类位置正好相反。 9/154
线性分类器 ▶ 学习的目标是在特征空间中找到一个分离超平面,能将 实例分到不同的类。分离超平面对应于方程 w · x + b = 0, ▶ 法向量 w 和截距 b 决定,分离超平面将特征空间划分 为两部分。法向量指向的一侧为正类,另一侧为负类。 ▶ 例如,分离超平面对应于方程 w · x + b = 0,它由法向量 w 和截距 b 决定。考虑同一分离平面不同的法向量: 1. w1 = (1, 1)T , b = 0 2. w2 = −w1 = (−1, −1)T , b = 0 w1 和 w2 所表示的分离超平面的正、负类位置正好相反。 9 / 154