几何间隔 对于给定的训练数据集T和超平面(w,b),定义超平面 (w,b)关于样本点(x,)的几何间隔为： %= + ·几何间隔是实例点到超平面的带符号的距离signed distance。 ·当实例点被超平面正确分类，就它是到超平面的距离。 15/154
几何间隔 对于给定的训练数据集 T 和超平面 (w, b) ，定义超平面 (w, b) 关于样本点 (xi , yi) 的几何间隔为： γi = yi w kwk · xi + b kwk ▶ 几何间隔是实例点到超平面的带符号的距离signed distance。 ▶ 当实例点被超平面正确分类，就它是到超平面的距离。 15 / 154
·超平面(w,b)关于训练数据集T的几何间隔为： Y=.mn、Yi i=1,.,N ·函数间隔和几何间隔的关系： ·如果w‖=1，那么函数间隔和几何间隔相等。如果超 平面参数w和b成比例的改变（超平面没有改变），函数 间隔也按此比例改变，而几何间隔不变。 16/154
▶ 超平面 (w, b) 关于训练数据集 T 的几何间隔为： γ = min i=1,...,N γi ▶ 函数间隔和几何间隔的关系： γi = γˆi kwk γ = γˆ kwk ▶ 如果 kwk = 1 ，那么函数间隔和几何间隔相等。如果超 平面参数 w 和 b 成比例的改变（超平面没有改变），函数 间隔也按此比例改变，而几何间隔不变。 16 / 154
几何间隔最大化 ·对线性可分的训练数据集而言，线性可分分离超平面有 无穷多个（等价于感知机）。 ·几何间隔最大的分离超平面是唯一的。这里的间隔最大 化又称为硬间隔最大化（与将要讨论的训练数据集近似线 性可分时的软间隔最大化相对应)。 ·间隔最大化的直观解释是：对训练数据集找到几何间隔 最大的超平面意味着以充分大的确信度对训练数据进行分 类。 也就是说，不仅将正负实例点分开，而且对最难分的实例 点（离超平面最近的点）也有足够大的确信度将它们分开。 这样的超平面应该对未知的新实例有很好的分类预测能力 17/154
几何间隔最大化 ▶ 对线性可分的训练数据集而言，线性可分分离超平面有 无穷多个（等价于感知机)。 ▶ 几何间隔最大的分离超平面是唯一的。这里的间隔最大 化又称为硬间隔最大化（与将要讨论的训练数据集近似线 性可分时的软间隔最大化相对应)。 ▶ 间隔最大化的直观解释是：对训练数据集找到几何间隔 最大的超平面意味着以充分大的确信度对训练数据进行分 类。 也就是说，不仅将正负实例点分开，而且对最难分的实例 点（离超平面最近的点）也有足够大的确信度将它们分开。 这样的超平面应该对未知的新实例有很好的分类预测能力. 17 / 154
几何间隔最大的分离超平面，即最大间隔分离超平面， 可表示为一下约束最优化问题： max w.b s.t. yi( + ≥Y,i=1,2,.,N ·根据几何间隔和函数间隔的关系式有： max w,b S.t. y(w·x+b)≥Y,i=1,2,..,W 函数间隔的取值并不影响最优化问题的解。假设将w和 b按比例改变为λw和入b,这时函数间隔成为入。函 数间隔的这一改变，对上面最优化问题的(1)不等式约束 没有影响，对(2)目标函数的优化也没有影响，也就是说， 它产生一个等价的最优化问题。这样，就可以取=1。 18/154
▶ 几何间隔最大的分离超平面，即最大间隔分离超平面， 可表示为一下约束最优化问题： max w, b γ s.t. yi w kwk · xi + b kwk ≥ γ, i = 1, 2, . . . , N ▶ 根据几何间隔和函数间隔的关系式有： max w, b γˆ kwk s.t. yi(w · xi + b) ≥ γ, ˆ i = 1, 2, . . . , N ▶ 函数间隔的取值并不影响最优化问题的解。假设将 w 和 b 按比例改变为 λw 和 λb ，这时函数间隔成为 λγˆ 。函 数间隔的这一改变，对上面最优化问题的（1）不等式约束 没有影响，对（2）目标函数的优化也没有影响，也就是说， 它产生一个等价的最优化问题。这样，就可以取 γˆ = 1 。 18 / 154
5.2.3.线性可分SVM学习的原始最优化问题 ·线性可分SVM学习的最优化问题： min2w s1.(w…x+b)-1≥0，i=1,2,,N 注意： P这是一个凸二次规划(convex quadratic programming)问 题，属于凸优化问题。 19/154
5.2.3. 线性可分 SVM 学习的原始最优化问题 ▶ 线性可分 SVM 学习的最优化问题： min w, b 1 2 kwk 2 s.t. yi(w · xi + b) − 1 ≥ 0, i = 1, 2, . . . , N 注意： max w, b 1 kwk ⇔ min w, b 1 2 kwk 2 ▶ 这是一个凸二次规划 (convex quadratic programming) 问 题，属于凸优化问题。 19 / 154