统计学习理论及应用 第五讲 支持向量机 编写：文泉、陈娟 电子科技大学 计机科学与工程学院
统计学习理论及应用 第五讲 支持向量机 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院
目录 OKKT条件 O核函数的定义 感知机存在的一个问题 O线性可分SVM学习的 。核函数的选取 线性可分SVM 对偶算法 O核技巧在SVM中的应 OSVM的种类 线性不可分SVM 用 。函数间隔和几何间隔 O线性SVM学习的对偶 O非线性SVM算法 。学习的原始最优化问 算法 题 5 序列最小最优化算法 O线性SVM学习算法 。凸优化问题 OSMO算法的基本思路 O线性不可分时的SV O线性可分SVM学习算 ⊙两变量二次规划的求 Q合页损失函数 法一最大间隔法 解方法 。支持向量与间隔边界 非线性SVM与核函数 。两个变量的选择方法 ○拉格朗日对偶性 。希尔伯特空间 OSMO算法 1/154
目录 1 感知机存在的一个问题 2 线性可分 SVM SVM 的种类 函数间隔和几何间隔 学习的原始最优化问 题 凸优化问题 线性可分 SVM 学习算 法—最大间隔法 支持向量与间隔边界 拉格朗日对偶性 KKT 条件 线性可分 SVM 学习的 对偶算法 3 线性不可分 SVM 线性 SVM 学习的对偶 算法 线性 SVM 学习算法 线性不可分时的 SV 合页损失函数 4 非线性 SVM 与核函数 希尔伯特空间 核函数的定义 核函数的选取 核技巧在 SVM 中的应 用 非线性 SVM 算法 5 序列最小最优化算法 SMO 算法的基本思路 两变量二次规划的求 解方法 两个变量的选择方法 SMO 算法 1 / 154
知识点： 。支持向量机核心思想 ·凸优化的基本思想和概念 。支持向量机的公式推导 重点与难点： 。重点：支持向量机核心思想，凸优化的基本思想和概 念，支持向量机的公式推导。 。难点：KKT(Karush-Kuhn-Tucker)条件的理解和推导。 2/154
知识点： 支持向量机核心思想 凸优化的基本思想和概念 支持向量机的公式推导 重点与难点： 重点：支持向量机核心思想，凸优化的基本思想和概 念，支持向量机的公式推导。 难点：KKT（Karush-Kuhn-Tucker）条件的理解和推导。 2 / 154
5.1.感知机存在的一个问题 Linear Classifiers X g yest ·denotes+1 。denotes-1 How would you classify this data? 3/154
5.1. 感知机存在的一个问题 Linear Classifiers 3 / 154
Linear Classifiers g yest ·denotes+1 。 denotes-1 How would you classify this data？ 4/154
Linear Classifiers 4 / 154