信息检索与数据挖掘 2019/4/22 1 信息检索与数据挖掘 第10章文本分类 part1:文本分类及朴素贝叶斯方法 part2:基于向量空间的文本分类 part3:支持向量机及机器学习方法
信息检索与数据挖掘 2019/4/22 1 信息检索与数据挖掘 第10章 文本分类 part1: 文本分类及朴素贝叶斯方法 part2: 基于向量空间的文本分类 part3: 支持向量机及机器学习方法
信息检索与数据挖掘 2019/4/223 本讲内容：支持向量机及机器学习方法 。支持向量机 近20年机器学习的研究产生了一 ·二元线性SVM 系列的高效分类器，如支持向量 机、提升式(boosted)决策树 、 ·SVM用于非线性分类 正则化logistic回归、神经网络和 ·机器学习方法 随机森林(random forest)等。 ·人工神经网络(Artificial Neural Network,ANN〉 ·深度学习(Deep Learning)现状 ·经典的深度学习模型/算法 ·卷积神经网络Convolutional Neural Networks(CNN ·多层反馈网络Recurrent neural Network(RNN) ·自动编码器AutoEncoder ·受限玻尔兹曼机Restricted Boltzmann Machine,RBM ·深度置信网络(Deep Belief Nets.,DBN)
信息检索与数据挖掘 2019/4/22 3 本讲内容：支持向量机及机器学习方法 • 支持向量机 • 二元线性SVM • SVM用于非线性分类 • 机器学习方法 • 人工神经网络（Artificial Neural Network, ANN） • 深度学习（Deep Learning）现状 • 经典的深度学习模型/算法 • 卷积神经网络 Convolutional Neural Networks (CNN) • 多层反馈网络 Recurrent neural Network(RNN) • 自动编码器 AutoEncoder • 受限玻尔兹曼机 Restricted Boltzmann Machine, RBM • 深度置信网络 (Deep Belief Nets，DBN） 近20 年机器学习的研究产生了一 系列的高效分类器，如支持向量 机、提升式（boosted）决策树、 正则化logistic回归、神经网络和 随机森林（random forest）等
信息检索与数据挖掘 2019/4/224 本讲内容：支持向量机及机器学习方法 。支持向量机 ·二元线性SVM ·SVM用于非线性分类 ·机器学习方法 ·人工神经网络(Artificial Neural Network,ANN) ·深度学习(Deep Learning)现状 ·经典的深度学习模型/算法 ·卷积神经网络Convolutional Neural Networks(CNN) ·多层反馈网络Recurrent neural Network(RNN) ·自动编码器AutoEncoder ·受限玻尔兹曼机Restricted Boltzmann Machine,RBM ·深度置信网络(Deep Belief Nets,DBN)
信息检索与数据挖掘 2019/4/22 4 本讲内容：支持向量机及机器学习方法 • 支持向量机 • 二元线性SVM • SVM用于非线性分类 • 机器学习方法 • 人工神经网络（Artificial Neural Network, ANN） • 深度学习（Deep Learning）现状 • 经典的深度学习模型/算法 • 卷积神经网络 Convolutional Neural Networks (CNN) • 多层反馈网络 Recurrent neural Network(RNN) • 自动编码器 AutoEncoder • 受限玻尔兹曼机 Restricted Boltzmann Machine, RBM • 深度置信网络 (Deep Belief Nets，DBN）
信息检索与数据挖掘 2019/4/225 用超平面来分割多维空间 A hyperplane is a set of the form {x alx=b),where a∈Rn,a≠0，andb∈R. A hyperplane divides Rn into two halfspaces.A (closed)halfspace is a set of the form {x aTx<b}, aTx≥b To aTx≤b aTx=b
信息检索与数据挖掘 2019/4/22 5 用超平面来分割多维空间 • A hyperplane is a set of the form {x | aTx = b}, where a ∈ Rn , a ≠ 0, and b ∈ R. • A hyperplane divides Rn into two halfspaces. A (closed) halfspace is a set of the form {x | aTx ≤ b}
信息检索与数据挖掘 2019/4/226 separating hyperplane theorem separating hyperplane theorem:Suppose C and D are two convex sets that do not intersect,i.e.,CD=0. Then there exist a0 and b such that ax b for all x ∈C and ax≥b for all x∈D. dist(C,D)=inf{lu-vll2|u∈C,v∈D} aTx≥b aTx≤b f(x)=aTx-b=(d-c)T(x-(1/2)(d+c) Source:Convex Optimization),Stephen Boyd Chapter 2 Convex sets
信息检索与数据挖掘 2019/4/22 6 separating hyperplane theorem • separating hyperplane theorem: Suppose C and D are two convex sets that do not intersect, i.e., C ∩ D = ∅. Then there exist a≠0 and b such that aTx ≤ b for all x ∈ C and aTx ≥ b for all x ∈ D. Source: 《Convex Optimization》,Stephen Boyd Chapter 2 Convex sets