常见的机器学习算法一、线性模型二、决策树给定由d个属性描述的示例x=（x1;x2;.；x），其中决策树（decisiontree)是一类常见的机器学习方法。x1是x在第个属性上的取值，线性模型（linear以二分类任务为例，希望从给定训练数据集学得一个model)试图学得一个通过属性的线性组合来进行预模型用以对新示例进行分类，这个把样本分类的任务测的函数，即：可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过程。f(x)=w1x1+w2x2+..+wdxd+ba输入：训练集D=((1,31)(2,2）..*(mm）)属性集A=(a1.a2...,ad]过程：函数TrecGenerate(DA)经典线性模型：1：生成结点node2:if D中样本全属于同一类别Cthen1.线性回归模型3：将node标记为C类叶结点；return4:end if5:ifA=ORD中样本在A上取值相同then6：将node标记为叶结点，其类别标记为D中样本数最多的类；return2.对数几率回归7:end if8:从A中选择最优划分属性a;9:fora,的每一个值ado为node生成一个分支：令D，表示D中在a.上取值为a的样本子集；10:11:ifD为空then3.线性判别分析12:将分支结点标记为叶结点，其类别标记为D中样本最多的类；return13;else14:以TreeGenerate(Du,A|(a.)为分支结点endif15;4.多分类学习16:end for输出：以node为根结点的一棵决策树
常见的机器学习算法 二、决策树 决策树 (decision tree) 是一类常见的机器学习方法。 以二分类任务为例，希望从给定训练数据集学得一个 模型用以对新示例进行分类，这个把样本分类的任务 ， 可看作对“当前样本属于正类吗?”这个问题的“决 策”或“判定”过程。 一、线性模型 给定由 𝑑个属性描述的示例𝑥 = (𝑥1; 𝑥2; .; 𝑥𝑑)，其中 𝑥1是 𝑥在第 𝑖个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预 测的函数，即： 𝑓(𝑥) = 𝜔1𝑥1 + 𝜔2𝑥2 + ⋯ + 𝜔𝑑𝑥𝑑 + 𝑏 经典线性模型： 1. 线性回归模型 2. 对数几率回归 3. 线性判别分析 4. 多分类学习 .
常见的机器学习算法三、SVM(SupportVectorMachines,SVM)四、贝叶斯分类器寻找到一个超平面使样本分成两类，并且间隔最大，贝叶斯决策论（Bayesiandecisiontheory）是概率框架SVM分类，就是找到一个平面，让两个分类集合的下实施决策的基本方法。支持向量或者所有的数据（LSSVM）离分类平面最在贝叶斯公式计算出后验概率的基础上，进一步做归属的决远；定——分类SVR回归，就是找到一个回归平面，让一个集合的所有数据到该平面的距离最近。朴素贝叶斯分类算法2a2wTa+b=1条件独立（conditionalindependence）l+当给定类时，假定属性A之间是独立的wTa+b=0P(A, Az, .. An |C) = P(A/ C) P(Az/ C).. P(An|/ C)wT+6=-1+SCanestimateP(A;C)forallAandCGNewpoint is classifiedtoGifP(C)OP(A/C)ismaximal.031
常见的机器学习算法 三、SVM（Support Vector Machines, SVM） 寻找到一个超平面使样本分成两类，并且间隔最大。 SVM分类，就是找到一个平面，让两个分类集合的 支持向量或者所有的数据（LSSVM）离分类平面最 远； SVR回归，就是找到一个回归平面，让一个集合的所 有数据到该平面的距离最近。 四、贝叶斯分类器 贝叶斯决策论 (Bayesian decision theory)是概率框架 下实施决策的基本方法。 在贝叶斯公式计算出后验概率的基础上，进一步做归属的决 定——分类 朴素贝叶斯分类算法 条件独立（conditional independence） 当给定类时，假定属性Ai 之间是独立的: • P(A1, A2, ., An |C) = P(A1| Cj) P(A2| Cj). P(An| Cj) • Can estimate P(Ai | Cj) for all Ai and Cj . • New point is classified to Cj if P(Cj) Õ P(Ai | Cj) ismaximal
常见的机器学习算法五、神经网络2.1959年，加拿大神经科学家DavidHubel和瑞典神经科学家1.人工神经网络的首次提出可以追溯到上世纪TorstenWiesel发现视觉神经系统中存在两种不同细胞，复杂细胞40年代，美国神经科学家WarrenMcCulloch和简单细胞，分别位于大脑的不同部位。受此启发，人们便在原和WalterPitts提出的神经逻辑计算模型来的神经网络中加入隐藏层以体现复杂细胞可以跨层次存在。(Neural LogicalCalculusModel)RSE请始入明DaB13.直到1984年，深度学习之父，杰弗里辛顿（GeoffreyHinton）等人将所谓的反向选代算法（Backpropagation）引入神经网络中，神经网络的研究方才再次步入正规。例如如今炙手可热的玻尔兹曼机、卷积和长短期记忆等，实际上在上世纪80-90年代就出现了。EuE+Ea
常见的机器学习算法 五、神经网络 1. 人工神经网络的首次提出可以追溯到上世纪 40 年代，美国神经科学家 Warren McCulloch 和 Walter Pitts 提出的神经逻辑计算模型 （Neural Logical CalculusModel）。 2. 1959 年，加拿大神经科学家 David Hubel 和瑞典神经科学家 TorstenWiesel发现视觉神经系统中存在两种不同细胞，复杂细胞 和简单细胞，分别位于大脑的不同部位。受此启发，人们便在原 来的神经网络中加入隐藏层以体现复杂细胞可以跨层次存在。 3. 直到 1984 年，深度学习之父，杰弗里·辛顿（Geoffrey Hinton）等人将所谓的反向迭代算法（Backpropagation） 引入神经网络中，神经网络的研究方才再次步入正规。例如 如今炙手可热的玻尔兹曼机 、卷积和长短期记忆等，实际 上在上世纪 80-90 年代就出现了
神经网络与其他算法SVM支持向量机的优点：SVM支持向量机的缺点：当观测样本很多时，效率并不是很高；可以解决高维问题，即大型特征空间：对非线性问题没有通用解决方案，有时候很难找解决小样本下机器学习问题到一个合适的核函数；能够处理非线性特征的相互作用对于核函数的高维映射解释力不强，尤其是径向基函数；无局部极小值问题：（相对于神经网络等算法）常规SVM只支持二分类：无需依赖整个数据；人工神经网络的优点：人工神经网络的缺点：分类的准确度高；·神经网络需要大量的参数，如网络拓扑结构、权值和间值的初始值；并行分布处理能力强，分布存储及学习能力强，黑盒过程，不能观察之间的学习过程，输出结果难?对噪声神经有较强的鲁棒性和容错能力：以解释，会影响到结果的可信度和可接受程度；具备联想记忆的功能，能充分逼近复杂的非线性关系：学习时间过长，有可能陷入局部极小值，甚至可能达不到学习的目的可处理批量巨大、多元复杂的数据，完成更复杂的任务
神经网络与其他算法 人工神经网络的缺点： •神经网络需要大量的参数，如网络拓扑结构、权值 和阈值的初始值； •黑盒过程，不能观察之间的学习过程，输出结果难 以解释，会影响到结果的可信度和可接受程度； •学习时间过长，有可能陷入局部极小值，甚至可能 达不到学习的目的。 人工神经网络的优点： •分类的准确度高； •并行分布处理能力强,分布存储及学习能力强， •对噪声神经有较强的鲁棒性和容错能力； •具备联想记忆的功能，能充分逼近复杂的非线性关系； •可处理批量巨大、多元复杂的数据，完成更复杂的任 务 SVM支持向量机的优点： • 可以解决高维问题，即大型特征空间； • 解决小样本下机器学习问题； • 能够处理非线性特征的相互作用； • 无局部极小值问题；（相对于神经网络等算法） • 无需依赖整个数据； SVM支持向量机的缺点： • 当观测样本很多时，效率并不是很高； • 对非线性问题没有通用解决方案，有时候很难找 到一个合适的核函数； • 对于核函数的高维映射解释力不强，尤其是径向 基函数； • 常规SVM只支持二分类；
庆道大学神经网络简介上海交通大学SHANGHAIJIAOTONGUNIVERSITY
神经网络简介