目录 IX 习题 8 参考文献. .58 第4章朴素贝叶斯法。 .9 4.1朴素贝叶斯法的学习与分类 59 4.1.1基本方法… 4.1.2后验概率最大化的含义 4.2朴素贝叶斯法的参数估计 62 4.2.1极大似然估计…62 4.2.2学习与分类算法 .62 4.2.3贝叶斯估计. .64 本章概要. 66 继续阅读… 6 习题… 。。 66 参考文献… ·66 第5章决策树.… .67 5.1决策树模型与学习 6 5.1.1决策树模型. 6阶 5.1.2决策树与if-then规则. 68 5.1.3决策树与条件概率分布… 68 5.1.4决策树学习 69 5.2特征选择… 5.2.1特征选择问题 5.2.2信息增益… 72 5.2.3信息增益比 76 5.3决策树的生成… 5.3.1D3算法 ·76 5.3.2C4.5的生成算法 78 5.4决策树的剪枝… ·78 5.5CART算法 80 5.5.1CART生成… …81 5.5.2CART剪枝
统计学习方法（第2版） 本章概要… .87 继续阅读… .88 习题 89 参考文献… …89 第6章逻辑斯谛回归与最大熵模型。 .91 6.1逻辑斯谛回归模型. 91 6.1.1逻辑斯谛分布… 6.1.2二项逻辑斯谛回归模型… 92 6.1.3模型参数估计… 6.1.4多项逻辑斯谛回归 … 94 6.2最大熵模型 94 6.2.1最大嫡原理. 94 6.2.2最大熵模型的定义 96 6.2.3最大熵模型的学习… 6.2.4极大似然估计。 …102 6.3模型学习的最优化算法 .103 6.3.1改进的迭代尺度法 …103 6.3.2拟件顿法 …107 本章概要 …108 继续阅读… 109 习题 .109 参考文献… .10g 第7章支持向量机 .111 71线性可分支持向量机与硬间隔最大化 …112 7.1.1线性可分支持向量机 .112 7.1.2函数间隔和几何间隔 113 7.1.3间隔最大化… .115 7.1.4学习的对偶算法 …120 7.2线性支持向量机与软间隔最大化… …125 7.2.1线性支持向量机 …125 7.2.2学习的对偶算法. .127
目录 7.2.3支持向量 .130 7.2.4合页损失函数 …131 7.3非线性支持向量机与核函数 .133 7.3.1核技巧 .133 7.3.2正定核 .136 7.3.3常用核函数 …140 7.3.4非线性支持向量分类机 141 7.4序列最小最优化算法。 142 7.4.1两个变量二次规划的求解方法 …143 7.4.2变量的选择方法 147 7.4.3SM0算法149 本章概要 149 继续阅读 0小 .152 习题 152 参考文献 153 第8章提升方法 155 8.1提升方法AdaB00st算法155 8.1.1提升方法的基本思路 .155 8.1.2 AdaBoost算法 .156 8.1.3 AdaBoost的例子 .158 8.2 AdaBoost算法的训练误差分析 .160 8.3 AdaBoost算法的解释 .162 8.3.1前向分步算法 .162 8.3.2前向分步算法与AdaBoost .164 8.4提升树 .166 8.4.1提升树模型 .166 8.4.2提升树算法 .166 8.43 梯度提升… … .170 本章概要 .172 继续阅读 .172 习题 …173 参考文献173
XII 统计学习方法（第2版） 第9章EM算法及其推广 175 9.1EM算法的引入 ..175 9.1.1EM算法 175 9.1.2EM算法的导出…179 9.1.3EM算法在无监督学习中的应用.181 9.2EM算法的收敛性 .181 9.3EM算法在高斯混合模型学习中的应用 .183 9.3.1高斯混合模型… .183 9.3.2高斯混合模型参数估计的EM算法…183 9.4EM算法的推广。 …187 9.4.1F函数的极大-极大算法 .187 9.4.2GEM算法 .189 本章概要 191 继续阅读。 .192 习题… .192 参考文献 .192 第10章隐马尔可夫模型. .193 10.1隐马尔可夫模型的基木概念193 10.1.1隐马尔可夫模型的定义 .193 10.1.2观测序列的生成过程 …196 10.1.3隐马尔可夫模型的3个基本问题 .1 .196 10.2概率计算算法 197 10.2.1直接计算法 .197 10.2.2前向算法 .198 10.2.3后向算法 .201 10.2.4一些概率与期望值的计算202 10.3学习算法 203 10.3.1监督学习方法 .203 10.3.2Baum-Welch算法… .204 10.3.3Baum-Welch模型参数估计公式 .206 10.4预测算法. .207 10.4.1近似算法.… .208 10.4.2维特比算法. .208
目录 XIII 本章概要 .212 继续阅读 .212 习题 213 参考文献 …213 第11章条件随机场… .215 11.1概率无向图模型 …215 11.1.1模型定义 …215 11.1.2概率无向图模型的因子分解 …217 11.2条件随机场的定义与形式… …218 11.2.1条件随机场的定义… .218 11.2.2条件随机场的参数化形式.。 …220 11.2.3条件随机场的简化形式 221 11.2.4条件随机场的矩阵形式 223 11.3条件随机场的概率计算问题 224 11.3.1前向-后向算法 …225 11.3.2概率计算 .225 11.3.3期望值的计算… .226 11.4条件随机场的学习算法… 227 11.4.1改进的迭代尺度法 .227 11.4.2拟牛顿法… …230 11.5条件随机场的预测算法 .231 本章概要 .235 继续阅读 .235 习题 .236 参考文献 .236 第12章监督学习方法总结237 第2无监督学习 第13章无监督学习概论.245 13.1无监督学习基本原理 …245 13.2基本问题246