1 历史进程 2 预备知识 采用线性激活函数的神经元 采用阈值激活函数的神经元 采用 S 形激活函数的神经元 3 异或问题 4 多层感知机到底在做什么？ 5 Tilling（耕种，耕作）算法 6 可微激活函数函的多层感知机学习方法 误差 e 的表示 误差的反向传播 反向传播算法 计算例子

1 感知机存在的一个问题 2 线性可分 SVM SVM 的种类 函数间隔和几何间隔 学习的原始最优化问 题 凸优化问题 线性可分 SVM 学习算 法—最大间隔法 支持向量与间隔边界 拉格朗日对偶性 KKT 条件 线性可分 SVM 学习的 对偶算法 3 线性不可分 SVM 线性 SVM 学习的对偶 算法 线性 SVM 学习算法 线性不可分时的 SV 合页损失函数 4 非线性 SVM 与核函数 希尔伯特空间 核函数的定义 核函数的选取 核技巧在 SVM 中的应 用 非线性 SVM 算法 5 序列最小最优化算法 SMO 算法的基本思路 两变量二次规划的求 解方法 两个变量的选择方法

1 感知机的概念 2 感知机的学习策略 3 感知机学习算法 4 感知机学习算法的对偶形式

1 一个例子 2 最小二乘法 3 从线性到非线性：用线性模型 4 概率解释 最大似然估计 最大后验概率估计 正则化效果 5 偏置-方差困境 损失函数的第一步分解 损失函数的第二步分解 对多个数据集的简单总结

1 线性代数 符号和基础知识 矩阵乘法 运算性质 矩阵微分 2 概率论 概率空间 随机变量及其分布 随机变量的数字特征 条件期望

1 统计学习的定义 2 统计模式识别的应用案例 3 统计模式识别系统框架与设计周期 统计模式识别系统框架 统计模式识别设计周期 4 一个案例 5 基本概念 6 机器学习在人工智能中的位置

1 K-Means Clustering Algorithm 2 PageRank

1 Density Estimation 2 Histogram Method 3 Parzen Window 4 k-nearest neighbors 5 Summary of nonparametric models

1 Probability Density Estimation 2 Maximum Likelihood Estimation 3 MAP estimation 4 Bayesian estimation 5 Expectation maximization

1 Basic principle 2 Multiple classifier combination 3 Bagging 4 Boosting