经验误差与过拟合 口错误率&误差： 错误率：错分样本的占E=a/m 误差：样本真实输出与预测输出之间的差异 口训练（经验）误差：训练集上 口测试误差：测试集 口泛化误差： 除训练集外所有样本 冬泛化误差越小越好！ 由于事先并不知道新样本的特征，我门只能努力使经验误差最小 化； 冬经验误差是否越小越好？ Nol因为会出现“过拟合”(Overfitting) 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 经验误差与过拟合 o 错误率&误差： n 错误率: 错分样本的占比： n 误差：样本真实输出与预测输出之间的差异 p 训练(经验)误差：训练集上 p 测试误差：测试集 p 泛化误差：除训练集外所有样本 由于事先并不知道新样本的特征，我们只能努力使经验误差最小 化； v 泛化误差越小越好！ v 经验误差是否越小越好？ No! 因为会出现“过拟合”（Overfitting）
经验误差与过拟合 过拟合： 学习器把训练样本学习的“太好”，将训练样本本身的特点 当做所有 样本的一般性质，导致泛化性能下降 口优化目标加正则项 ▣ early stop 口欠拟合： 对训练样本的一般性质尚未学好 ▣决策树：拓展分支 ▣神经网络：增加训练轮数 过拟合是无法彻底避免的，我们只能缓解 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 经验误差与过拟合 o 过拟合: 学习器把训练样本学习的“太好” ，将训练样本本身的特点 当做所有 样本的一般性质，导致泛化性能下降 p 优化目标加正则项 p early stop o 欠拟合： 对训练样本的一般性质尚未学好 p 决策树:拓展分支 p 神经网络:增加训练轮数 过拟合是无法彻底避免的，我们只能缓解
经验误差与过拟合 过拟合模型分类结果： >不是树叶 树叶训练样本 (误以为树叶必须有锯齿) 新样本 欠拟合模型分类结果： >是树叶 (误以为绿色的都是树叶) 过拟合、欠拟合的直观类比 我门无法直接获得泛化误差，而训练误差又由于过 拟合的存在而不适合作为标准，那现实中如何进行 模型评估与选择呢？ 电子科技大学研究生《机器学习》 课程
电子科技大学研究生《机器学习》课程 经验误差与过拟合 我们无法直接获得泛化误差，而训练误差又由于过 拟合的存在而不适合作为标准，那现实中如何进行 模型评估与选择呢？
大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 大纲 o 经验误差与过拟合 o 评估方法 o 性能度量 o 比较检验 o 偏差与方差
评估方法 通过实险测试来对学习器的泛化误差进行评估并进而做出选 择 我们假设测试集是从样本真实分布中独立采样获得，将测试集 上的测试误差”作为泛化误差的近似，所以测试集要和训练 集中的样本尽量互斥。 关键：怎么获得“测试集”(test set)? 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 评估方法 通过实验测试来对学习器的泛化误差进行评估并进而做出选 择 我们假设测试集是从样本真实分布中独立采样获得，将测试集 上的“测试误差”作为泛化误差的近似，所以测试集要和训练 集中的样本尽量互斥。 关键：怎么获得“测试集”(test set)?