第二章:模型评估 与选择
第二章：模型评估 与选择
大纲 口经验误差与过拟合 口评估方法 口性能度量 口比较检验 口偏差与方 口阅读材料
大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 阅读材料
经验误差与过拟合 口错误率&误差 ●错误率:错分样本的占比:E=a/m ●误差:样本真实输出与预测输出之间的差异 训练(经验)误差:训练集上 测试误差:测试集 泛化误差:除训练集外所有样本 由于事先并不知道新样本的特征,我们只能努力使经验 误差最小化; 很多时候虽然能在训练集上做到分类错误率为零,但多 数情况下这样的学习器并不好
经验误差与过拟合 错误率&误差： ⚫ 错误率: 错分样本的占比： ⚫ 误差：样本真实输出与预测输出之间的差异 ⚫ 训练(经验)误差：训练集上 ⚫ 测试误差：测试集 ⚫ 泛化误差：除训练集外所有样本 由于事先并不知道新样本的特征，我们只能努力使经验 误差最小化； 很多时候虽然能在训练集上做到分类错误率为零，但多 数情况下这样的学习器并不好
经验误差与过拟合 口过拟合: 学习器把训练样本学习的“太好”,将训练样本本身的特点 当做所有样本的一般性质,导致泛化性能下降 优化目标加正则项 early stop 口欠拟合 对训练样本的一般性质尚未学好 ●决策树:拓展分支 ●神经网络:增加训练轮数
经验误差与过拟合 过拟合: 学习器把训练样本学习的“太好”，将训练样本本身的特点 当做所有样本的一般性质，导致泛化性能下降 ⚫ 优化目标加正则项 ⚫ early stop 欠拟合： 对训练样本的一般性质尚未学好 ⚫ 决策树:拓展分支 ⚫ 神经网络:增加训练轮数
经验误差与过拟合 过拟合模型分类结果: →不是树叶 树叶训练样本 (误以为树叶必须有锯齿) 新样本 欠拟合模型分类结果: →是树叶 (误以为绿色的都是树叶) 过拟合、欠拟合的直观类比 苯都紧自堂习器把训练样本本身特点当做所有潜在样 具有的一般性质 欠拟合:训练样本的一般性质尚未被学习器学好
经验误差与过拟合 过拟合：学习器把训练样本本身特点当做所有潜在样 本都会具有的一般性质. 欠拟合：训练样本的一般性质尚未被学习器学好