电子科技大学研究生《机器学习》课程 第2讲模型评估与选择 Lecture2 Evaluation and Selection of Models 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronics and Science of China,Chengdu 611731 参考：《机器学习》周志华
电子科技大学研究生《机器学习》课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor 参考：《机器学习》周志华 第2讲 模型评估与选择 Lecture2 Evaluation and Selection of Models
回顾：典型的机器学习过程 更用字习算法(earing aigorithm 类别标记 训练数据 (label) 训练 模型 什么模型好 姓名 职业 年收入 华 好题客 张目 教丽 6万 快策柄，神经网络，支特向量机， 香 至四 公务员 7万 是 Boosting,贝叶斯网络 ? 王五 学生 2 + 否 手六 企业氢 15万 e+0 例如：错误率低、精度高.… 董士 漂灵 ?=是 13万 新数抵样本 教师 8万 是 (刘三，公务员，8万， 能很好地适用于 类别标记 unseen instance 未知 泛化能力强！ 然而，我们手上没有unseen instance,怎么办？ 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 什么模型好 ？ 能很好地适用于 unseen instance 例如：错误率低、精度高… 然而，我们手上没有unseen instance，怎么办? 泛化能力强！
模型选择(model selection) 三个关键问题： 口如何获得测试结果？ 评估方法 ▣如何评估性能优劣？ 性能度量 口如何判断实质差别？二→ 比较检验 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 模型选择(model selection) 三个关键问题： q 如何获得测试结果？ q 如何评估性能优劣？ q 如何判断实质差别？ 评估方法 性能度量 比较检验
本章标 口理解经验误差与过拟合 口了解常用的性能度量 口理解常用的比较检验 口掌握偏差与方差 口灵活运用评估方法
q 了解常用的性能度量 q 理解常用的比较检验 q 理解经验误差与过拟合 q 掌握偏差与方差 q 灵活运用评估方法
大纲 经验误差与过拟合 评估方法 性能度量 ▣ 比较检验 ▣ 偏差与方差 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 大纲 o 经验误差与过拟合 o 评估方法 o 性能度量 o 比较检验 o 偏差与方差