过拟合(overfitting)VS.欠拟合(underfitting) How Overfitting affects Prediction Underfitting Overfitting Predictive Error Error on Test Data Error on Training Data Model Complexity Ideal Range for Model Complexity
(overfitting) vs. (underfitting)
模型选择(model selection) 三个关键问题： ▣如何获得测试结果？ 〉 评估方法 ▣如何评估性能优劣？ 〉 性能度量 ▣如何判断实质差别？ 比较检验
" (model selection) $%&: p p p # !'
评估方法 关键：怎么获得“测试集”(test set))? 测试集应该与训练集“互斥” 测试集不应出现在训练集中！ 常见方法： ▣留出法(hold-out) 口交叉验证法(cross validation) ▣自助法(bootstrap)
!(test set) ! ! p (hold-out) p " (cross validation) p (bootstrap)
留出法 拥有的数据集 训练集 测试集 通常将包含m个样本的数据集D={(c1,1),(c2,2),.,(xm,ym)} 拆分成训练集S和测试集T(互斥)： 保持数据类别比例！ 注意： >保持数据分布一致性，例如：分层采样stratified sampling >多次重复划分（例如：100次随机划分）-单次结果不稳定」 >测试集（比例）不能太大(why？)、不能太小（例如：1/5w1/3)
1. &*2)(; /% Ø ')(#5$ : "8,, )( Ø -9 ( : 100-:+)-- ! Ø 07;4 4 ! ( 1/5~1/3) 63; 07; ()
k-折交叉验证法(k-fold cross validation) 若k=m,则得到“留一法” D (leave-one-out,LOO) 不受随机样本划分方式的 D1 D2 Ds D Ds Do D:Ds Do D1o 影响，结果往往比较准确： 训练集 测试集 当数据集比较大时，计算 D D2 Ds Da Ds Di D:Ds D10 测试结果1 开销难以忍受。 D1 D2 D3 D Ds D6 Di Ds D1o 测试结果2 平均返回 结果 D2 D3 Da Ds Do D:Ds Do D1o 测试结果10 图2.2 10折交又验证示意图 将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子 集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结 果的均值，k最常用的取值是10. k折交叉验证通常随机使用不同的划分重复p次，最终的评估结果是这p 次k折交叉验证结果的均值，例如常见的“10次10折交叉验证
k- ( ( - ) k = m (leave-one-out, LOO) • "/.T$O8 k #?> 0!T:9= k-1 ! T>&T GBT>!T <JT4CL k <JD 7> k 4%=>310. • k- UHN%R6=>P p94C>I D73Mp 9k- UHD7> %E>10910- UH R6851(> *,D7++;K@ )/.T;K 2FA 'QS ,