评估方法 通常将包m个样本的数据集D={(c1,1),(x2,2),,(cm,ym)} 拆分成训练集S和测试集T: 在s上训练出模型后，用T来评估其测试误差，作为对泛化误 差的估计。 ▣留出法(hold-out): 直接将数据集划分为两个互斥集合 划分要尽可能保持数据分布的一致性（例如：分层采样） 一般若干次随机划分、重复实验取平均值 测试集不能太大、不能太小；训练/测试样本比例通常 为2：1~4：1 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 评估方法 o 留出法(hold-out)： n 直接将数据集划分为两个互斥集合 n 划分要尽可能保持数据分布的一致性(例如：分层采样) n 一般若干次随机划分、重复实验取平均值 n 测试集不能太大、不能太小；训练/测试样本比例通常 为2:1~4:1 通常将包含 个样本的数据集 拆分成训练集 和测试集 ： 在S上训练出模型后，用T来评估其测试误差，作为对泛化误 差的估计
评估方法 ▣交叉验证法(k-fold cross validation): 将数据集分层采样划分为k个大小相似的互斥子集，每 次用k-1个子集的并集作为训练集，余下的子集作为测 试集，最终返回k个测试结果的均值，k最常用的取值是 10 D D1 D2 Ds Da Ds De D7 Ds Do D1o 训练集 测试集 D1 D2 Ds D4 Ds Do D7 Ds Do D10 测试结果1 测试结果2 平均返回 结果 D2 D3 D4 Ds Do Di Ds D9 D10 测试结果10 10折交叉验证示意图 电子科技大学研究生《机器学习》课程
电子科技大学研究生《机器学习》课程 评估方法 o 交叉验证法(k-fold cross validation)： 将数据集分层采样划分为k个大小相似的互斥子集，每 次用k-1个子集的并集作为训练集，余下的子集作为测 试集，最终返回k个测试结果的均值，k最常用的取值是 10
评估方法 与留出法类似，将数据集D划分为k个子集同样存在多种划分方式， 套款不是痰要变潮 值，例如常见的“10次10折交叉验证 假设数据集D包含m个样本，若外=m，则得到留一洁(Leave- One-Out,LOO): 不受随机样本分方式的影响 结果往往比较准确 当数据集比较大时，计算开销难以忍受 我们希望评估的是用全部数据训练出的模型，而留出法和交叉验证法中，都只 部分样本，这必然会引入一些偏差。 电子科技大学研究生《机器学习》 课程
电子科技大学研究生《机器学习》课程 评估方法 与留出法类似，将数据集D划分为k个子集同样存在多种划分方式， 为了减小因样本划分不同而引入的差别，k折交叉验证通常随机使用 不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均 值，例如常见的“10次10折交叉验证” 假设数据集D包含m个样本，若令 ，则得到留一法(Leave- One-Out, LOO)： l 不受随机样本划分方式的影响 l 结果往往比较准确 l 当数据集比较大时，计算开销难以忍受 我们希望评估的是用全部数据训练出的模型，而留出法和交叉验证法中，都只用了一 部分样本，这必然会引入一些偏差