样本错误率和真实错误率 定义:假设h关于目标函数f和数据样本S的样 本错误率(标记为eror(h) emor(h)=∑6((x,M(x) n=s 6(MD=(1f(x)≠x) 10 othenvise 定义:假设h关于目标函数f分布D的真实错 误率(标记为eroh)) error(h)=Pr[f(x)+h(x) 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 样本错误率和真实错误率 • 定义：假设h关于目标函数f和数据样本S的样 本错误率（标记为errors (h)） • 定义：假设h关于目标函数f和分布D的真实错 误率（标记为errorD(h)） = x S s f x h x n error h ( ( ), ( )) 1 ( ) = otherwise f x h x f x h x ( ) ( ) 0 1 ( ( ), ( )) n =| S | error (h) Pr[ f (x) h(x)] x D D =
样本错误率和真实错误率(2) 我们想知道的是假设的真实误差,因为 这是在分类未来样例时可以预料到的误 差 我们所能测量的只是样本错误率,因为 样本数据是我们知道的。 ·本节要考虑的问题是:样本错误率在何 种程度上提供了对真实错误率的估计? 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 样本错误率和真实错误率（2） • 我们想知道的是假设的真实误差，因为 这是在分类未来样例时可以预料到的误 差。 • 我们所能测量的只是样本错误率，因为 样本数据是我们知道的。 • 本节要考虑的问题是：样本错误率在何 种程度上提供了对真实错误率的估计？
离散值假设的置信区间 先考虑离散值假设的情况,比如: 样本S包含n个样例,它们的抽取按照概率分布D, 抽取过程是相互独立的,并且不依赖于假设h n>=30 假设h在这n个样例上犯了r个错误 根据上面的条件,统计理论可以给出以下断 没有其他信息的话,真实错误率 error(h)最可能的 值是样本错误率 cerrors((h)=rn 有大约95%的可能性,真实错误率处于下面的区间 内 error:(h)+1.96/errors(h)(I-errors(h) 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 离散值假设的置信区间 • 先考虑离散值假设的情况，比如： – 样本S包含n个样例，它们的抽取按照概率分布D， 抽取过程是相互独立的，并且不依赖于假设h – n>=30 – 假设h在这n个样例上犯了r个错误 • 根据上面的条件，统计理论可以给出以下断言： – 没有其他信息的话，真实错误率errorD(h)最可能的 值是样本错误率errorS (h)=r/n – 有大约95%的可能性，真实错误率处于下面的区间 内： n error h error h error h S S S ( )(1 ( )) ( ) 1.96 −
举例说明 数据样本S包含n=40个样例,并且假设h在这些数据上 生了r=12个错误,这样样本错误率为 error(h)=12/40=0.3 如果没有更多的信息,对真实错误率 error(h)的最好的 估计即为0.3 如果另外收集40个随机抽取的样例S’,样本错误率 errors,(h将与原来的eror(h)存在一些差别 如果不断重复这一实验,每次抽取一个包含40样例的 样本,将会发现约95%的实验中计算所得的区间包含 真实错误率 将上面的区间称为eroo(h)的95%置信区间估计 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 举例说明 • 数据样本S包含n=40个样例，并且假设h在这些数据上 产生了r=12个错误，这样样本错误率为 errorS (h)=12/40=0.3 • 如果没有更多的信息，对真实错误率errorD(h)的最好的 估计即为0.3 • 如果另外收集40个随机抽取的样例S’，样本错误率 errorS’(h)将与原来的errorS (h)存在一些差别 • 如果不断重复这一实验，每次抽取一个包含40样例的 样本，将会发现约95%的实验中计算所得的区间包含 真实错误率 • 将上面的区间称为errorD(h)的95%置信区间估计
置信区间表达式的推广 常数196是由95%这一置信度确定的 定义么为计算N%置信区间的常数(取值见表5 1),计算 error(h)的N%置信区间的一般表达 式(公式51)为: errors(h)+Ey/erors(hXl-errors (h) 可以求得同样情况下的68%置信区间,从直觉 上可以看出68%置信区间要小于95%置信区间, 因为减小了要求 error(h)落入的概率 2003.12.18 机器学习-评估假设作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-评估假设作者：Mitchell 译者：曾华军等讲者：陶晓鹏 10 置信区间表达式的推广 • 常数1.96是由95%这一置信度确定的 • 定义zN为计算N%置信区间的常数（取值见表5- 1），计算errorD(h)的N%置信区间的一般表达 式（公式5.1）为： • 可以求得同样情况下的68%置信区间，从直觉 上可以看出68%置信区间要小于95%置信区间， 因为减小了要求errorD(h)落入的概率 n error h error h error h z S S S N ( )(1 ( )) ( ) −