学习规则集:小结 串行与并行的差异 序列学习算法(CN2)每次学习一个规则,而ID3每 步并行学习整个析取项的集合,ID3可称为并行 覆盖算法 ID〕3在每一搜索步中根据它对数据产生的划分选择 不同的属性,CN2选择的是不同的属性-值对 为了学习到n个规则的集合,每个规则前件包含k个 属性值测试,CN2需要nk次基本搜索步,而ID3独立 选择次数要少得多 CN2需要较大数量的训练数据 2003.12.18机器学习学习规则集合作者: Mitchell译者:曾华军等讲者:陶晓鹏 16
2003.12.18 机器学习-学习规则集合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 16 学习规则集：小结 • 串行与并行的差异 – 序列学习算法（CN2）每次学习一个规则，而ID3每 一步并行学习整个析取项的集合，ID3可称为并行 覆盖算法 – ID3在每一搜索步中根据它对数据产生的划分选择 不同的属性，CN2选择的是不同的属性-值对 – 为了学习到n个规则的集合，每个规则前件包含k个 属性值测试，CN2需要nk次基本搜索步，而ID3独立 选择次数要少得多 – CN2需要较大数量的训练数据
学习规则集:小结(2) 搜索方向的差异 Learn-One-Rule的搜索方向是从一般到特殊, 而其他算法是从特殊到一般 从一般到特殊的一个优点是只有一个极大 般假设可作为搜索起始点 而多数假设空间中有很多特殊假设,因此有 许多极大特殊假设,从特殊到一般的算法难 以确定搜索的起点 2003.12.18机器学习学习规则集合作者: Mitchell译者:曾华军等讲者:陶晓鹏 17
2003.12.18 机器学习-学习规则集合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 17 学习规则集：小结（2） • 搜索方向的差异 – Learn-One-Rule的搜索方向是从一般到特殊， 而其他算法是从特殊到一般 – 从一般到特殊的一个优点是只有一个极大一 般假设可作为搜索起始点 – 而多数假设空间中有很多特殊假设，因此有 许多极大特殊假设，从特殊到一般的算法难 以确定搜索的起点
学习规则集:小结(3) 生成再测试与样例驱动搜索的差异 样例驱动搜索算法包括:Find-S、候选消除、AQ算法、 Gigo 样例驱动算法中,对假设的生成或修正是由单独的训练样例 驱动的,而且结果是一个已修正的假设,它对此单个样例的 性能得到改善 Lean-One-Rule是生成再测试搜索 生成再测试搜索方法中,后续的假设的生成只基于假设表示 的语法,然后基于这些假设在全部样例上的性能来进行选择 生成再测试的一个优点是搜索中每一步的选择都基于在许多 样例上的假设性能,因此噪声数据的影响被最小化 2003.12.18机器学习学习规则集合作者: Mitchell译者:曾华军等讲者:陶晓鹏 18
2003.12.18 机器学习-学习规则集合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 18 学习规则集：小结（3） • 生成再测试与样例驱动搜索的差异 – 样例驱动搜索算法包括：Find-S、候选消除、AQ算法、Gigol – 样例驱动算法中，对假设的生成或修正是由单独的训练样例 驱动的，而且结果是一个已修正的假设，它对此单个样例的 性能得到改善 – Learn-One-Rule是生成再测试搜索 – 生成再测试搜索方法中，后续的假设的生成只基于假设表示 的语法，然后基于这些假设在全部样例上的性能来进行选择 – 生成再测试的一个优点是搜索中每一步的选择都基于在许多 样例上的假设性能，因此噪声数据的影响被最小化