机器学习 第11章分析学习 203.12.18机器学习-分析学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-分析学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第11章 分析学习
概述 神经网络和决策树这样的学习方法需要一定数目的训 练样例才能达到一定级别的泛化精度 分析学习使用先验知识和演绎推理来扩大训练样例提 供的信息,因此它不受同样的界限制约 本章讨论一种称为基于解释的学习(EBL)的分析学 习方法 基于解释的学习中,先验知识用于分析观察到的学习 样例是怎样满足目标概念的 然后这个解释用于区分训练样例中哪些是相关的特征, 哪些是不相关的 样例就可基于逻辑推理进行泛化,而不是基于统计推 理 203.12.18机器学习-分析学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-分析学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 概述 • 神经网络和决策树这样的学习方法需要一定数目的训 练样例才能达到一定级别的泛化精度 • 分析学习使用先验知识和演绎推理来扩大训练样例提 供的信息，因此它不受同样的界限制约 • 本章讨论一种称为基于解释的学习（EBL）的分析学 习方法 • 基于解释的学习中，先验知识用于分析观察到的学习 样例是怎样满足目标概念的 • 然后这个解释用于区分训练样例中哪些是相关的特征， 哪些是不相关的 • 样例就可基于逻辑推理进行泛化，而不是基于统计推 理
简介 前面章节讨论的各种归纳法,决策树、神经网络、归 纳逻辑编程、遗传算法,在实践中的一个关键限制是: 在可用数据不足时性能较差,正如第7章分析,给定数 目的训练样例,学习的精度存在基本的上下界 我们希望开发出这样的学习方法:它们训练精度上的 基本限制不受可用训练数据的数量所制约 基于解释的学习 使用先验知识来分析或解释每个训练样例,以推理出样例的 哪些特征与目标函数相关,哪些不相关 减小了待搜索假设空间的复杂度,减小了样本复杂度,提高 了学习器的泛化精度 203.12.18机器学习-分析学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-分析学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 简介 • 前面章节讨论的各种归纳法，决策树、神经网络、归 纳逻辑编程、遗传算法，在实践中的一个关键限制是： 在可用数据不足时性能较差，正如第7章分析，给定数 目的训练样例，学习的精度存在基本的上下界 • 我们希望开发出这样的学习方法：它们训练精度上的 基本限制不受可用训练数据的数量所制约 • 基于解释的学习： – 使用先验知识来分析或解释每个训练样例，以推理出样例的 哪些特征与目标函数相关，哪些不相关 – 减小了待搜索假设空间的复杂度，减小了样本复杂度，提高 了学习器的泛化精度
简介(2) 个例子:下国际象棋的学习任务 前面的概念学习算法需要大量的训练样例 人类只要少数训练样例,原因是人类非常依赖合法移动棋子 的先验知识来解释或分析训练样例 但是,人类学习中包含了一个很长的发现先验知识的过程 本章内容安排 给出一个特定的基于解释的学习算法,称为 Prolog-EBG 考查 Prolog-EBG的一般特性以及与前面讨论的归纳算法之间 的关系 描述了应用基于解释的学习以提高大状态空间搜索的性能 本章假定生成解释所基于的先验知识是完全正确的, 下一章讨论更一般的情况,即先验知识只是近似正确 2003.12.18机器学习-分析学习作者: Mitchell译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-分析学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 简介（2） • 一个例子：下国际象棋的学习任务 – 前面的概念学习算法需要大量的训练样例 – 人类只要少数训练样例，原因是人类非常依赖合法移动棋子 的先验知识来解释或分析训练样例 – 但是，人类学习中包含了一个很长的发现先验知识的过程 • 本章内容安排 – 给出一个特定的基于解释的学习算法，称为Prolog-EBG – 考查Prolog-EBG的一般特性以及与前面讨论的归纳算法之间 的关系 – 描述了应用基于解释的学习以提高大状态空间搜索的性能 • 本章假定生成解释所基于的先验知识是完全正确的， 下一章讨论更一般的情况，即先验知识只是近似正确
归纳和分析学习问题 分析和归纳学习问题的重要区别是,它们设想的学习 问题的形式不同 在归纳学习中,学习器被赋予一个假设空间H和训练数据D, 它从H中选择一个输出假设,并且希望这个假设与D一致 在分析学习中,学习器的输入除了假设空间H和训练数据D, 还有一个领域理论B,由可用于解释训练样例的背景知识组成, 学习器中H中选择一个输出假设,并希望这个假设既与D一致, 也与B一致 分析学习举例 学习的目标概念:黑棋将在两步内失去王后的状态 实例<x,fx)>:x描述一特定棋盘状态,当黑棋两步内失去王 后,fx)值为真,否则为假 假设空间:用Homn子句集表示,其中谓词表示棋子的位置 203rz1领域颶諱习形神賴下娸趯眾者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-分析学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 归纳和分析学习问题 • 分析和归纳学习问题的重要区别是，它们设想的学习 问题的形式不同 – 在归纳学习中，学习器被赋予一个假设空间H和训练数据D， 它从H中选择一个输出假设，并且希望这个假设与D一致 – 在分析学习中，学习器的输入除了假设空间H和训练数据D， 还有一个领域理论B，由可用于解释训练样例的背景知识组成， 学习器中H中选择一个输出假设，并希望这个假设既与D一致， 也与B一致 • 分析学习举例 – 学习的目标概念：黑棋将在两步内失去王后的状态 – 实例<xi , f(xi )>：xi描述一特定棋盘状态，当黑棋两步内失去王 后，f(xi )值为真，否则为假 – 假设空间：用Horn子句集表示，其中谓词表示棋子的位置 – 领域理论：形式化的下棋规则