机器学习 第12章归纳和分析学习的结合 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏1
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第12章 归纳和分析学习的结合
概述 纯粹的归纳学习方法通过在训练样例中寻找经 验化的规律来形成一般假设 纯粹的分析方法使用先验知识演绎推导一般假 设 ·本章考虑将归纳和分析的机制结合起来的方法, 并获得两者的优点:有先验知识时获得更高的 泛化精度和依赖训练数据克服先验知识的不足 所得到的结合的方法比纯粹的归纳方法和分析 方法的性能都要高 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏2
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 概述 • 纯粹的归纳学习方法通过在训练样例中寻找经 验化的规律来形成一般假设 • 纯粹的分析方法使用先验知识演绎推导一般假 设 • 本章考虑将归纳和分析的机制结合起来的方法， 并获得两者的优点：有先验知识时获得更高的 泛化精度和依赖训练数据克服先验知识的不足 • 所得到的结合的方法比纯粹的归纳方法和分析 方法的性能都要高
动机 归纳学习寻找拟合训练数据的一般假设,分析学习寻 找拟合先验知识的一般假设,同时使它覆盖训练数据 归纳方法和分析方法对假设的论证方法有根本区别, 因此优缺点互为补充,将它们结合起来有可能得到更 强有力的学习方法 纯粹的分析学习方法的优缺点 优点:可用先验知识从较少的数据中更精确地泛化以引导学 缺点:当先验知识不足或不正确时,可能产生误导 纯粹的归纳学习方法的优缺点 优点:不需要显示的先验知识,主要基于训练数据学习规律 缺点:训练数据不足时,会失败,会被其中隐式的归纳偏置 2031218所祝导习归纳和分析学习的结合作者:Mme译者:曾华军等讲者:陶晓鹏3
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 动机 • 归纳学习寻找拟合训练数据的一般假设，分析学习寻 找拟合先验知识的一般假设，同时使它覆盖训练数据 • 归纳方法和分析方法对假设的论证方法有根本区别， 因此优缺点互为补充，将它们结合起来有可能得到更 强有力的学习方法 • 纯粹的分析学习方法的优缺点 – 优点：可用先验知识从较少的数据中更精确地泛化以引导学 习 – 缺点：当先验知识不足或不正确时，可能产生误导 • 纯粹的归纳学习方法的优缺点 – 优点：不需要显示的先验知识，主要基于训练数据学习规律 – 缺点：训练数据不足时，会失败，会被其中隐式的归纳偏置 所误导
表12-纯粹的分析学习和纯粹 的归纳学习的比较 归纳学习 分析学习 目标拟合数据的假设拟合领域理论的 假设 论证统计推理 演绎推理 优点需要很少先验知识|从稀少的数据中 学习 缺陷|稀少的数据,不正|不完美的领域理 确的偏置 论 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏4
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 表12-1 纯粹的分析学习和纯粹 的归纳学习的比较 归纳学习 分析学习 目标 拟合数据的假设 拟合领域理论的 假设 论证 统计推理 演绎推理 优点 需要很少先验知识 从稀少的数据中 学习 缺陷 稀少的数据，不正 确的偏置 不完美的领域理 论
动机(2) 图12-1 概述了学习问题的分布范围,它随着可获得的先验 知识和训练数据不同而变化 在一个极端,有大量的训练数据,但没有先验知识 在另一个极端,有很强的先验知识,但训练数据很 少 多数实际学习问题位于这两个极端之间,通常可以 从近似的先验知识开始 本章考虑的问题是: 什么样的算法,使用近似的先验知识结合可用数据 来形成一般的假设 203.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏5
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 动机（2） • 图12-1 – 概述了学习问题的分布范围，它随着可获得的先验 知识和训练数据不同而变化 – 在一个极端，有大量的训练数据，但没有先验知识 – 在另一个极端，有很强的先验知识，但训练数据很 少 – 多数实际学习问题位于这两个极端之间，通常可以 从近似的先验知识开始 • 本章考虑的问题是： – 什么样的算法，使用近似的先验知识结合可用数据 来形成一般的假设