动机(3) 即使使用最纯粹的归纳学习算法,仍有机会基于特定学习仼务的 先验知识来选择设计方案 通常设计者将领域特定的知识嵌入到学习算法中,但我们感兴趣 的是一个系统能将先验知识和训练数据作为显示的输入给学习器 概括而言,我们感兴趣的是领域无关算法,这种算法使用显示输 入的领域相关的知识,这种算法具备以下的属性: 如果没有领域理论,它至少能像纯粹的归纳方法一样有效学习 如果没有完美的领域理论,它至少能像纯粹的分析方法一样有效学 如果领域理论和训练数据都不完美,它应能结合两者的长处,比单 纯的归纳或分析方法的性能要好 它应能处理训练数据中未知程度的差错 它应能处理领域理论中未知程度的差错 这里列出的期望目标很难达到,目前没有算法能以一般化的方式 2003 足所舊塏象肅柱 析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏6
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 6 动机（3） • 即使使用最纯粹的归纳学习算法，仍有机会基于特定学习任务的 先验知识来选择设计方案 • 通常设计者将领域特定的知识嵌入到学习算法中，但我们感兴趣 的是一个系统能将先验知识和训练数据作为显示的输入给学习器 • 概括而言，我们感兴趣的是领域无关算法，这种算法使用显示输 入的领域相关的知识，这种算法具备以下的属性： – 如果没有领域理论，它至少能像纯粹的归纳方法一样有效学习 – 如果没有完美的领域理论，它至少能像纯粹的分析方法一样有效学 习 – 如果领域理论和训练数据都不完美，它应能结合两者的长处，比单 纯的归纳或分析方法的性能要好 – 它应能处理训练数据中未知程度的差错 – 它应能处理领域理论中未知程度的差错 • 这里列出的期望目标很难达到，目前没有算法能以一般化的方式 满足所有这些约束
学习的归纳-分析途径 本章考虑的学习问题 已知 一个训练样例集合D,可能包含差错 一个领域理论B,可能包含差错 ·候选假设的空间H 求解 个最好地拟合训练样例和领域理论的假设 最好地拟合训练样例和领域理论的确切 定义 rg min kperrorp(h)+kgerrorB(h) 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏7
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 7 学习的归纳-分析途径 • 本章考虑的学习问题 – 已知 • 一个训练样例集合D，可能包含差错 • 一个领域理论B，可能包含差错 • 候选假设的空间H – 求解 • 一个最好地拟合训练样例和领域理论的假设 • 最好地拟合训练样例和领域理论的确切 定义 argmin k error (h) k error (h) D D B B h H +
学习的归纳-分析途径(2) 确定先验知识和数据权值的一种解决方法是使用贝叶 斯观点 贝叶斯定律描述了怎样计算给定训练数据D时假设h的后验概率 贝叶斯定律基于观察到的数据D以及先验知识计算后验概率,以P(h) P(D)和PDh)的形式表示 我们可以把P(h),P(D)和P(Dh)看作是某种形式的背景知识 贝叶斯理论可看作一种为领域理论加权的方法,它与观察到的数据D 一起,赋予h的后验概率为P(hD) 贝叶斯公式提供了为先验知识和观察到数据的贡献加权的方法 但是,贝叶斯公式隐含假定了关于P(h,P①D),P(Dh 率分布的完美知识 贝叶斯公式没有提供将这些近似已知的概率分布与观 察数据结合起来的方法 2003.12.18机器学习-归纳和分析学习的结合作者: Mitchel译者:曾华军等讲者:陶晓鹏8
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 8 学习的归纳-分析途径（2） • 确定先验知识和数据权值的一种解决方法是使用贝叶 斯观点 – 贝叶斯定律描述了怎样计算给定训练数据D时假设h的后验概率 – 贝叶斯定律基于观察到的数据D以及先验知识计算后验概率，以P(h), P(D)和P(D|h)的形式表示 – 我们可以把P(h), P(D)和P(D|h)看作是某种形式的背景知识 – 贝叶斯理论可看作一种为领域理论加权的方法，它与观察到的数据D 一起，赋予h的后验概率为P(h|D) – 贝叶斯公式提供了为先验知识和观察到数据的贡献加权的方法 • 但是，贝叶斯公式隐含假定了关于P(h), P(D), P(D|h)概 率分布的完美知识 • 贝叶斯公式没有提供将这些近似已知的概率分布与观 察数据结合起来的方法
假设空间搜索 大多数学习任务可以刻画为假设空间上的搜索 任务而决定这个搜索任务的4个参数是: 假设空间H 搜索的初始假设h0 定义单个搜索步的搜索算子集合O 指定搜索目标的判据G 本章探索了3种方法,它们用先验知识来改变 纯归纳方法执行的搜索 使用先验知识推导出搜索起步的初始假设: Kbann 使用先验知识来改变假设空间搜索的目标:Ebn 2031218使先验识銮县用的摁蠹,Ql讲者;购晓鹏
2003.12.18 机器学习-归纳和分析学习的结合作者：Mitchell 译者：曾华军等讲者：陶晓鹏 9 假设空间搜索 • 大多数学习任务可以刻画为假设空间上的搜索 任务,而决定这个搜索任务的4个参数是： – 假设空间H – 搜索的初始假设h0 – 定义单个搜索步的搜索算子集合O – 指定搜索目标的判据G • 本章探索了3种方法，它们用先验知识来改变 纯归纳方法执行的搜索 – 使用先验知识推导出搜索起步的初始假设：Kbann – 使用先验知识来改变假设空间搜索的目标：Ebnn – 使用先验知识改变可用的搜索步：Focl