机器学习 第6章贝叶斯学习 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 1 机器学习 第6章 贝叶斯学习
概述 贝叶斯推理提供了一种概率手段,基于如下的 假定:待考察的量遵循某概率分布,且可根据 这些概率及已观察到的数据进行推理,以作出 最优的决策。 ·贝叶斯推理为衡量多个假设的置信度提供了定 量的方法 贝叶斯推理为直接操作概率的学习算法提供了 基础,也为其他算法的分析提供了理论框架 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏 2
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 2 概述 • 贝叶斯推理提供了一种概率手段，基于如下的 假定：待考察的量遵循某概率分布，且可根据 这些概率及已观察到的数据进行推理，以作出 最优的决策。 • 贝叶斯推理为衡量多个假设的置信度提供了定 量的方法 • 贝叶斯推理为直接操作概率的学习算法提供了 基础，也为其他算法的分析提供了理论框架
简介 贝叶斯学习算法与机器学习相关的两个原因: 贝叶斯学习算法能够计算显示的假设概率,比如朴 素贝叶斯分类 贝叶斯方法为理解多数学习算法提供了一种有效的 手段,而这些算法不一定直接操纵概率数据,比如 ·Find-S 候选消除算法 ·神经网络学习:选择使误差平方和最小化的神经网络 推导出另一种误差函数:交叉熵 分析了决策树的归纳偏置 ·考察了最小描述长度原则 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 3 简介 • 贝叶斯学习算法与机器学习相关的两个原因： – 贝叶斯学习算法能够计算显示的假设概率，比如朴 素贝叶斯分类 – 贝叶斯方法为理解多数学习算法提供了一种有效的 手段，而这些算法不一定直接操纵概率数据，比如 • Find-S • 候选消除算法 • 神经网络学习：选择使误差平方和最小化的神经网络 • 推导出另一种误差函数：交叉熵 • 分析了决策树的归纳偏置 • 考察了最小描述长度原则
贝叶斯学习方法的特性 观察到的每个训练样例可以增量地降低或升高某假设 的估计概率。而其他算法会在某个假设与任一样例不 致时完全去掉该假设 先验知识可以与观察数据一起决定假设的最终概率, 先验知识的形式是:1)每个候选假设的先验概率;2) 每个可能假设在可观察数据上的概率分布 贝叶斯方法可允许假设做出不确定性的预测 新的实例分类可由多个假设一起做出预测,用它们的 概率来加权 即使在贝叶斯方法计算复杂度较高时,它们仍可作为 ·个最优的决策标准衡量其他方法 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 4 贝叶斯学习方法的特性 • 观察到的每个训练样例可以增量地降低或升高某假设 的估计概率。而其他算法会在某个假设与任一样例不 一致时完全去掉该假设 • 先验知识可以与观察数据一起决定假设的最终概率， 先验知识的形式是：1）每个候选假设的先验概率；2） 每个可能假设在可观察数据上的概率分布 • 贝叶斯方法可允许假设做出不确定性的预测 • 新的实例分类可由多个假设一起做出预测，用它们的 概率来加权 • 即使在贝叶斯方法计算复杂度较高时，它们仍可作为 一个最优的决策标准衡量其他方法
贝叶斯方法的难度 难度之一:需要概率的初始知识,当概 率预先未知时,可以基于背景知识、预 先准备好的数据以及基准分布的假定来 估计这些概率 难度之二:一般情况下,确定贝叶斯最 优假设的计算代价比较大(在某些特定 情形下,这种计算代价可以大大降低)。 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 5 贝叶斯方法的难度 • 难度之一：需要概率的初始知识，当概 率预先未知时，可以基于背景知识、预 先准备好的数据以及基准分布的假定来 估计这些概率 • 难度之二：一般情况下，确定贝叶斯最 优假设的计算代价比较大（在某些特定 情形下，这种计算代价可以大大降低）