极大似然假设 在某些情况下,可假定H中每个假设有相同的 先验概率,这样式子6,2可以进一步简化,只需 考虑P(Dh)来寻找极大可能假设 P(①Dh)常被称为给定h时数据D的似然度,而使 PDh)最大的假设被称为极大似然假设 hu arg max P(D h) 假设空间H可扩展为任意的互斥命题集合,只 要这些命题的概率之和为1 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 11 极大似然假设 • 在某些情况下，可假定H中每个假设有相同的 先验概率，这样式子6.2可以进一步简化，只需 考虑P(D|h)来寻找极大可能假设。 • P(D|h)常被称为给定h时数据D的似然度，而使 P(D|h)最大的假设被称为极大似然假设 • 假设空间H可扩展为任意的互斥命题集合，只 要这些命题的概率之和为1 h argmax P(D | h) h H ML =
举例:一个医疗诊断问题 ·有两个可选的假设:病人有癌症、病人无癌症 可用数据来自化验结果:正+和负 有先验知识:在所有人口中,患病率是0008 ·对确实有病的患者的化验准确率为98%,对确 实无病的患者的化验准确率为97% 总结如下 P(cancer )=0.008, P(cancer) =0.992 P(+cancer)=0.98, P(-Icancer)=0.02 P(+Cancer )=0.03, P(-I-cancer=. 97 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏 12
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 12 举例：一个医疗诊断问题 • 有两个可选的假设：病人有癌症、病人无癌症 • 可用数据来自化验结果：正+和负- • 有先验知识：在所有人口中，患病率是0.008 • 对确实有病的患者的化验准确率为98%，对确 实无病的患者的化验准确率为97% • 总结如下 P(cancer)=0.008, P(cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|cancer)=0.03, P(-|cancer)=0.97
举例:一个医疗诊断问题(2) 问题:假定有一个新病人,化验结果为正,是否应将病人断定为 有癌症?求后验概率 P(cancer+)和P(- cancer+) 利用式子62找到极大后验假设 P(+cancer)P(cancer =0.0078 P(+Cancer)P(cancer =0.0298 MAP cancer 确切的后验概率可将上面的结果归一化以使它们的和为1 P( canner|+)=0.0078/(0.0078+0.0298)=0.21 P(cancer)-)=0.79 贝叶斯推理的结果很大程度上依赖于先验概率,另外不是完全接 受或拒绝假设,只是在观察到较多的数据后增大或减小了假设的 可能性 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏 13
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 13 举例：一个医疗诊断问题（2） • 问题：假定有一个新病人，化验结果为正，是否应将病人断定为 有癌症？求后验概率P(cancer|+)和P(cancer|+) • 利用式子6.2找到极大后验假设 – P(+|cancer)P(cancer)=0.0078 – P(+|cancer)P(cancer)=0.0298 – hMAP=cancer • 确切的后验概率可将上面的结果归一化以使它们的和为1 – P(canner|+)=0.0078/(0.0078+0.0298)=0.21 – P(cancer|-)=0.79 • 贝叶斯推理的结果很大程度上依赖于先验概率，另外不是完全接 受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的 可能性
基本概率公式表 乘法规则: P(AAB=P(ABPB=PBAP(A) 加法规则:P(AVB)=P(A)+P(B)P(AAB) 贝叶斯法则:P(hD=P(Dh)P(h)P(D 全概率法则:如果事件A14n互斥,且 满足=,则0-AP 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 14 基本概率公式表 • 乘法规则： P(AB)=P(A|B)P(B)=P(B|A)P(A) • 加法规则：P(AB)=P(A)+P(B)-P(AB) • 贝叶斯法则：P(h|D)=P(D|h)P(h)/P(D) • 全概率法则：如果事件A1 ...An互斥，且 满足 =1 ( ) =1 ，则 n i P Ai = = n i P B P B Ai P Ai 1 ( ) ( | ) ( )
贝叶斯法则和概念学习 贝叶斯法则为计算给定训练数据下任一假设的 后验概率提供了原则性方法,因此可以直接将 其作为一个基本的学习方法:计算每个假设的 概率,再输出其中概率最大的。这个方法称为 Brute- Force贝叶斯概念学习算法。 将上面方法与第2章介绍的概念学习算法比较, 可以看到:在特定条件下,它们学习得到相同 的假设,不同的是第2章的方法不明确计算概 率,而且效率更高。 2003.12.18 机器学习-贝叶斯学习作者: Mitchel译者:曾华军等讲者:陶晓鹏 15
2003.12.18 机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 15 贝叶斯法则和概念学习 • 贝叶斯法则为计算给定训练数据下任一假设的 后验概率提供了原则性方法，因此可以直接将 其作为一个基本的学习方法：计算每个假设的 概率，再输出其中概率最大的。这个方法称为 Brute-Force贝叶斯概念学习算法。 • 将上面方法与第2章介绍的概念学习算法比较， 可以看到：在特定条件下，它们学习得到相同 的假设，不同的是第2章的方法不明确计算概 率，而且效率更高