分类问题3 1
分类问题3 1
Outline ·4.4朴素贝叶斯分类器 哈尔滨工业大学计算机学院刘远超
Outline • 4.4 朴素⻉叶斯分类器 哈尔滨工业大学计算机学院 刘远超 2
贝叶斯决策论 ▣贝叶斯决策论(Bayesian decision theory)是在概率框架下实 施决策的基本方法。 ●在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 ▣假设有N种可能的类别标记，即y={C1,C2,·,Cw 入是将 一个真实标记为C的样本误分类为C所产生的损失。基于后验概 率P{c】x可获得将样本X分类为C2所产生的期望损失 (expected loss),即在样本上的"条件风险”(conditional risk) R(Gx)=∑P(G|x) (7.1) =1 ▣我们的任务是寻找一个判定准侧h:X→Y以最小化总体风险 R(h=E R(h(x)x (7.2)
贝叶斯决策论 p 贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 l 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。 p 假设有 种可能的类别标记，即 ， 是将 一个真实标记为 的样本误分类为 所产生的损失。基于后验概 率 可获得将样本 分类为 所产生的期望损失 （expected loss），即在样本上的“条件风险”（conditional risk） p 我们的任务是寻找一个判定准则 以最小化总体风险
贝叶斯决策论 口显然，对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R(h)也将被最小化
贝叶斯决策论 p 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化
贝叶斯决策论 口显然，对每个样本x,若h能最小化条件风险R(h(x)|x),则总 体风险R()也将被最小化。 ▣这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总 体风险，只需在每个样本上选择那个能使条件风险R(cx)最小的类 别标记，即 h*(x)=argmin R(c|x) (7.3) cEy ●此时，被称为贝叶斯最优分类器(Bayes optimal classifier),与之对应 的总体风险R(h*)称为贝叶斯风险(Bayes risk) 1一(h*)反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限
贝叶斯决策论 p 显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。 p 这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总 体风险，只需在每个样本上选择那个能使条件风险 最小的类 别标记，即 l 此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应 的总体风险 称为贝叶斯风险 (Bayes risk) l 反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限