例子 ·车身高度为1米的轿车价格是否高于5万美元? P(C1|x=1.0 p(x=1.0C1)P(C1) p(x=1.0C1)P(C1)+p(x=101C2)P(C2) 0.2081*0.183 =0.438 0.2081*0.183+0.0597*0.817 结论:低于5万美元 O.8 oo 8.5 2.5 Car Height [m]
例子 • 车身高度为1米的轿车价格是否高于5万美元？ 1 1 1 1 1 2 2 ( 1.0 | ) ( ) ( | 1.0) ( 1.0 | ) ( ) ( 1.0 | ) ( ) 0.2081*0.183 0.438 0.2081*0.183 0.0597*0.817 p x C P C P C x p x C P C p x C P C = = = = + = = = + 结论：低于5万美元
贝叶斯决策的最优性 ·从最小化误差概率的意义上讲,贝叶斯决策是最 优决策 ·先来看两类情况 ·条件误差概率 P(error x P(o I x)if we decide o2 P(O2 x) if we decide Oy 平均误差概率 P(error)= P(error, x)dx= P(error x)p(x)dx 在贝叶斯决策中,对每一个X,P(eror|x)都能被最小 化,因此P(eror)被最小化
贝叶斯决策的最优性 • 从最小化误差概率的意义上讲，贝叶斯决策是最 优决策 • 先来看两类情况 • 条件误差概率 • 平均误差概率 • 在贝叶斯决策中，对每一个x，P(error | x)都能被最小 化，因此P(error)被最小化
贝叶斯决策的最优性 对问题作如下泛化: ·允许多类情况; ·允许其他行为而不仅仅是判定类别; ·引入更一般的损失函数来替代误差概率。 损失函数x(a1a) 当真实类别为a时,采取行动a1所带来的损失 ·允许某种分类错误的代价高于其他分类错误 条件风险(期望损失)R(q1x)=∑λ(1o)P(1x) 当观察到Ⅺ的时候,采取行动α1造成的期望损失
贝叶斯决策的最优性 • 对问题作如下泛化： • 允许多类情况； • 允许其他行为而不仅仅是判定类别； • 引入更一般的损失函数来替代误差概率。 • 损失函数 • 当真实类别为 时，采取行动 所带来的损失 • 允许某种分类错误的代价高于其他分类错误 • 条件风险（期望损失） • 当观察到x的时候，采取行动 造成的期望损失
贝叶斯决策的最优性 判决规则函数a(x) 将观察到的特征x映射到应采取的行动的函数 总风险R=[R×)1×)0xdx 某个判决规则的期望损失 最优决策 ·使得总风险最低的判决规则 ·对任意给定的特征X,如果判决规则∞(X)选择的行动能 够最小化条件风险R((x)x)那么总风险将最小化 贝叶斯决策规:对所有ⅰ=1,2,…a,计算条件风险 R(a1|X)选择行动使得条件风险R(11x)最小化 贝叶斯决策得到的最小总风险被称为贝叶斯风险,表示为R
贝叶斯决策的最优性 • 判决规则函数 将观察到的特征x映射到应采取的行动的函数 • 总风险 某个判决规则的期望损失 • 最优决策 • 使得总风险最低的判决规则 • 对任意给定的特征x，如果判决规则 选择的行动能 够最小化条件风险 ，那么总风险将最小化 • 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险 ，选择行动 使得条件风险 最小化 贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*
两类分类问题 行动 a1:判决为类别a1 :判决为类别a2 损失 Mi=n(o;I a) 条件风险 R(1X)=11P(1|x)+12P(02|x) R(2|x)=121P(1|x)+22P(02|x) 最小风险决策规则 如果R(1x)≤R(a1X),≠j,则模式为0
两类分类问题 • 行动 • ：判决为类别 • ：判决为类别 • 损失 • • 条件风险 • 最小风险决策规则 如果 ，则模式为