贝叶斯决策论 口不难看出,使用贝叶斯判定准则来最小化决策风险,首先要获得后验 概率P(c|x)。 口然而,在现实中通常难以直接获得。机器学习所要实现的是基于有限 的训练样本尽可能准确地估计出后验概率P(c丨x)。 口主要有两种策略: ●判别式模型( discriminative model!s) 给定ⅹ,通过直接建模P(c丨x),来预测c 决策树,BP神经网络,支持向量机 ●生成式模型( generative models) 先对联合概率分布P(ⅹ,c)建模,再由此获得P(c|ⅹ 生成式模型考虑 (c x)pa P(x) (7.7)
贝叶斯决策论 不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验 概率 。 然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限 的训练样本尽可能准确地估计出后验概率 。 主要有两种策略： ⚫ 判别式模型（discriminative models） ⚫ 给定 ，通过直接建模 , 来预测 ⚫ 决策树，BP神经网络，支持向量机 ⚫ 生成式模型（generative models） ⚫ 先对联合概率分布 建模，再由此获得 ⚫ 生成式模型考虑
贝叶斯决策论 口生成式模型 P(c x P(x,c) (77 P(x)
贝叶斯决策论 生成式模型
贝叶斯决策论 口生成式模型 P(x,c) P(c\x)=P(x) (77 口基于贝叶斯定理,P(c|x)可写成 P(clx)= P(cP(x (78)
贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成
贝叶斯决策论 口生成式模型 P(x,c) P(clx) P(x) (77 口基于贝叶斯定理,P(c|x)可写成 P(cx P(c)P(x I P(x) (78) 先验概率 样本空间中各类样本所占的 比例,可通过各类样本出现 的频率估计(大数定理)
贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 先验概率 样本空间中各类样本所占的 比例，可通过各类样本出现 的频率估计（大数定理）
贝叶斯决策论 口生成式模型 P(x,c) P(clx) P(x) (77 口基于贝叶斯定理,P(c|x)可写成 P(cx P(cP(x I P(x) (78) 先验概率 样本空间中各类样本所占的 “证据”( evidence) 比例,可通过各类样本出现 因子,与类标记无关 的频率估计(大数定理)
贝叶斯决策论 生成式模型 基于贝叶斯定理， 可写成 先验概率 样本空间中各类样本所占的 比例，可通过各类样本出现 的频率估计（大数定理） “证据”（evidence） 因子，与类标记无关