第四章贝叶斯决策理论 贝叶斯分类器 Bayes分类器算法和例 正态分布决策理论 题 ·关于分类的错误率分·聂曼一皮尔逊判别准 析 则 最小风险 Bayes分类·最大最小判别准则 器 决策树 序贯分类
第四章 贝叶斯决策理论 • 贝叶斯分类器 • 正态分布决策理论 • 关于分类的错误率分 析 • 最小风险Bayes分类 器 • Bayes分类器算法和例 题 • 聂曼－皮尔逊判别准 则 • 最大最小判别准则 • 决策树 • 序贯分类
第四章贝叶斯决策理论 令§4-1 Bayes分类器最优分类器、最佳分类器P(x/o,) P(x/o) 一、两类问题 例如:细胞识别问题ω1正常细胞,O2异常细胞 某地区,经大量统计获先验概率P()P(o2)。若取该地区 某人细胞x属何种细胞,只能由先验概率决定 P(O,>P(O,),x }这种分类器决策无意义 条件概率密度分布 P(O1)<P(O2),x∈O2 ◆对x再观察:有细胞光密度特征,有类条件概率密度: Px/o)t=1,2,。如图所示 利用贝叶斯公式: P(o/x)=P(xa)P(a)∑P(x0,)P(o),(也称为后验概率 通过对细胞的再观察,就可以把先验概率转化为后验概 率,利用后验概率可对未知细胞x进行识别
v 对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ ωί) ί=1,2,…。如图所示 v 利用贝叶斯公式 ： Ø 通过 对细胞的再观察，就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞x进行识别 。 • 第四章 贝叶斯决策理论 v §4-1 Bayes分类器—最优分类器、最佳分类器 Ø一、两类问题 例如：细胞识别问题 ω1正常细胞，ω2异常细胞 某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区 某人细胞x属何种细胞 ，只能由 先验概率决定。 这种分类器决策无意义 1 2 2 1 2 1 ( ) ( ), ( ) ( ), P P x P P x ，（也称为后验概率） 2 1 ( ) ( ) ( ) ( ) ( ) j i i i j P j P x P x P P x ( ) 1 P x ( ) 2 P x x 条件概率密度分布 ( )i P x
◆通过对细胞的再观察,就可以把先验概率转化为后验概 率,利用后验概率可对未知细胞x进行识别 ∫若P(o/)>P(O2/x则x∈O1 P(o/x) 若P(O/x)<P(O2/x),则x∈O2 P(o/x)P(o2/ 0.8 设N个样本分为两类o1,O2每个样本抽出06 n个特征, 02 =(1,x,x3,…,xn)T 后验概率分布 1、判别函数:g(x)=81(x)-g2(x) 若已知先验概率Pω1)P(O2),类条件概率密度P(x/o1), P(x/o2)。则可得贝叶斯判别函数四种形式:
1 2 2 1 2 1 ( ) ( ), ( ) ( ), P x P x x P x P x x 若 则 若 则 Ø 设N个样本分为两类ω1，ω2。每个样本抽出 n个特征， Ø x =（x1， x2， x3，…， xn）T v 通过 对细胞的再观察，就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞x进行识别 。 1、判别函数： 若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ ω1)， P(x/ ω2)。 则可得贝叶斯判别函数四种形式 ： ( ) ( ) ( ) 1 2 g x g x g x ( ) 1 P x ( ) 2 P x 0.2 x 0.4 0.6 0.8 1.0 后验概率分布 P( x) i
)g(x)=PO1/x)-P(o2/x),(后验概率) (2)g(x)=P(x/o)P(o)-P(x/2)P(o2)(类条件概率密度) (3)g(x)= P(xo)P(O2),(似以然比形式) P(x/@2)P(a) (4)g(x)=hP(xohP(o).取对数方法) x0, 2、决策规则:()P(0/)>P(O2/x)→x∈ (2)P(x/1)P(o1)P(x/2)P(O2)→x∈ P(x/ O 2 X/0 P(O1) →x∈ 2 P( O (4)g(x)=ln P(x/0 P(x/2)<P(O1) 2
2、决策规则： ,( ) ( ) ( ) ln ( ) ( ) (4) ( ) ln ,( ) ( ) ( ) ( ) ( ) (3) ( ) (2) ( ) ( ) ( ) ( ) ( ),( ) (1) ( ) ( ) ( ),( ) 1 2 2 1 1 2 2 1 1 1 2 2 1 2 取对数方法 似然比形式 类条件概率密度 后验概率 P P P x P x g x P P P x P x g x g x P x P P x P g x P x P x 2 1 1 2 2 1 2 1 1 2 2 1 2 1 1 1 2 2 2 1 1 2 ( ) ( ) ln ( ) ( ) (4) ( ) ln ( ) ( ) ( ) ( ) (3) (2) ( ) ( ) ( ) ( ) (1) ( ) ( ) x P P P x P x g x x P P P x P x P x P P x P x P x P x x
3、决策面方程:8(x)=0 x为一维时,决策面为一点,x为二维时决策面为曲线,x为三维时,决策面为 曲面,x大于三维时决策面为超曲面。 令例:某地区细胞识别;P(o1)=09,P(o2)=0.1未知细胞x,先从类条件概率密 度分布曲线上查到:P(x/o1)=0.2,P(x/o2)=04 ◆解:该细胞属于正常细胞还是异常细胞,先计算后验概率: P(O,/x) P(x/O)P(a)02×0.9 0.818 ∑P(x/)P(o) 0.2×0.9+0.4×0.1 P(O2/x)=1-P(a1/x)=0.182因为P(a1/x)>P(2/x)…x∈O属正常细胞 因为P(O1)>>P(O2),所以先验概率起很大作用
3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为 曲面，x大于三维时决策面为超曲面。 v 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密 度分布曲线上查到： v 解：该细胞属于正常细胞还是异常细胞，先计算后验概率： g (x) 0 P(x/ ω1)=0.2， P(x/ ω2)=0.4 ( ) ( ), . ( ) 1 ( ) 0.182, ( ) ( ), 0.818 0.2 0.9 0.4 0.1 0.2 0.9 ( ) ( ) ( ) ( ) ( ) 1 2 2 1 1 2 1 2 1 1 1 1 因为 所以先验概率起很大作 用 因为 属正常细胞。 P P P x P x P x P x x P x P P x P P x j j j