5)模式识别中的三个概率设随机样本向量X,相关的三个概率:(1)先验概率P(の):根据以前的知识和经验得出的の类样本出现的概率,与现在无关。(2)后验概率P(@X):相对于先验概率而言。指收到数据X(一批样本)后,根据这批样本提供的信息统计出的类出现的概率。表示X属于の类的概率。(3)条件概率P(X):已知属于の类的样本X,发生某种事件的概率。例对一批得病患者进行一项化验,结果为阳性的概率为95%,の,代表得病人群,则X化验为阳性的事件可表示为P(X=阳|@)=0.95今后的分类中常用到类概率密度p(Xlo):の类的条件概率密度函数,通常也称为の的似然函数
今后的分类中常用到类概率密度p(X |ωi ) :ωi类的条件概 率密度函数,通常也称为ωi的似然函数。 设随机样本向量X ,相关的三个概率: (2)后验概率P(ωi |X) :相对于先验概率而言。指收到数据X (一批样本)后,根据这批样本提供的信息统计出的ωi类出现 的概率。表示X 属于ωi类的概率。 5)模式识别中的三个概率 (1)先验概率P(ωi ) :根据以前的知识和经验得出的ωi类样本 出现的概率,与现在无关。 (3)条件概率P(X |ωi ) :已知属于ωi类的样本X,发生某种事 件的概率。例对一批得病患者进行一项化验,结果为阳性的概 率为95%,ω1代表得病人群, 则X化验为阳性的事件可表示为 P(X =阳|1 )= 0.95
例如:一个2类问题,の,诊断为患有某病,の,诊断为无病则:P(の)表示某地区的人患有此病的概率,通过统计资料得到P)表示该地区人无此病的概率若用某种方法检测是否患有某病,假设X表示“试验反应呈阳性”。则:P(Xl02)表示无病的人群做该试验时反应呈阳性(显示有病)的概率P(02lX)表示试验呈阳性的人中,实际没有病的值低/高?人的概率。值低/高?P(Xo)表示患病人群做该试验时反应呈阳性的概率。P(のlX)表示试验呈阳性的人中,实际确实有病的人的概率
P(ω2 | X) 表示试验呈阳性的人中,实际没有病的 人的概率。 若用某种方法检测是否患有某病,假设 X 表示“试验反 应呈阳性”。则: 例如:一个2类问题,ω1诊断为患有某病,ω2诊断为无病, P(ω2 )表示该地区人无此病的概率。 则: P(ω1 )表示某地区的人患有此病的概率, P(X |ω2 ) 表示无病的人群做该试验时反应呈阳性 (显示有病)的概率。 值低 / 高 √ 值低 / 高 √ P(X |ω1 ) 表示患病人群做该试验时反应呈阳性的 概率。 P(ω1 | X) 表示试验呈阳性的人中,实际确实有病的 人的概率。 ? ? 通过统计 资料得到
(4)三者关系:根据(4-4)贝叶斯公式有P(A)P(B|A)P(A, IB) =ZP(A,)P(BIA)i-1P(o, X)= (X(0)P(a) =-p(X10 )P(a.)(4-5)p(X)Zp(x0,)p(o,)1=M:类别数
(4)三者关系:根据(4-4)贝叶斯公式有 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = = = M i i i i i i i i p P p P p p P P 1 | | | | X X X X X (4-5) ( ) ( ) ( ) ( ) ( ) = = n i i i i i i P A P B A P A P B A P A B 1 | | | M:类别数
4.2贝叶斯决策4.2.1最小错误率贝叶斯决策1.问题分析讨论模式集的分类,目的是确定X属于那一类,所以要看X来自哪类的概率大。在下列三种概率中:先验概率P(o)类(条件)概率密度p(X/o)后验概率P(o/X)采用哪种概率进行分类最合理?后验概率P(の/X)2.决策规则设有M类模式,若 P(o,IX)=max(P(o, IX)), j=1,2,...,M则Xe0类(4-6)最小错误率贝叶斯决策规则
2. 决策规则 若 P( i | X) = maxP( j | X), j =1,2, ,M 则 X i类 4.2.1 最小错误率贝叶斯决策 讨论模式集的分类,目的是确定X属于那一类,所以 要看X来自哪类的概率大。在下列三种概率中: 先验概率P(ωi ) 类(条件)概率密度p(X |ωi ) 后验概率P(ωi | X) 采用哪种概率进行分类最合理? 1. 问题分析 后验概率P(ωi | X) 4.2 贝叶斯决策 设有M类模式, (4-6) —— 最小错误率贝叶斯决策规则
若P(@/X)=maxP(o,/X)bj=1,2,.,M则XEO类几种等价形式:虽然后验概率P(X)可以提供有效的分类信息,但先验概率P(の)和类概率密度函数p(Xo)从统计资料中容易获得,故用Bayes公式,将后验概率转化为类概率密度函数和先验概率的表示。由:P(0, /X)- p(X/0,)P(0.)p(x)可知,分母与无关,即与分类无关,故分类规则又可表示为若p(Xl)P(@)=maxp(Xo)P(o)/j=1,2,,M,则Xo类(4-7)
( ) ( ) ( ) (X ) X X p p P P i i i | | = 虽然后验概率P(ωi | X)可以提供有效的分类信息,但先验概 率P(ωi )和类概率密度函数p(X |ωi )从统计资料中容易获得,故 用Bayes公式,将后验概率转化为类概率密度函数和先验概率的 表示。由: 可知,分母与i无关,即与分类无关,故分类规则又可表示为: 若 p(X | i )P( i )= maxp(X | j )P( j ) j =1,2, ,M , 则 X i类 (4-7) 则 类 若 i P i P j j M = = X ( | X) max ( | X) , 1,2,, 几种等价形式: