北京邮电大学信息工程学院：《模式识别导论》课程教学资源（PPT课件讲稿）第四章 贝叶斯决策理论

判别函数:类条件概率密度用正态来表示: g(x)=P(xo)P(o,) exp (x-,)∑(x-u,)P(, exp 2 (x-,)∑;(x-p,)}+mnP(o,) (27)%∑ (x-H2)∑;(x-u,) ln2π 2 2 决策面方程:g(x)-g(x)=0 g(x)-g(x)=-1(x-,)(x-1,)-(x-,∑(x-H,) P 十in P(o,) >二、最小错误率( Bayes)分类器:从最小错误率这个角度来分 析 Bayes分类器 1第一种情况:各个特征统计独立,且同方差情况。(最简单情况)

Ø 判别函数：类条件概率密度用正态来表示：                 ln ln ( ) 2 1 ln 2 2 2 1 ln ( ) 2 1 exp 2 1 ln ( ) 2 1 exp 2 1 ( ) ( ) ( ) 1 1 2 1 2 1 2 1 2 i i i i T i i i i T i i n i i i T i i n i i P n x x x x P x x P g x P x P                                                               Ø二、最小错误率(Bayes)分类器：从最小错误率这个角度来分 析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况) Ø 决策面方程：g ( x )  g ( x )  0         0 ( ) ( ) ln 2 1 ( ) ( ) 1 1                     j i i i i i i i P P g x g x x x x x

0 只有方差,协方差为零 判别函数: (x-,)∑(x=)-2n2x-hm∑|+hnP(a,) 因为∑=021=VG。Σ|=a21.2m2z都与无关 对分类无影响 (x-u,)∑:(x-m) +lnP(,),其中‖ ◆如果M类先验概率相等 O1)=P(2) P( .g(x)= 2,(欧氏距离) >最小距离分类器:未知x与μ相减,找最近的把x归 类

             i T i i i i i i i T i i i i i i i i i T i i P x x x x g x x x P i n I I I P n g x x x                                                  2 2 2 1 2 1 2 2 1 ln ( ), 2 ln ( ) 2 1 ( ) ln 2 2 , 1 , , ln ln ( ) 2 1 ln 2 2 2 1 ( ) 其中 对分类无影响。 因为 都与 无关。 , ( ) 2 ( ) ( ) ( ) ... ( ) 2 2 1 2 欧氏距离      i m x g x P P P       即 ，只有方差，协方差为零。          2 2 11 2 0 ... ... ... ... ... 0 : nn i I    Ø 判别函数： Ø 最小距离分类器：未知x与μi相减，找最近的μi把x归 类 v如果M类先验概率相等：

(x-,)(x-p,)=xx-24ax+,因为二次项x2x与i无关 简化可得:g,(x)=2x+wo,(线性判别函数) 其中:w 11+nP(O) 2 282 判别规则:g(x)=m2x+m0=max{wx+mn}=x∈o 对于二类情况g(x)=g2(x)-g1(x) (2-1)x*3(41A1-2k2)1nP(o)分r 决策面方程:g(x)-g(x)=0 W(x-x0)=0 其中W H),P(O,) P(O,)

     j  i T j w M i T i i i i T i i i i i T i i T T T i T i g x w x w w x w x w w P g x w x w x x x x x x x i                                 0 1 0 2 0 2 0 ( ) max ln ( ) 2 1 , 2 1 ( ) ,( ) 2 , 判别规则： 其中： 简化可得： 线性判别函数 因为二次项 与 无关   ( ) ( ) ( ) ln 2 1 ( ) 0 ( ) ( ) 0 2 0 0 j i i j i j i j i j i j P P x W W x x g x g x                       其中 决策面方程： 2 1 2 1 2 2 1 2 1 1 2 2 2 1 ( ) ( ) ( ) ln 2 1 ( ) 1 ( ) ( ) ( )                       x P P x g x g x g x T T T 对于二类情况

讨论: 二类情况下01=0102 (a)因为∑,=21,协方差为零。所以等柳率面是一个圆形。 (b):因W与(x-x)点积为0,因此分界面H与W垂直 又因为W=4-1=41-2,所以W与11-42同相(同方向 决策面H垂直于的联线 (c):如果先验概率相等P(O1)=P(O2),H通过p联线的中点 否则就是P(1)≠P(O2),H离开先验概率大的一类 (a):对多类情况,用各类的均值联线的垂直线作为界面。 H H23 02P(o1)>P(q2)时决策面HH

Ø 讨论： 决策面 垂直于 的联线。 又因为 ，所以 与 同相同方向 因 与 点积为 ，因此分界面 与 垂直 因为 协方差为零。所以等概率面是一个圆形。         H W W b W x x H W a I i j i          ( ) ( ): ( ) 0 ( ): , 1 2 1 2 0 2 二类情况下 i  12 对多类情况，用各类的均值联线的垂直线作为界面。 否则就是 离开先验概率大的一类。 如果先验概率相等 通过 联线的中点。 ( ): ( ) ( ), ( ): ( ) ( ), 1 2 1 2 d P P H c P P H        1  2 W H P (1 )  P (2 )时决策面 1  2  4 3 H34 H23 H14 1 H12 1  2 1 x 2 x H W 2 0 x

2、第二种情况:Σ;=Σ相等,即各类协方差相等 因为∑1=∑2=…=∑M=∑与无关 g,(x)=-(x-1)∑(x-)+nP(o,) 若先验概率相等P(O1)=P(O2)=P(O3)=…=P(O) g1(x)22(x-A)∑(x-A)=r2(马氏距离) 未知x,把κ与各类均值相减,把κ归于最近 类。最小距离分类器。 把(x-1)∑(x-,)展开;x∑x与无关 g(x)=Wx+w0,(线性函数) 其中W=∑ ∑-1+lnP(O,)

( ) ( ) ( ) 2 1 ( ) ( ) ( ) ( ) ... ( ) ( ) ( ) ln ( ) 2 1 ( ) ... 1 2 1 2 3 1 1 2 ，马氏距离 若先验概率相等 因为 与 无关 g x x x r P P P P g x x x P i i T i i i i i T i i M                                     Ø 未知x，把x与各类均值相减，把x归于最近一 类。最小距离分类器。 ln ( ) 2 1 ( ) , ( ) ( ) 1 0 1 0 1 1 i i T i i i i i T i i T i T i w P W g x W x w x x x x i                        其中 （线性函数） 把 展开； 与 无关。 Ø 2、第二种情况：Σi ＝ Σ相等，即各类协方差相等