北京邮电大学信息工程学院：《模式识别导论》课程教学资源（PPT课件讲稿）第四章 贝叶斯决策理论

4、分类器设计: X∈ 判别计算 阈值单元决策 特征向量

g(x)    n xxx X ...21 特征向量 判别计算 决策 21  x   阈值单元 4、分类器设计：

二、多类情况:o=(o,2,,m),x=( 1判别函数:M类有M个判别函数g(x),gx),…,gn(x)每个判别函数有 上面的四种形式。 2决策规则:g(x)=P(x/O,)P(m1) =maxP(x/O1)P(O1)→x∈O12(i=1,2,,M) 另一种形式: g,(x)=In P(x/0 ) In P(o) max in P(x/o)+In P(o) xX∈O J 3、决策面方程:81(x)=8(x)即g(x)-8(x)=0 4、分类器设计: g1(x) X Maxg(x) ●。● n() 最大值选择器决策 特征向量 判别计算

Ø 二、多类情况：ωί=(ω1 ,ω2 ,…,ωm)，x=(x1 ,x2 ,…,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x).每个判别函数有 上面的四种形式。 2.决策规则： max ( ) ( ) ,( 1,2,..., ) ( ) ( ) ( ) 1 P x P x i M g x P x P j j i j M i i i              j i  i j M i i i P x P x g x P x P              max ln ( ) ln ( ) ( ) ln ( ) ln ( ) 1 Ø另一种形式： 3、决策面方程： 4、分类器设计： g (x)  g (x), g (x)  g (x)  0 i j 即 i j g1(x) Maxg(x)        n x x x X ...2 1 特征向量 判别计算 决策 i g2(x) x   gn(x) 最大值选择器

今§4-2正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布: a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单,N(μG2)只有均值和方差两个参数 2、单变量正态分布: P(x) x-μ exp N(μ,G2) 2 其中:μ=E(x)=∫。xP(x)x,(均值或数学期望 Ek(x-)=(x-)P(x)d,(方差 P(x) 概率密度函数应满足下列关系 P(x)≥0,(-0<x<∞) 0.95 T P(x)dx +2G

v§4-2 正态分布决策理论 Ø 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ ²) 只有均值和方差两个参数。 2、单变量正态分布：      ( ) ( ) : ( ) ( ) , ( ) ( , ) 2 1 exp 2 1 ( ) 2 2 2 2 2 ，方差 其中 均值或数学期望 E x x P x dx E x xP x dx N x P x                                                   ( ) 1 ( ) 0,( ) P x dx P x x 概率密度函数应满足下 列关系： P( x)  X   2    2  0 .95 1

3、(多变量)多维正态分布 (1)函数形式 z∑ 其中:x=(x1,x2,,x),n维特征向量 =(A1,42,pn),n维均值向量 ∑为x维协方差矩阵∑为∑的逆阵,的行列式 H = E(x x P(xdx ∑=E[(x-n)(x-)2 E E

3、（多变量）多维正态分布 （1）函数形式：                               为 维协方差矩阵， 为 的逆阵， 为 的行列式 ， 维均值向量 其中 维特征向量 1 1 2 1 2 1 2 1 2 ( , ,..., ) : , ,..., , 2 1 exp 2 1 ( ) n n n x x x x n P x x x T n T n T n        i i i i i E x x P x dx       ( )  ( )                                                                           n n n n n n n n n n n n T x x x x x x x x E x x x x E E x x               ... ...... ... ...... ,..., 1 1 1 1 1 1 1 1 1 1 1 1

E(x )].E[(x1-41)(xn-n) E(x E 2 2 对角线 是方差 非对角线 O,i≠j是协方差 n 2 (2)、性质: X ①、与∑对分布起决定作用P(x)=N(x,∑),由 n个分量组成,∑由nn+)2元素组成。∴多维正态分° 布由n+n(n+1)2个参数组成 μ 等密度点的轨迹是一个超椭球面。区域 中心由μ决定,区域形状由∑决定。 ③、不相关性等价于独立性。若x,与x互不相 关则x与x一定独立。 ④、线性变换的正态性Y=AX,A为线性变换 矩阵。若Ⅹ为正态分布,则Y也是正态分布 ⑤、线性组合的正态性

                                          非对角线 ， 是协方差 对角线 是方差 i j i j E x x E x x E x x E x x ij ij n n nn n n n n n n n n n 2 2 2 2 2 2 1 2 1 2 12 2 11 1 1 1 1 1 1 1 1 , , ... ... ... ... ... ... ... ...... ...                 (2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由 n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分 布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域 中心由μ决定，区域形状由∑决定。 ③、不相关性等价于独立性。若xi与xj互不相 关,则xi与xj一定独立。 ④、线性变换的正态性Y=AX，A为线性变换 矩阵。若X为正态分布，则Y也是正态分布。 ⑤、线性组合的正态性。   2  1 X 1 X 2