2）多类情况的距离特定两类间任意类的组任意样本的组合(1)多类模式向量间的平均一方距离J= P(o) P(,)D(XI,X/)(5-8)nnk=l =l式中，P(の)和P(の)：の和の类先验概率；c：类别数X：の类的第k个样本：X：の，类的第1个样本n和n,：の,和の类的样本数；D（XX）：X和X间欧氏距离的平方。(2）J的另一种形式：将以下3式代入（5-8）式(5-9)平方距离：D(X,X)=(X-X)(X-X)の,类的均值向量：M,=-≥xi（5-10)n,k=c类模式总体的均值向量：M。=P(o,)M(5-11)
= = = = = ni k n j l j l i k c j i j j c i d i D n n J P P 1 1 2 1 1 ( , ) 1 ( ) ( ) 2 1 X X 式中， ( ) P ωi 和 ( ) P j ：i 和 ωj 类先验概率；c：类别数； i Xk ：i 类的第 k 个样本； j Xl ：ωj 类的第 l 个样本； i n 和 j n ：i 和ωj 类的样本数； ( , ) 2 j l i D Xk X ： i Xk 和 j Xl 间欧氏距离的平方。 （5-8） = = n i k i k i i n 1 1 i 类的均值向量： M X （5-10） = = c i P i i 1 0 c类模式总体的均值向量： M ( )M （5-11） 2）多类情况的距离 (2) Jd的另一种形式：将以下3式代入(5-8)式 (1)多类模式向量间的平均平方距离Jd ( , ) ( ) ( ) 2 T j l i k j l i k j l i 平方距离： D Xk X = X − X X − X （5-9） 任意类的组 合 特定两类间 任意样本的组合
-Z(X; -M)(X,-M)+(M,-M,)(M,-M.)得 Ja=P(o,)n,k=li=1某类类内平方某类类间距离平均值平方距离十某类的平方距离多类模式向量之间的平方距离各类平方距离的先验概率加权和模式类间的距离多类模式向量之间的距离模式类内的距离3）多类情况的散布矩阵多类类间散布矩阵：S,=P(oM-MM,-M）1=
得 = − − + − − = = ( ) ( ) ( ) ( ) 1 ( ) 0 T 0 1 T 1 X M X Mi Mi M Mi M i k i n k i i k i c i d i n J P 某类类内平方 距离平均值 某类类间 平方距离 多类模式向量之间的平方距离=各类平方距离的先验概率加权和 + 某类的平方距离 模式类间的距离 模式类内的距离 多类模式向量之间的距离 3）多类情况的散布矩阵 = = − − c i b P i i i 1 T 0 0 多类类间散布矩阵 ： S ( )(M M )(M M )
得 J,-ZP(0)-Z(XI -M)(X -M,)+(M,-M)(M,-M.)ni=lk=l多类类内散布矩阵：S=P(O)E((X-M)(X-M))XEOi-1ZP(0)-2(X(-M)(X--M)n,k=li=1各类模式协方差矩阵的先验概率加权平均值。多类模式的总体散布矩阵：S,=E((X-M.(X-M.)=S,+S)4）多类模式平均平方距离与总体散布矩阵的关系Ja=tr(S)=tr(S,+S)
4）多类模式平均平方距离与总体散布矩阵的关系 tr( ) tr( ) d t b w J = S = S + S 多类类内散布矩阵： = = − − c i w P i E i i 1 T S ( ) {(X M )(X M ) } X i = = = − − c i ni k i i i k i k ni P 1 1 T i ( )( ) 1 ( ) X M X M —— 各类模式协方差矩阵的 先验概率加权平均值。 多类模式的总体散布矩阵： St = E X − M X − M = Sb + Sw {( )( ) } T 0 0 得 = − − + − − = = ( ) ( ) ( ) ( ) 1 ( ) 0 T 0 1 T 1 X M X Mi Mi M Mi M i k i n k i i k i c i d i n J P
距离与散布矩阵作为可分性测度的特点：计算方便，概念直观（反映模式的空间分布情况）*与分类错误率没有直接的联系P,(e)= /p, p(X /o2)dXP(e)= (.p(X |o,)dXP(e) = P(0 )P(e)+ P(02)P2(e)5.2.2基于概率分布的可分性测度1.散度1）散度的定义出发点：对数似然比含有类别的可分性信息。设のの,类的概率密度函数分别为p(Xlの)和p(X/の）p(Xo,)0,类对の,类的对数似然比：l,=ln Pp(X0,)
距离与散布矩阵作为可分性测度的特点： * 计算方便，概念直观（反映模式的空间分布情况 ）； * 与分类错误率没有直接的联系。 = 2 1 1 ( ) ( | ) R P e p X dX = 1 2 2 ( ) ( | ) R P e p X dX ( ) ( ) ( ) ( ) ( ) 1 1 2 2 P e = P P e + P P e 5.2.2 基于概率分布的可分性测度 1．散度 出发点：对数似然比含有类别的可分性信息。 设i , j 类的概率密度函数分别为 ( | ) p X i 和 ( | ) p X j i 类对 j 类的对数似然比： ( ) ( ) ln j i ij p p l X X = 1）散度的定义
PXQの,类对の,类的对数似然比：1,=In0p(Xo,)对不同的X，似然函数不同，对数似然比体现的可分性不同，通常采用平均可分性信息对数似然比的期望值E(x)= [xp(x)d(x)の，类对数似然比的期望值：p(X0I, = E(l,) = J, p(Xo,)Indxp(Xo,)の，类对数似然比的期望值：P(X0I /, = E()= Jxp(X|o, ) ndxp(X|o,)散度等于两类的对数似然比期望值之和。,类对の,类的散度定义为J：PXJ, = I, + I, = J,[p(X(,)- p(X0, )]Indxp(X0
j 类对i 类的对数似然比： ( ) ( ) ln i j ji p p l X X = 对不同的X，似然函数不同，对数似然比体现的可分性 不同，通常采用平均可分性信息——对数似然比的期望值 。 i 类对数似然比的期望值： X X X X d p p I E l p X j i i j = i j = i ( ) ( ) { } ( )ln j 类对数似然比的期望值： X X X X d p p I E l p X i j j i = j i = j ( ) ( ) { } ( )ln 散度等于两类的对数似然比期望值之和。 i 类对 j 类的散度定义为 ij J ： X X X X X d p p J I I p p j i X i j i j j i i j ( ) ( ) [ ( ) ( )]ln = + = − − E{x}= xp(x)d(x)