散度表示了区分の类和の，类的总的平均信息特征选择和特征提取应使散度尽可能的太2）散度的性质(1)J,=JjiP(X0J, = I, + I ,=f,[p(Xo,)-p(Xo, )]lndxp(X0p(X)0dXJ,= I , + I, =[,[p(X0,)-p(Xo,)]lnp(Xo,)（2）J.为非负，即J,≥0。当p(Xl)±p(Xl0)时，J,>0,p(XIo）与p(XIの)相差愈大，J越大。当p(Xlo）=p(Xlの），两类分布密度相同，J,=0
X X X X X d p p J I I p p i j X j i j i i j j i ( ) ( ) [ ( ) ( )]ln = + = − 散度表示了区分ωi类和ωj类的总的平均信息。 2）散度的性质 （1） ij ji J = J X X X X X d p p J I I p p j i X i j i j j i i j ( ) ( ) [ ( ) ( )]ln = + = − （2） ij J 为非负，即 0 ij J 。 当 ( | ) ( | ) p X i p X j 时， Jij 0， ( | ) p X i 与 ( | ) p X j 相差愈大， ij J 越大。 当 ( | ) ( | ) p X i = p X j ，两类分布密度相同， = 0 ij J 。 ——特征选择和特征提取应使散度尽可能的 使散度尽可能的大？
（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小p(x /0,)P(0)p(x/0)P(O)p(x /0 )P(0)020P(0 )P,(e)P(o)P(e)X7RiR2由散度的定义式 J,= l,+ 1,=I,[p(X(l0) -p(Xl0,)/n P(Xla)dxp(X0,)可知，散度愈大，两类概率密度函数曲线相差愈大，交叠愈少，分类错误率愈小
（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小。 0 x 1 2 ( | ) ( ) 1 P 1 p x ( ) ( ) 1 1 P P e ( ) ( ) 2 2 P P e R1 R2 ( | ) ( ) 2 P 2 p x ( | ) ( ) i P i p x X X X X X d p p J I I p p j i X i j i j j i i j ( ) ( ) [ ( ) ( )]ln 由散度的定义式 = + = − 可知，散度愈大，两类概率密度函数曲线相差愈大，交叠愈少， 分类错误率愈小