3.小结(1）明确概念：线性可分一且线性判别函数的系数W被确定以后，这些函数就可以作为模式分类的基础。(2）0/可与の/0分法的比较：对于M类模式的分类，の/の两分法共需要M个判别函数，但の/两分法需要MM-1)/2个。当时M>3时，后者需要更多个判别式（缺点），但对模式的线性可分的可能性要更大一些（优点）。原因：一种类别模式的分布要比M-1类模式的分布更为聚集，の/の分法受到的限制条件少，故线性可分的可能性大
(1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以 作为模式分类的基础。 3. 小结 (2) i i 与i j 分法的比较： 对于M类模式的分类， 两分法共需要M个判别函数，但 两分法需要M(M-1)/2个。当时M>3时，后者需要更多个判 别式（缺点），但对模式的线性可分的可能性要更大一些（优 点）。 i j i i 原因： 一种类别模式的分布要比M-1类模式的分布更为聚集， 分法受到的限制条件少，故线性可分的可能性大。 i j
3.3广义线性判别函数目的：对非线性边界：通过某映射，把模式空间X变成X*，以便将X空间中非线性可分的模式集，变成在X*空间中线性可分的模式集。d(X)=wx +W2X2 +...+W.Xn +Wn+11.非线性多项式函数非线性判别函数的形式之一是非线性多项式函数设一训练用模式集，X在模式空间X中线性不可分，非线性判别函数形式如下：d(x)=wji(x)+w.f(x)+..+wwf (x)+wI= Zw.f(x)(3-9)=式中(f(X)i=1,2,,k)是模式x的单值实函数，fk(X)=1。f(X)取什么形式及d(X)取多少项，取决于非线性边界的复杂程度
1．非线性多项式函数 非线性判别函数的形式之一是非线性多项式函数。 3.3 广义线性判别函数 目的： 对非线性边界：通过某映射，把模式空间X变成X*，以便 将X空间中非线性可分的模式集，变成在X*空间中线性可分的 模式集。 设一训练用模式集，{X}在模式空间X中线性不可分，非线 性判别函数形式如下： ( ) = 1 1 + 2 2 ++ n n +wn+1 d X w x w x w x ( ) ( ) ( ) ( ) (3-9) = 1 1 + 2 2 ++ k k + wk+1 d X w f X w f X w f X ( ) + = = 1 1 k i i i w f X 式中f i (X), i =1,2, , k 是模式X的单值实函数， f k+1 (X) =1 。 f i (X)取什么形式及d(X)取多少项，取决于非线性边界的复杂程度
广义形式的模式向量定义为：X*=[x,x,..,x,1]=Lf(X),f.(X),..,f.(X)1]T（3-10）这里X*空间的维数k高于X空间的维数n，（3-9）式可写为(3-11)d(X)=WTx*=d(X*),W =[wi,w2,..,wk,Wk+I]T上式是线性的。讨论线性判别函数并不会失去一般性的意义问题：非线性变换可能非常复杂。维数大大增加：维数灾难。随着小样本学习理论和支持向量机的迅速发展，广义线性判别函数的“维数灾难”问题在一定程度上找到了解决的办法
广义形式的模式向量定义为： ( ) ( ) ( ) (3-10) T 1 2 * * T 2 * X =[x1 , x , , xk ,1] = f X , f X , , f k X ,1 这里X*空间的维数k高于X空间的维数n，(3-9)式可写为 上式是线性的。讨论线性判别函数并不会失去一般性的意义。 ( ) ( ) T 1 2 1 T * * , , , , , d X =W X = d X W = w w wk wk+ (3-11) 随着小样本学习理论和支持向量机的迅速发展，广义线性 判别函数的 “维数灾难”问题在一定程度上找到了解决的办法。 非线性变换可能非常复杂 。 问题： 维数大大增加： 维数灾难
例3.7假设X为二维模式向量，f(X)选用二次多项式函数，原判别函数为d(X)=ix+Wi2XX+W22x2+iX+W2X2+W3广义线性判别函数：定义：x* =f(X)=x x*2 =f(X)=xx2*, =f(X)=xx* =f(X)=xx*,= f(X)=x2即: X*=[x,xx2,x2, xi,x2,]]TW=[w1,Wi2, W22, Wi,W2,w ]d(X)线性化为：d(X*)=WTX
例3.7 假设X为二维模式向量， f i (X)选用二次多项式函数，原判 别函数为 1 1 2 2 3 2 1 2 1 2 2 2 2 2 1 1 1 d(X) = w x + w x x + w x + w x + w x + w ( ) 2 3 3 2 x* = f X = x ( ) * 4 4 1 x = f X = x ( ) * 5 5 2 x = f X = x ( ) 2 * 1 1 1 x = f X = x ( ) * 2 2 1 2 定义： x = f X = x x d(X)线性化为： ( *) * T d X =W X T 1 2 2 1 2 2 2 X* = x1 , x x , x , x , x ,1 T 11 12 22 1 2 3 即： W = w ,w ,w ,w ,w ,w 广义线性判别函数：
3.4线性判别函数的几何性质3.4.1模式空间与超平面1.概念模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间模式向量的表示：点、有向线段。线性分类：用d(X）进行分类，相当于用超平面d(X)=0把模式空间分成不同的决策区域2.讨论设判别函数：d(X)=WTX+Wn+I式中,W。=[wi,w2,...,wn], X=[x,x2,..,x,]超平面：d(X)=WTX+Wn+1=0
3.4 线性判别函数的几何性质 3.4.1 模式空间与超平面 模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间。 模式向量的表示：点、有向线段。 线性分类：用d(X)进行分类，相当于用超平面d(X)=0把模式空 间分成不同的决策区域。 2. 讨论 1. 概念 T 0 1 2 , , , W = w w wn T 1 2 , , , 式中， ， X = x x xn 。 ( ) 1 T 设判别函数： d X = W0 X + wn+ 超平面： ( ) 1 0 T d X =W0 X + wn+ =