第三章分类器的设计 ■线性分类器的设计 分段线性分类器的设计 ■非线性分类器的设计
第三章 分类器的设计 ◼ 线性分类器的设计 ◼ 分段线性分类器的设计 ◼ 非线性分类器的设计
§3-1线性分类器的设计 上一章我们讨论了线性判别函数形式为g(x)=WX 其中X=(X,X2…!)n维特征向量 W=W1,V2…,Wn,Wn)n维权向量 分类准则 ∈O12g(x)>0 lx∈O2,8(x)<0 通常通过特征抽取可以获得n维特征向量,因此n维 权向量是要求解的 求解权向量的过程就是分类器的训练过程,使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类
§3-1 线性分类器的设计 上一章我们讨论了线性判别函数形式为:g(x)=WTX 其中 X= (X1 , X2…Xn ) n维特征向量 W= (W1 , W2… Wn , Wn+1 ) n维权向量 通常通过特征抽取可以获得n维特征向量，因此n维 权向量是要求解的。 求解权向量的过程就是分类器的训练过程，使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的分类。 , ( ) 0 , ( ) 0 2 1 x g x x g x 分类准则
利用已知类别学习样本来获得权向量的训练过程如下 WX X wx 2 >0X∈01 <0X∈02 Xn 检测 n+1 (已知类别) W1=W±△ 已知X∈ω1,通过检测调整权向量,最终使X1∈u 已知x∈ω2,通过检测调整权向量,最终使x2∈ω2 这样就可以通过有限的样本去决定权向量
利用已知类别学习样本来获得权向量的训练过程如下 已知x1 ∈ω1 , 通过检测调整权向量，最终使x1 ∈ω1 已知x2 ∈ω2 , 通过检测调整权向量，最终使x2 ∈ω2 这样就可以通过有限的样本去决定权向量 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ >0 x∈ω1 检测 (已知类别) W1 X1 W2 X2 Wn Xn Wn+1 <0 x∈ω2 g(x)=wTx W1 = W
利用方程组来求解权向量 对二类判别函数g(x)=W1X1+W2X2+W2 已知训练集:XXX。X且 当(XX)∈W时g(x)>0 当(X。X)∈W2时g(x)<0 设 Xb2=( 判别函数可联立成: XlaW+ X2aw2+ W3>0 X1W1+X21W2+W2>0 X1。W1+X2W2+W2<0 ①②③ X1AW1+Ⅹ2W2+W2<0 求出W1,W2W2
利用方程组来求解权向量 对二类判别函数g(x) = W1 X1 + W2 X2 +W3 已知训练集：Xa, Xb, Xc, Xd且 当 (Xa, Xb ) ∈W1时 g(x)＞0 当 (Xc, Xd ) ∈W2时 g(x)＜0 设 Xa = (X1a, X2a ) T Xb = (X1b, X2b ) T Xc = (X1c, X2c ) T Xd = (X1d, X2d ) T 判别函数可联立成： X1aW1+ X2aW2+ W3＞0 ① X1bW1+ X2bW2+ W3＞0 ② X1cW1+ X2cW2+ W3＜0 ③ X1dW1+ X2dW2+ W3＜0 ④ 求出W1 , W2 , W3
将③④式正规化,得 XIWi x2cW2- w3 >0 XidW- x2dw2 W3 >0 所以g(x)=WX>0其中W=(W1,W2,W3)T 26 为各模式增1矩阵 X X 2d 为N*(n+1)矩阵 N为样本数,n为特征数
将③ ④式正规化，得 -X1cW1- X2cW2- W3 >0 -X1dW1- X2dW2- W3 >0 所以 g(x) =WTX >0 其中W = (W1 , W2 , W3 ) T 为各模式增1矩阵 为N*(n+1）矩阵 N为样本数，n为特征数 − − − − − − = 1 1 1 1 1 2 1 2 1 2 1 2 d d c c b b a a X X X X X X X X X