4.1 Fishe线性判别 Fishe准则的合理性: F(v)只与投影方向有关,与W大小无关 若W是一个最优解,k也是最优解,k是 任何不为零的常数
4.1 Fisher线性判别 Fisher准则的合理性： 只与投影方向有关，与 大小无关— 若 是一个最优解， 也是最优解， 是 任何不为零的常数。 J (w) F w w kw k
4.1 Fishe线性判别 ■ Fisher最佳投影方向的求解: n要求 S=S1+S2正定。 否则,存在投影方向W,使得 v2Sw=0.所有数据被投影到一点上 J()没有极大值
4.1 Fisher线性判别 Fisher最佳投影方向的求解： 要求： 正定。 否则，存在投影方向 ，使得 没有极大值。 St = S1 + S2 w w S w = 0. t T J (w) F 所有数据被投影到一点上！
4.1 Fishe线性判别 求出最佳投影方向上任何一个w即可。 aJ(w)有上界,最佳投影方向一定存在 J() b丿max (S,) 入(S)m(S)mn分别是矩阵S,S的 最小、最大的特征根
4.1 Fisher线性判别 求出最佳投影方向上任何一个 即可。 有上界，最佳投影方向一定存在！ 分别是矩阵 的 最小、最大的特征根。 w . ( ) ( ) ( ) min max t b F S S J w λ λ≤ J (w) F min max ( ) , ( ) w b λ S λ S t b S , S
4.1 Fishe线性判别 定存在一个最优的W,满足: W2S,w=1.因为S正定! 无约束最优化:max wS, wSw 等价于带约束的最优化: maX w Sb s.t. wsw=1
4.1 Fisher线性判别 一定存在一个最优的 ，满足： 无约束最优化： 等价于带约束的最优化： w w S w =1. t T max . w S w w S w t T b T . . 1. max st w S w = w S w t T b T 因为 St 正定！
4.1 Fishe线性判别 带等式约束的最优化,用 Lagrange乘子法: L(w,n)=wS,w-a(w'S OL(w, n) 最优解满足:SW-S,womn=0
4.1 Fisher线性判别 带等式约束的最优化，用Lagrange乘子法： 最优解满足： L(w, ) = w S w− (w S w−1). t T b T λ λ . ( , ) S w S w w L w b λ t λ = − ∂ ∂ − = 0. b opt twopt S w λS