电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第4章 回归分类

回归问题 ,最小二乘问题的矩阵模型 。矩阵表示 e,=w'(p(x,))-y=(p(x,))w-x e=ΦW-y 9,(x1)p2().px() 0,(2）p2(2）…px(2) Φ 三 (xx)(xx)..(xx)

 最小二乘问题的矩阵模型 ◦ 矩阵表示                         1 1 2 1 1 1 2 2 2 2 1 2 ... ... ...... ... T T i i i i i K K N N K N e y y                         w φ x φ x w e w y x x x x x x x x x

回归问题 ,最小二乘问题的矩阵模型 w*arg min e=arg minw-y =argmin(e'e) =argmin[(Φw-y)'(Φw-y)]

 最小二乘问题的矩阵模型       2 2 2 2 * arg min arg min arg min arg min T T               w w w w w e w y e e w y w y

回归问题 ,最小二乘解 e'e=(④w-y)'(④w-y) =wIΦΦw-2wΦ'y+yy ae'e=2ΦΦw-2Φ'y=0 ∂w →w=(DΦ)'Φ'y MP广义逆矩阵

 最小二乘解       1 = 2 2 2 0 T T T T T T T T T T T T                        e e w y w y w w w y y y e e w y w w y MP广义逆矩阵

最小二乘问题 线性分类 广义线性分类 稀疏重建

最小二乘问题 线性分类 广义线性分类 稀疏重建

线性分类 W x2 w ，线性分类器 。基本线性模型 x y=Wx+0o 8。 Wo

 线性分类器 ◦ 基本线性模型 0 T y   w x  ω0