电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第4章 回归分类

回归分类 电子科技大学 师君

电子科技大学 师 君

最小二乘问题 线性分类 广义线性分类 稀疏重建

最小二乘问题 线性分类 广义线性分类 稀疏重建

回归问题 ,回归一一Regression 。假设数据服从某种定量关系，由于误差存在导致观测结 果偏离规律，如何从误差数据中重建该关系。 Linear No linear relationship

 回归——Regression ◦ 假设数据服从某种定量关系，由于误差存在导致观测结 果偏离规律，如何从误差数据中重建该关系

回归问题 ,最小二乘准则 。回归残差 e;=f(x;w)-y e=leez,ex 。最小二乘准则： w*=argmin∑f(x;w）-y,'=argmin(e'c)

 最小二乘准则 ◦ 回归残差 ◦ 最小二乘准则：   2 * argmin ( ; ) argmin T i i i P f x w y      w w w e e  1 2  ( ; ) , ,... i i i T N e f y e e e    x w e

回归问题 ，线性回归 。狭义线性回归一一 线性函数 f(x;w)=wx 。广义线性回归一一基函数的线性组合 f(x;w)=>w:0:(x)=w"(o(x)) p(x)=((x)(x)..x(x)

 线性回归 ◦ 狭义线性回归——线性函数 ◦ 广义线性回归——基函数的线性组合 ( ; ) T f x w w x          1 2       ( ; ) ... T k k k T K f w        x w x w  φ x φ x x x x