统计学习理论及应用 第三讲回归模型 编写：文泉、陈娟 电子科技大学计算机科学与工程学院
统计学习理论及应用 第三讲 回归模型 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院
目录 ①一个例子 ②最小二乘法 ③从线性到非线性：用线性模型 ④概率解释 。最大似然估计 。最大后验概率估计 。正则化效果 ⑤偏置-方差困境 。损失函数的第一步分解 。损失函数的第二步分解 。对多个数据集的简单总结 1/51
目录 1 一个例子 2 最小二乘法 3 从线性到非线性：用线性模型 4 概率解释 最大似然估计 最大后验概率估计 正则化效果 5 偏置-方差困境 损失函数的第一步分解 损失函数的第二步分解 对多个数据集的简单总结 1 / 51
知识点： ·回归分析的基本理论概念、性质、计算 ·最小二乘法的推导和计算 。回归分析的概率解释 。非线性函数的回归分析 ·回归分析的偏置-方差困境 重点与难点： ·重点：回归分析推导和计算 。难点：回归分析概率解释 2/51
知识点： 回归分析的基本理论概念、性质、计算 最小二乘法的推导和计算 回归分析的概率解释 非线性函数的回归分析 回归分析的偏置-方差困境 重点与难点： 重点：回归分析推导和计算 难点：回归分析概率解释 2 / 51
3.1.一个例子 。考察房价走势，有如下数据： 年份 平方米价格（万） 1999 70 6 2000 60 6 2001 120 20 2002 125 26 ·通常希望通过这些数据，预测未来房价走势。 3/51
3.1. 一个例子 考察房价走势，有如下数据： 年份 平方米 价格 (万) 1999 70 6 2000 60 6 2001 120 20 2002 125 26 . . . . . . . . . 通常希望通过这些数据，预测未来房价走势。 3 / 51
假定x=[x1,x2,·,x,各个分量代表各个特征输入， 构成一个回归量；d对应于x的一个输出。它们的依赖关 系可以由如下一个线性回归模型表达。 M d=∑wx+e i=1 公式中w1,w2,·,wM定义的是一组固定但未知的参数， ε表示模型的期望误差，“固定的”表示我们假定环境是稳 定的，静态的(stationary),写为向量矩阵形式： d=wx+8 4/51
▶ 假定 x = [x1, x2, · · · , xM] T ，各个分量代表各个特征输入， 构成一个回归量； d 对应于 x 的一个输出。它们的依赖关 系可以由如下一个线性回归模型表达。 d = X M i=1 wixi + ε 公式中 w1,w2, · · · ,wM 定义的是一组固定但未知的参数， ε 表示模型的期望误差，“固定的”表示我们假定环境是稳 定的，静态的 (stationary) ，写为向量矩阵形式： d = w T x + ε 4 / 51