多元线性回归模型回顾多元线性回归模型（MultipleLinearRegressionModel）(2)Yi = βiXi1 + β2Xi2 + .. + βpXip +Ei,(i = 1, ..,n)β=（β1.β2，β）为待估计的未知参数，回归系数如果方程(2)中有常数项（即截距项），则通常令第1个变量恒等于1，即x,1=1，Vi该回归模型也可表示为矩阵形式（更常用）(3)Y = Xβ +E其中Y=(y,Y2,"",yn)，X=(x,x2,",xn)，E=(E,E2,"",En)
多元线性回归模型（Multiple Linear Regression Model） 多元线性回归模型回顾 𝑦𝑖 = 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + ⋯ + 𝛽𝑝𝑥𝑖𝑝 + 𝜖𝑖 , (𝑖 = 1, . , 𝑛) (2) 𝛽=(𝛽1,𝛽2,.,𝛽𝑝)′为待估计的未知参数，回归系数 如果方程(2)中有常数项(即截距项)，则通常令第 1 个变量恒等于 1，即𝑥𝑖1=1, ∀𝑖 该回归模型也可表示为矩阵形式（更常用） 其中𝑌=(𝑦1,𝑦2,.,𝑦𝑛)′，X=(𝑥1 ′,𝑥2 ′,.,𝑥𝑛 ′)′, 𝜖=(𝜖1,𝜖2,.,𝜖𝑛)′ Y = X𝛽 + 𝜖 (3)
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量βOLS原理：找到使得模型残差平方和最小的参数向量βNβoLs = arg min(yi - x'β)2(4)βi=1估计量的性质小样本：在经典线性回归假设下，βoLs具有无偏性和有效性·大样本：在大数定律和中心极限定理保证下，βoLs还具有一致性和渐进正态性拟合优度·R2或者调整R2·为比较所含解释变量个数不同的多元回归模型的拟合优度，还可使用赤池信息准则（AIC）、贝叶斯信息准则（BIC）和施瓦茨准则（SC）
最小二乘法（OLS）估计多元线性回归的参数向量𝛽 多元线性回归模型回顾 OLS原理：找到使得模型残差平方和最小的参数向量𝛽 估计量的性质 拟合优度 𝜷 𝑂𝐿𝑆 = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝜷 𝑖=1 𝑁 𝑦𝑖 − 𝒙𝑖 ′𝜷 2 (4) • 小样本：在经典线性回归假设下， 𝜷 𝑂𝐿𝑆具有无偏性和有效性 • 大样本：在大数定律和中心极限定理保证下， 𝜷 𝑂𝐿𝑆还具有一致性和渐进正态性 • 𝑅2 或者调整𝑅2 • 为比较所含解释变量个数不同的多元回归模型的拟合优度，还可使用赤池信息准则（AIC）、贝 叶斯信息准则（BIC）和施瓦茨准则（SC）
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β一元线性回归(x2,y2)残差：ei=yi-a-βxa+Bx残差平方和：Zn=ie?=n=1(yi-a-βxi)2(,J)β，使得残差平方和最小化最小二乘法就是选择α，>(yi-a-βx)3mina,p=1i=1
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 一元线性回归 残差：e𝑖 ≡ 𝑦𝑖 − 𝛼ො − 𝛽𝑥𝑖 残差平方和：σi=1 𝑛 𝑒𝑖 2 = σ𝑖=1 𝑛 (𝑦𝑖−𝛼ො − 𝛽𝑥𝑖) 2 最小二乘法就是选择𝛼ො， 𝛽，使得残差平方和最小化 min 𝛼ෝ,𝛽 i=1 𝑛 𝑒𝑖 2 = 𝑖=1 𝑛 (𝑦𝑖−𝛼ො − 𝛽𝑥𝑖) 2
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β二元线性回归mine? = e'e = (y - xp)'(y - xp) = y'y - 2y'xβ + β'x'xβB41=1最小化问题的一阶条件：a(y'y - 2y'xβ + β'x'x)2 = -2x'y + 2X'xβ = 0(X'x)β = X'yaβ如果（XX)可逆（数据矩阵x满列秩，rank(X)=p），则：β三（X'X)-1X")
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 二元线性回归 最小化问题的一阶条件： 如果(𝑋′ 𝑋)可逆（数据矩阵X满列秩,rank(X)=p），则：𝜷 ≡ 𝑿 ′𝑿 −𝟏𝑿 ′𝒚 min 𝛽෩ 𝑖=1 𝑛 𝑒𝑖 2 = 𝑒 ′𝑒 = (𝑦 − 𝑋𝛽෨)′(𝑦 − 𝑋𝛽෨) = 𝑦 ′𝑦 − 2𝑦 ′𝑋𝛽෨ + 𝛽෨′𝑋 ′𝑋𝛽෨ 𝜕(𝑦 ′𝑦 − 2𝑦 ′𝑋𝛽෨ + 𝛽෨′𝑋 ′𝑋𝛽෨) 𝜕𝛽෨ = −2𝑋 ′𝑦 + 2𝑋 ′𝑋𝛽෨ = 0 𝑋 ′𝑋 𝛽 = 𝑋 ′𝑦
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β如果数据矩阵x不满列秩，则存在严格多重共线性，rank(x)≤n<p（矩阵X的秩小于或等于其行数n），此时不存在（XX)-1，OLS没有唯一解OLS一般不适用高维数据，其变量个数大于样本容量，即p>n。须进行“正则化”处理，即在损失函数中加入“惩罚项”，进行“惩罚回归
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 如果数据矩阵X不满列秩，则存在严格多重共线性 ，𝑟𝑎𝑛𝑘(𝑋)≤𝑛<𝑝 （矩阵X的秩小于 或等于其行数n），此时不存在(𝑋′ 𝑋) −1 ， OLS没有唯一解 OLS一般不适用高维数据，其变量个数大于样本容量，即𝑝>𝑛。须进行“正则化”处理， 即在损失函数中加入“惩罚项”， 进行“惩罚回归