多元线性回归一最小二乘法最小二乘法（leastsquaremethod）w* = argmin (y - XwT) (y - Xw)i令 E=（y-Xw)Ty-Xw），对i求导得到OEw = 2xT(X-y)aw令上式为零可得最优解的闭式解
令上式为零可得 最优解的闭式解 多元线性回归 - 最小二乘法 最小二乘法（least square method） 令 ，对 求导得到
多元线性回归一满秩讨论XTX是满秩矩阵或正定矩阵，则口w*= (xTx)-1 xTy其中(XTX)-是XT×的逆矩阵，线性回归模型为f(i) = αT (XTX)-1 xTyXTX不是满秩矩阵口（参见1.4节）根据归纳偏好选择解引入正则化（参加6.4节，11.4节）
多元线性回归 - 满秩讨论 是满秩矩阵或正定矩阵，则 其中 是 的逆矩阵，线性回归模型为 不是满秩矩阵 ⚫ 根据归纳偏好选择解（参见1.4节） ⚫ 引入正则化（参加6.4节，11.4节）
对数线性回归口输出标记的对数为线性模型逼近的目标y/y=ewTa+b(3,y3)30Iny=wTc+b(c2, y2)20y; = ln(yi)(r1,1)y=wT+b10y=wr+b(a1, ) (r3, 93)T2,926021c
对数线性回归 输出标记的对数为线性模型逼近的目标