线性回归-最小二乘法 线性回归中，最小二乘法就是试图找到一条直线，使所有 样本到直线上的欧式距离(vertical,y方向)之和最小： m Eu,=入(-wt-b)2 i=1 X=(X）∈R X=(X1,2)∈R2 ⊙ T2
! %- !& #% #%" '$
线性回归-最小二乘法 m E(w,)=∑(-a,-b)2 i=1 分别对W和b求导（凸函数）： ∂E(w,b ∂w =20∑号-∑-创 i=1 i=1 E(w.b) ∂b 令导数为0，得到闭式(closed-form)解： ∑(c-) i= m m 0= 品 Ti b= (4i-Wc） -品 (
0, (closed-form)
多元(multi--variate)线性回归 f(c)=wPci+b使得f(c)≈y i=(il;i2;...;id) ∈R 把w和b吸收入向量形式心=(w;b),数据集表示为 C11 C12 Xid 1 1 1 X= 21 C22 X2d y=(y1;y2;.;ym） Xm1
(multi-variate)
多元线性回归 同样采用最小二乘法求解，目标变为： arg min(y-Xu)(y-Xw) d 令Em=(y-X心)(y-X心)，对求导： ∂Em=2XT(Xw-） a 令其为零可得心 然而，麻烦来了：涉及矩阵求逆」 口若XTX满秩或正定，则心*=(XTX)XTy ▣若XX不满秩，则可解出多个) 此时需求助于归纳偏好，或引入正则化(regularization)→第6、11章
6" ';0% +*9 =! /7?.& ,1<*: * p8 -2#( p8 -29 )$>* 5 # ( (regularization) 46113
线性回归-梯度下降 初始点 J0o,01)。 最小值 对于线性回归，假设函数表示为： h(c1,x2,.xn)=00+01x1+..+0nxn. 其中6(i=0,1,2.n)为模型参数，x(i=0,1,2..n)为每个样本的n个特征 值。这个表示可以简化，我们增加一个特征x=1,有： ho(c0,t,.xn）=∑0 i=0 损失函数为： m J(o,01.,0n)=∑(ha(xo,c1,.xn）-)2 =0
#. θi (i = 0,1,2... n)$ xi (i = 0,1,2... n)%"!'n& -+( ) & x0 = 1 * , +(