=1470.65-1299.536=171.114 代人(2.23)式得 〔=-B1x=26.413-4.919×3.28=10.279 （3,=LgL=171.114/34,784=4.919 于是回归方程为 y=10.279+4.919 由图2.1看出，回归直线与15个样本数据点都很接近，这从直观上说明回 归直线对数据的拟合效果是好的。 由(2.16)式可以得到残差的-一个有用的性质 ②。=0 (2.27) 之,=0 即残差的平均值为0，残差以自变肃x的加权平均值为0。 我们要确定的回归直线就是想使它与所有样本数据点都比较痕近，为了刻画 这种幕近程度，人们曾设想用绝对残差和，即 (2.28) 来度量观测使与回归直线的接近程度。显然，绝对残差和超小，回归直线就与所 有数据点越近。然而，绝对残差和]：在数学处理上比较麻烦，所以在经 典的回归分析中，都用残差平方和(2.17)式来描述因变量观测值(=1,2，…， )与回识直线的偏离程度、 二、最大似然估计 除了上述的最小二乘估计外，最大似然估计(Maximum I,ikelihood Estimation, MLE)方法也可以作为回归参数的估计方法。最大似然估计是利用总体的分布密 度或概率分布的表达式及其样本所提供信息建立起求未知参数估计量的一种方 法。 最大似然估计的直观想法可用下面的例子说明：设有一事件A,已知其发 生的概率p只可能是0.01或0.1。若在一次试验中事件A就发生了，自然应当 认为事件A发生的概率p是0.1前不是0.01。把这种考虑问题的方法一般化， 就得到最大似然准则。 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
PDF created with pdfFactory Pro trial version www.pdffactory.com
当总体X为连续型分布时，设其分布密度族为f(x,9),B∈⊙}，假设总体 X的一个独立同分布的样本为x1,x2,,x,。其似然函数为 L(03x1,,…,z）=Ⅱfxi0) (2.29) 最大似然估计应在一切9中选取使随机样本(X1,X2,…,X)落在点(x1,x2,…, x.)附近，概率最大的0为未知参数0真值的估计值。即选取满足 L(0:x1,x2,…x)=m9xL(9:1x2…,） (2.30) 对连续型随机变量，似然函数就是本的联合分布密度函数，对离散型随机 变量，似然函数就是样本的联合概率函数。似然函数的概念并不局限于独立同分 布的样本，只要样本的联合密度的形式是已知的，就可以应用极大似然估计。 对于一元线性回归模型参数的最大似然估计，我们如果已经得到样本观测值 (,出)，i=1,2,…,n,其中，x为非随机变量：1,2，…，y为随机样本。 那么在假设e,N(0,a2)时，由(2.10)式知”服从如下正态分布 y-N(+1,a2) (2.31) y的分布密度为 fy)=V20ep29(4+84)吲i=1,2…,n《2.32) 1 于是，次，…，的似然函数为 L(A,A,2)=Ⅱ) =2e0六≥%-A+x2 由于L的极大化与l(L)的极大化是等价的，所以取对数似然函数为 aL)-号h2m2)-22x-（6+x水 (2.34) 求(2.34)式的极大值，等价于对∑[y-(%+月1x)P求极小值，到此又与最小 二乘原理完全相问。因而，31的极大似然估计就是(2.20)式的最小二乘估计。 另外，由极大似然估计还可以得到。2的估计值为 =空护 =方%a+aP (2.35) 27 PDF created with pdfFactory Pro trial version ww.pdffactory.com
PDF created with pdfFactory Pro trial version www.pdffactory.com
这个估计量是。的有候估计。在实际应用中，常用无偏估计量 =22%动护 ,上之-（风+m =n2合 (2.36) 作为σ2的估计量。 在此需要注意的是，以上极大似然估计是在~N(0,2)的正态分布假设下 求得的，而最小二乘估计则对分布假设没有要求。另外，，2，…，y。是独 立的正态分布样本，但并不是同分布的，期望值E(y,)=风+月x:不相等，但这 并不妨碍极大似然方法的应用。 2.3最小二乘估计的性质 一、线性 所谓线性就是估计量3,31为随机变量”的线性函数。由(2.24)式得 之(x-)4 = x-元 (2.37) 2(x-加 。一云一是为的常数，所以月是y的线性组合。同理可以证明是 英中，分云 的线性组合，证明工作请读者自己完成。 因为生为随机变盘，所以作为的线性组合，高，，亦为随机变量，因此 各有其概率分布、均值、方差、标准差及两者的协方差。 二、无偏性 下面我们讨论，1的无偏性。由于x:是非随机变量，%=+B1x:+E:, E(e)=0,因而有 E(y)=%+1x (2.38) 再由(2.37)式可得 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
PDF created with pdfFactory Pro trial version www.pdffactory.com
E(A)=之-王一E() =1 =之，-元 -(%+x)=月 (2.39) 证得A是月的无偏估计，其中用到∑(x-x)=0,∑(x4-元)x= ∑(x一)2。同理可证，是A的无偏估计，证明过程请读者自己完成。 无偏估计的意义是，如果爱次变更数据，反复求，A的估计值，这两个 估计量没有高估或低估的系统趋向，它们的平均值将趋于6，月。 进一步有 E()=E(+p1x) =0十月1x =E(y) (2.40) 这表明回归值y是E(y)的无偏估计，也说明与真实值y的平均值是相同的。 三、P0,p1的方差 一个估计量是无偏的，只揭示了估计量优良性的一个方面。我们通常还关心 估计量本身的波动状况，这就需进一步研究它的方差。 由y1,2,…,n相互独立，var()=g2及(2.37)式，得 ，-元72 ra)=之（王-r) “=1 2 (2.41) 我们知道，方差的大小表示随机变量取值波动的大小，因而va(角)反映了 估计量月的波动大小。假设我们反复抽取容量为n的样本建立回归方程，每次 计算的房，的值是不相同的，va()正是反映了这些月，的差异程度。 由var(3)的表达式我们能得到对实际应用有指导意义的思想。从(2.41)式 中看到，回归系数不仅与随机误差的方差2有关，而且还与自变量x的取值 29 PDF created with pdfFactory Pro trial version www.pdffactory.com
PDF created with pdfFactory Pro trial version www.pdffactory.com
波动程度有关。如果x的取值比较分散，即x的波动较大，则B的波动就小， A,的估计值序就比较稳定。反之，如果原始数据x是在一个较小的范围内取 值，则日：的估计值稳定性就差，当然也就很难说精确了。这一点显然对我们收 集原始数据有重要的指导意义。类似地，有 aa-[告+2球 (2 (2.42) 由(2.42)式可知，回归常数方差也不仅与随机误差的方差。2和自变量x 的取值波动程度有关，而且还同样本数据的个数n有关。显然数据n越大时， var(月)越小。 总之，由(2.41)式和(2.42)式我们可以看到，要想使，B:的估计值， 月，更稳定，在收集数据时，就应该考虑x的取值尽可能分散一些，不要挤在一 块，样本量也应尽可能大一些，样本量n太小时估计量的稳定性肯定不会太好。 由前边，月线性的讨论我们知道0，都是n个独立正态随机变量y1, 2,…,的线性组合，因而高，科也遵从正态分布。由上边，的均值 和方差的结果，有 a-Na.(日+) (2.43) a-e.) (2.44) 另外，还可得到，月的协方差 cov(.)= (2.45) (2.45)式说明，在王=0时，与3不相关，在正态假定下独立；在x≠0 时不独立。它揭示了回归系数之间的关系状况。 在前边我们曾给出回归模型随机误差项，等方差及不相关的假定条件，这 个条件称为高斯.马尔柯夫(Gauss-Markov)条件，即 E(e）=0,i=1,2,…,n am-l6g (2.46) (i,j=1,2,…,n） 在此条件下可以证明，与31分别是与月，的最佳线性无偏估计(Best Linear 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
PDF created with pdfFactory Pro trial version www.pdffactory.com