对模型Ⅲ山，令其样本回归模型的离差形式为 yi=Y xui+y2x2i+e3i 求 ∑e=0y,-1-2x) 的最小值，可得如下正规方程组： ∑yxu=h∑x2+h2∑xx2 ∑yx=1∑x2+2∑x 解此方程组得 月=②)-y3x) ∑x∑-（∑xx) 分，-②)-y∑ ∑x∑x-(∑xx2)月 可见，当∑xx2,=0时，即X,与X2完全线性无关时（正交），有a=方及B,=乃2。由 此得多元回归的一个重要的结论：当各解释变量没有线性相关性时，多元回归中各解释变量 的参数等于分别进行一元回归时解释变量的参数。 三、教材练习题及其参考解答 1、多元线性回归模型的基本假设是什么？试说明在证明最小二乘估计量的无偏性和有 效性的过程中，哪些基本假设起了作用？ 答：多元线性回归模型的基本假定仍然是针对随机误差项与针对解释变量两大类的假 设。针对随机误差项的假设有：零均值、同方差、无序列相关且服从正态分布：针对解释变 量的假设有：解释变量应具有非随机性，如果是随机的，则不能与随机误差项相关：各解释 变量之间不存在（完全）线性相关关系。 在证明最小二乘估计量的无偏性中，利用了解释变量非随机或与随机误差项不相关的假 定：在有效性的证明中，利用了随机误差项同方差且无序列相关的假定。 2、在多元线性回归分析中，t检验与F检验有何不同？在一元线性回归分析中二者是 否有等价的作用？ 答：在多元线性回归分析中，t检验常被用作检验回归方程中各个参数的显著性，而F
对模型 III，令其样本回归模型的离差形式为 i i i i y x x e = 1 1 + 2 2 + 3 γ γ 求 2 1 1 2 2 2 ∑ = ( − − ) i i i i e y γ x γ x 的最小值，可得如下正规方程组： ∑ i i = ∑ i + ∑ i i y x x x x 2 1 2 2 1 1 1 γ γ ∑ = ∑ + ∑ 2 i 2i 1 1i 2i 2 2i y x γ x x γ x 解此方程组得 ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = 2 1 2 2 2 2 1 2 1 2 2 1 2 1 ( ) ( )( ) ( )( ) ˆ i i i i i i i i i i i x x x x y x x y x x x γ ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = 2 1 2 2 2 2 1 1 1 2 2 2 1 2 ( ) ( )( ) ( )( ) ˆ i i i i i i i i i i i x x x x y x x y x x x γ 可见，当∑ = 0 1i 2i x x 时，即 X1与 X 2 完全线性无关时（正交），有 1 1 αˆ = γˆ 及 1 2 ˆ ˆ β = γ 。由 此得多元回归的一个重要的结论：当各解释变量没有线性相关性时，多元回归中各解释变量 的参数等于分别进行一元回归时解释变量的参数。 三、教材练习题及其参考解答 1、多元线性回归模型的基本假设是什么？试说明在证明最小二乘估计量的无偏性和有 效性的过程中，哪些基本假设起了作用？ 答：多元线性回归模型的基本假定仍然是针对随机误差项与针对解释变量两大类的假 设。针对随机误差项的假设有：零均值、同方差、无序列相关且服从正态分布；针对解释变 量的假设有：解释变量应具有非随机性，如果是随机的，则不能与随机误差项相关；各解释 变量之间不存在（完全）线性相关关系。 在证明最小二乘估计量的无偏性中，利用了解释变量非随机或与随机误差项不相关的假 定；在有效性的证明中，利用了随机误差项同方差且无序列相关的假定。 2、在多元线性回归分析中，t 检验与 F 检验有何不同？在一元线性回归分析中二者是 否有等价的作用？ 答：在多元线性回归分析中，t 检验常被用作检验回归方程中各个参数的显著性，而 F
检验则被用作检验整个回归关系的显著性：各解释变量联合起来对被解释变量有显著的线性 关系，并不意味着每一个解释变量分别对被解释变量有显著的线性关系。在一元线性回归分 析中，二者具有等价作用，因为二者都是对共同的假设一一解释变量的参数等于零一一进行 检验。 3、为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残 差平方和小？在什么样的条件下，受约束回归与无约束回归的结果相同？ 答：对模型参数施加约束条件后，就限制了参数的取值范围，寻找到的参数估计值也是 在此给条件下使残差平方和达到最小，它不可能比未施加约束条件时找到的参数估计值使得 残差平方达到的最小值还要小。但当约束条件为真时，受约束回归与无约束回归的结果就相 同了。 4、在一项调查大学生一学期平均成绩(Y)与每周在学习(X,)、睡觉(X,)、娱乐 (X,)与其他(X,)等各种活动所用时间的关系的研究中，建立如下回归模型： Y=Bo+BX+Bx2+Bx3+Bx+u 如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中 一个变量的说法是否有意义？该模型是否有违背基本假设的情况？如何修改此模型以使其 更加合理。 解答：由于X,+X,+X3+X4=168,当其中一个变量变化时，至少有一个其他变 量也得变化，因此，保持其他变量不变，而改变其中一个变量的说法是无意义的。 显然，由于四类活动的总和为一周的总小时数168，表明四个X间存在完全的线性关系， 因此违背了解释变量间不存在（完全）多重共线性的假设。 可以去掉其中的一个变量，如去掉代表“其他”活动的变量X,则新构成的三变量模 型更加合理。如这时B就测度了当其他两变量不变时，每周增加1小时的学习时间所带来 的学习成绩的平均变化。这时，即使睡觉和娱乐的时间保持不变，也可以通过减少其他活动 的时间来增加学习的时间。而这时三个变量间也不存在明显的共线性问题。 5、考虑下列两个模型： I Y=ao+aXu+a2X2i+u Yi-Xi=Bo+BX+B2x2+v
检验则被用作检验整个回归关系的显著性；各解释变量联合起来对被解释变量有显著的线性 关系，并不意味着每一个解释变量分别对被解释变量有显著的线性关系。在一元线性回归分 析中，二者具有等价作用，因为二者都是对共同的假设——解释变量的参数等于零——进行 检验。 3、为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残 差平方和小？在什么样的条件下，受约束回归与无约束回归的结果相同？ 答：对模型参数施加约束条件后，就限制了参数的取值范围，寻找到的参数估计值也是 在此给条件下使残差平方和达到最小，它不可能比未施加约束条件时找到的参数估计值使得 残差平方达到的最小值还要小。但当约束条件为真时，受约束回归与无约束回归的结果就相 同了。 4、在一项调查大学生一学期平均成绩（Y ）与每周在学习（ X1）、睡觉（ X 2 ）、娱乐 （ X3）与其他（ X 4 ）等各种活动所用时间的关系的研究中，建立如下回归模型： Y = β 0 + β1X1 + β 2 X 2 + β 3X3 + β 4 X 4 + µ 如果这些活动所用时间的总和为一周的总小时数 168。问：保持其他变量不变，而改变其中 一个变量的说法是否有意义？该模型是否有违背基本假设的情况？如何修改此模型以使其 更加合理。 解答：由于 X1 + X 2 + X3 + X 4 = 168 ，当其中一个变量变化时，至少有一个其他变 量也得变化，因此，保持其他变量不变，而改变其中一个变量的说法是无意义的。 显然，由于四类活动的总和为一周的总小时数 168，表明四个 X 间存在完全的线性关系， 因此违背了解释变量间不存在（完全）多重共线性的假设。 可以去掉其中的一个变量，如去掉代表“其他”活动的变量 X 4 ，则新构成的三变量模 型更加合理。如这时 β1就测度了当其他两变量不变时，每周增加 1 小时的学习时间所带来 的学习成绩的平均变化。这时，即使睡觉和娱乐的时间保持不变，也可以通过减少其他活动 的时间来增加学习的时间。而这时三个变量间也不存在明显的共线性问题。 5、考虑下列两个模型： I Yi = α 0 +α1X1i +α 2 X 2i + ui II i i i i i Y − X = + X + X + v 1 β 0 β1 1 β 2 2
(1)证明：月=a1-1,B。=ao,B2=a2。 (2)证明：两个模型的最小二乘残差相等，即对任何i,有ⅱ=，。 (3)在什么条件下，模型Ⅱ的R小于模型I的R2? 解答：（1)对模型Ⅱ变形如下： Y=B。+(B+1)X,+B2X2+ 因此，在与模型I有相同的样本下进行OLS估计，有 a1=月1+1，B。=ao,B2=a2 或 B=a,-l,B。=a,B2=a2 (2)在(1)成立的条件下， i,=Y,-a。-aXu-d2X2 -Y,-B。-(B1+1)X-B2X2 =I,-X-B。-BXu-B2X= (3)对模型I,R2=1 ∑好 ∑Y,-) 对模型Ⅱ，R2=1 ∑好 ∑心，-X)-(夜-x2 由(2)知∑立，=∑，故，只有当∑[（化，-X)-(了-x<∑（化，-）2时， 即模型Ⅱ的总变差（解释变量的离差平方和）小于模型1的总变差（解释变量的离差平方 和)时，才会有模型Ⅱ的R小于模型I的R2。 6、考虑下列三个试验步骤 (1)对Y,=B。+BX,+B2X2+4,进行回归 (2)对X:=+aX2+y,进行回归，计算残差 (3)对Y,=Y。+Y,+Y2X2+w,进行回归 试证明B,=分1，并直观地解释该结果。 证明：由(2)计算残差，：=X:-C。-aX2,代入到(3)的回归中得：
（1）证明： ˆ 1 ˆ β1 = α1 − ， 0 0 ˆ β ˆ = α ， 2 2 ˆ β ˆ = α 。 （2）证明：两个模型的最小二乘残差相等，即对任何i ，有 i i uˆ = vˆ 。 （3）在什么条件下，模型 II 的 2 R 小于模型 I 的 2 R ？ 解答：（1）对模型 II 变形如下： i i i i Y = + + X + X + v 0 1 1 2 2 β (β 1) β 因此，在与模型 I 有相同的样本下进行 OLS 估计，有 1 ˆ ˆα1 = β1 + ， 0 0 ˆ β ˆ = α ， 2 2 ˆ β ˆ = α 或 ˆ 1 ˆ β1 = α1 − ， 0 0 ˆ β ˆ = α ， 2 2 ˆ β ˆ = α （2）在（1）成立的条件下， i i i i i i i i i i i i Y X X X v Y X X u Y X X ˆ ˆ ˆ ˆ ˆ 1) ˆ ( ˆ ˆ ˆ ˆ ˆ 1 0 1 1 2 2 0 1 1 2 2 0 1 1 2 2 = − − − − = = − − + − = − − − β β β β β β α α α （3）对模型 I， ∑ ∑ − = − 2 2 2 ( ) ˆ 1 Y Y u R i i 对模型 II， ∑ ∑ − − − = − 2 2 2 2 2 [( ) ( )] ˆ 1 Y X Y X v R i i i 由（2）知∑ i = ∑ i uˆ vˆ ，故，只有当∑ − − − < ∑ − 2 2 2 2 [(Y X ) (Y X )] (Y Y ) i i i 时， 即模型 II 的总变差（解释变量的离差平方和）小于模型 1 的总变差（解释变量的离差平方 和）时，才会有模型 II 的 2 R 小于模型 I 的 2 R 。 6、考虑下列三个试验步骤 （1）对Yi = β 0 + β1X1i + β 2 X 2i + ui 进行回归 （2）对 i i i X = + X + v 1 α 0 α1 2 进行回归，计算残差 i vˆ （3）对 i i X i wi Y = γ 0 + γ 1vˆ + γ 2 2 + 进行回归 试证明 1 1ˆ ˆ β = γ ，并直观地解释该结果。 证明：由（2）计算残差 i vˆ ： i X i X i v 1 0 1 2 ˆ = −αˆ −αˆ ，代入到（3）的回归中得：
Yi=Yo+(Xli-ao-ax2i)+Y2X2i+Wi Y=(ro-dor)+Xu+(Y2-a)X2i+w 可见，模型形式与步骤(1)中的完全相同，因此必有B,=1。直观地看，”，测度的是X2 以外的因素对X,的影响。因此对(3)中的模型来说，，对Y的影响只能归结到X,对Y的 影响上来，与X2无关。所以，(1)中模型的B与(3)中模型的y1都是测度排除了X2后 的X,对Y的影响，二者的回归结果应是相等的。 7、考虑以下过原点回归 Y=B Xu+B2x2+e (1)求参数的OLS估计量： (2)对该模型，是否仍有结论∑e,=0,∑e,X,=0,∑e,X,=0。 解：(1)根据最小二乘原理，需求适当的B、B,使得残差平方和最小： Mim∑e=∑(g,-BXu-B2,X2)2 由微积分的知识，对上式分别关于户、户2求偏导，并令导数值为零得如下正规方程组： ∑化-B.X,-B2,X2)Xu=0 ∑，-BX-BX2x)Xx=0 或 B∑X7+B2∑X,X=∑X,Y B∑XX+B2∑X经=∑XY 解得 A=②Yx②X)-②yX2x,K) ∑X∑X2-(∑XX)月 A=②Yx)-②y,X2x,x) ∑X∑X-(∑X,X)月 (2)由（1)中的正规方程组知，对该模型，仍有
Yi = 0 + 1 X1i − 0 − 1X 2i + 2 X 2i + wi γ γ ( αˆ αˆ ) γ 或 Yi = 0 − 0 1 + 1X1i + 2 − 1 1 X 2i + wi (γ αˆ γ ) γ (γ αˆ γ ) 可见，模型形式与步骤（1）中的完全相同，因此必有 1 1ˆ ˆ β = γ 。直观地看， i v 测度的是 X 2 以外的因素对 X1的影响。因此对（3）中的模型来说， i vˆ 对Y 的影响只能归结到 X1对Y 的 影响上来，与 X 2 无关。所以，（1）中模型的 β1与（3）中模型的 1 γ 都是测度排除了 X 2 后 的 X1对Y 的影响，二者的回归结果应是相等的。 7、考虑以下过原点回归 i i i i Y = X + X + e 1 1 2 2 β ˆ β ˆ （1）求参数的 OLS 估计量； （2）对该模型，是否仍有结论∑ = 0 i e ， ∑ = 0 i X1i e ， ∑ = 0 i X 2i e 。 解：（1）根据最小二乘原理，需求适当的 1 ˆ β 、 2 ˆ β ，使得残差平方和最小： Min ∑ = ∑ − − 2 1 1 2 2 2 ) ˆ ˆ ( i Yi X i i X i e β β 由微积分的知识，对上式分别关于 1 β ˆ 、 2 ˆ β 求偏导，并令导数值为零得如下正规方程组： ∑ − − ) = 0 ˆ ˆ (Yi β1i X1i β 2i X 2i X1i ∑ − − ) = 0 ˆ ˆ (Yi β1i X1i β 2i X 2i X 2i 或 ∑X i + 2∑X1i X 2i = ∑X1i Yi 2 1 1 β ˆ β ˆ ∑X i X i + ∑X i = ∑X 2i Yi 2 1 1 2 2 2 β ˆ β ˆ 解得 ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = 2 1 2 2 2 2 1 2 1 2 2 1 2 1 ( ) ( )( ) ( )( ) ˆ i i i i i i i i i i i X X X X Y X X Y X X X β ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = 2 1 2 2 2 2 1 1 1 2 2 2 1 2 ( ) ( )( ) ( )( ) ˆ i i i i i i i i i i i X X X X Y X X Y X X X β （2）由（1）中的正规方程组知，对该模型，仍有
∑e,X,=0 ∑e,Xx=0 但不存在∑，=0。即过原点的残差和不一定为零。 8、对多元线性回归模型Y=X邱+μ，试证明随机误差项4的方差的无偏估计量为 62= e'e 。其中e为相应样本回归模型的残差向量。 n-k-1 证： 由于被解释变量的估计值与观测值之间的残差 e=Y-X邛 =Xβ+μ-X(XX)-X'(XB+μ) =μ-X(XX)-X'μ =(I-X(X'X)X =Mμ 残差的平方和为： e'e=μ'M'Mμ 因为M=(I-X(XX)1X)为对称等幂矩阵，即 M=M' M2=M'M=M 所以有 e'e=μ'Mμ E(e'e)=Eμ'I-X(XX)-X)μ) =σ2tr(I-X(XX)-X') =σ2(trl-tr(X(XX)X') =o2(n-(k+1) 其中符号“”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是 02= E(e'e) n-k-1 以上过程既导出了随机误差项方差的估计量为 2=e'e n-k-1 也证明了该估计量是无偏估计量。 9、对多元线性回归模型Y=X邓+μ，试证明普通最小二乘估计量B具有最小方差性。 证：
∑ = 0 i X1i e ∑ = 0 i X 2i e 但不存在∑ = 0 i e 。即过原点的残差和不一定为零。 8、对多元线性回归模型 Y = Xβ + μ ，试证明随机误差项 µ 的方差的无偏估计量为 1 ˆ 2 − − ′ = n k e e σ 。其中e 为相应样本回归模型的残差向量。 证： 由于被解释变量的估计值与观测值之间的残差 e = Y − Xβˆ Mμ I X X X X μ μ X X X X μ Xβ μ X X X X Xβ μ = = − ′ ′ = − ′ ′ = + − ′ ′ + − − − ( ( ) ) ( ) ( ) ( ) 1 1 1 残差的平方和为： e′e =μ ′M′Mμ 因为 ( ( ) ) 1 M = I − X X′X X′ − 为对称等幂矩阵，即 M M M M M M = ′ = ′ = 2 所以有 e′e = μ ′Mμ ( ( 1)) ( ( ( ) )) ( ( ) ) ( ) ( ( ( ) ) ) 2 2 1 2 1 1 = − + = − ′ ′ = − ′ ′ ′ = ′ − ′ ′ − − − n k tr tr tr E E σ σ σ I X X X X I X X X X e e μ I X X X X μ 其中符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是 1 ( ) 2 − − ′ = n k E e e σ 以上过程既导出了随机误差项方差的估计量为 1 ˆ 2 − − ′ = n k e e σ 也证明了该估计量是无偏估计量。 9、对多元线性回归模型Y = Xβ + μ ，试证明普通最小二乘估计量βˆ 具有最小方差性。 证：