复旦大学：《计量经济学》课程讲义_EViews与计量经济学 第一章 一般多元线性回归模型

Sc=yy=Ypy (1.2.31) 则2的无偏估计为 (1.2.32) 这是因为 E(G2)= n-NE(YY) tr[Cov(r, r) tr(oPr) n-m a2(n-m-1) (1.2.33) n-m-1 下面给出最小二乘估计的几何解释。设矩阵X的列向量x1bxy,…,x)’,户=0,1,…m 其中X0=(1,1…,1。L(表示由向量场户=0,1,…,m的全部线性组合所构成的一个线性空间,则 (.14)表示要在L(中寻找一个向量XB=∑B,k,使得XB与Y之间的距离y-MB‖ 达到最小。从图上可见,只有当XB是在L(中的投影时,(1.1.14)才能得到满足。 从图上还可见Y与XB垂直,即(1.2.28)表示的Y与B互不相关。 图1.2.1.1 需要指出的是,本段引入的回归模型含有常数项β0(见(1.2.1),(1.2.4),于是设计矩 阵X有m+1列,投影阵的秩为n-m-1(1.2.27),σ2的无偏估计为 =SksA(n-m-1)(1.2.32)。如果回归模型不含常数项,或者就将Ⅺ1理解为常数项而不 单设常数项,也是可以的。如果X有p列,则投影阵秩为n-p, Ss/(n-p)。下一段我

11 SRS = Y Y = YPX Y ~ ~ （1.2.31） 则σ2 的无偏估计为 S RS n m 1 1 ˆ 2 − −  = （1.2.32） 这是因为 tr( ) 1 1 )] ~ , ~ tr[Cov( 1 1 ) ~ ~ ( 1 1 ( ˆ ) 2 2 PX n m Y Y n m E Y Y n m E   − − = − −  = − − = 2 2 ( 1) 1 1  − − =  − − = n m n m （1.2.33） 下面给出最小二乘估计的几何解释 。设矩阵 X 的列向量 Xj=(x1j, x2j，…，xnj)′，j=0,1,…,m, 其中 X0=(1,1,…,1)。L (X)表示由向量 Xj, j=0,1,…,m 的全部线性组合所构成的一个线性空间，则 (1.1.14)表示要在 L(X)中寻找一个向量 j j m j X  X = = 0 ，使得 Xβ与Y 之间的距离 || Y − X || 达到最小。从图上可见，只有当 X 是 Y 在 L(X)中的投影时，(1.1.14)才能得到满足。 从图上还可见 Y ~ 与 X ˆ 垂直，即(1.2.28)表示的 Y ~ 与  ˆ 互不相关。 图 1.2.1.1 需要指出的是，本段引入的回归模型含有常数项β0(见(1.2.1)，(1.2.4))，于是设计矩 阵 X 有 m+1 列 ， 投 影 阵 的 秩 为 n − m−1 (1.2.27) ， σ 2 的 无 偏 估 计 为 ˆ /( 1) 2  = S RS n − m − (1.2.32)。如果回归模型不含常数项，或者就将 X1 理解为常数项而不 单设常数项，也是可以的。如果 X 有 p 列，则投影阵秩为 n-p， ˆ /( ) 2  = S RS n − p 。下一段我 L (X) X ˆ Y Y ~

们统一采用这个记法。希望读者理解m+1与p的含意 、多元线性回归模型的假设检验 要对多元线性回归模型作假设检验,一般需要事先作出误差正态的假设。在误差正态假 设(1.2.7)下,上一段关于参数估计的计算算式与定理都成立,而且B的最小二乘估计在B的 所有无偏估计类中都具有最小方差。我们以定理形式给出误差正态假设下参数估计的分布及 其推导过程。 定理1.2.2设有线性模型 m=xB+5,6-N0a,) (1.2.34) rk=p,B的最小二乘解为B=(XX)XY,a2的估计为G2=(-)(Y-Y)/n-p),则 (1)B~N2(B,o2(XX)) (2)(B-B)XX(B-B)2~x2(p) (3)B与G2独立 (4)Sgla2△-1)(Y-1)/2=(n-p)G2a2~x2(n-p) 证明因为e~Na(0,02n),故 Y-N,(B,oIn (1.2.35) (1)因为B是Y的线性函数,今Y服从多元正态分布,故也服从多元正态分布。由 (.1)知E(B)=B,由(1.219)知Va()=a(XX)y,故B~N(月,2(x)2) pxp (2)记Σ=a2(XX),则B~N2(B2),且正定。分解∑为两非奇阵之积 ∑-=TT,则∑=T(T")-1。7(B-B)为正态分布的线性变换仍为正态分布,且 E(T(B-B))=T(EB-B)=0, Var(T(B-B)=/Var(B-B)T=TVar(B)T'=12T T7T=ln,因此 B)~Np(0.,) 于是

12 们统一采用这个记法。希望读者理解 m+1 与 p 的含意。 二、多元线性回归模型的假设检验 要对多元线性回归模型作假设检验， 一般需要事先作出误差正态的假设。在误差正态假 设(1.2.7)下，上一段关于参数估计的计算算式与定理都成立，而且β的最小二乘估计在β的 所有无偏估计类中都具有最小方差 。我们以定理形式给出误差正态假设下参数估计的分布及 其推导过程。 定理 1.2.2 设有线性模型 , ~ (0, ) 2 1 1 1 n n n p n n p Y X    N  I     = + (1.2.34) rkX=p,β的最小二乘解为 1 2 ( ) ,  ˆ = X X X Y  − 的估计为 )/( ) ˆ ) ( ˆ ˆ ( 2  = Y −Y  Y −Y n − p ,则 (1) ~ ( , ( ) ) ˆ 2 −1  NP   X X (2) )/ ~ ( ) ˆ ) ( ˆ ( 2 2  −  X X  −    p (3)  ˆ 与 2  ˆ 独立 (4) )/ ( ) ˆ / ~ ( ) ˆ ) ( ˆ / ( 2 2 2 2 2 SRS   Y −Y  Y −Y  = n − p    n − p 证明 因为ε～Nn(0,σ2 In),故 ~ ( , ) 2 n n Y N X  I （1.2.35） （1）因为  ˆ 是 Y 的线性函数，今 Y 服从多元正态分布，故  ˆ 也服从多元正态分布。由 (1.2.18)知 1 ) ˆ (  = P E   ,由(1.219)知 2 1 ) ( ) ˆ Var( −  =  p p   X X ，故 ~ ( , ( ) ) ˆ 2 −1  Np   X X 。 （2）记 2 1 ( ) −  =  X X ,则  ~ (,) Np ,且Σ正定。分解 −1  为两非奇阵之积，即 , 1  = TT − 则 1 1 ( ) − −  = T T 。 ) ˆ T( −  为正态分布的线性变换仍为正态分布，且 E T − = T E − = T − = T − T  = T )T  = TT  ˆ ) Var( ˆ )) Var( ˆ ) 0,Var( ( ˆ )) ( ˆ ( (         , p = TT T = I −1 ，因此 ) ~ (0, ) ˆ ( P p C = T  −  N I （1.2.36） 于是

(B-B)XX(B-B)/02=(B-B1(XxkB-B (1.2.37) (B-B)2-(B-B)=(B-B)TT(B-B)=C'C-x(p (3)由(1.2.28)知Cow(,B)=0,在现在的正态假设下,即有与B独立。G2是Y的可 测函数,故B与G2独立 (4)Sas =rr=(Pr(Prn=ypry (Y-YB)P(Y-B)(因为PX=0) apa (1.2.38) 这里E~N(0,a2n)。B是幂等对称阵,其特征根非0即1,由Px=nP知(P)的特征根 有mp个1,p个0,因此存在正交阵C,C’C=lm,且 I 0 CPC (1.2.39) 令z=CE,则Z~NO,021n),,Z1~N(01),于是 Sps /o=-aCcPvCca= =-2(21+…+2n)~x2(m-p) 证毕 在定理1.2.2的基础上,可以作出回归方程的显著性检验。此时提出的假设为 Hb:B1=B2=…=Bp=0 如果被接受,则表明用模型Y=XB+ε来描述Y与自变量X,…,Xm的关系不恰当。为了 建立适当统计量,可进行平方和分解: ∑(x-)2 ∑(-x)2+∑(x-)2 (1.2.40) 在误差正态假定下,当H成立时,Y,…,Y独立同分布于N(0,a2)。由于SRs与SEs也是相 互独立,且

13 ) ~ ( ) ˆ ) ( ˆ ) ( ˆ ) ( ˆ ( ) ˆ ( ) ( 1 ) ˆ )/ ( ˆ ) ( ˆ ( 1 2 2 2 T T C C p X X X X                    = −  − = −  − =   −      −   − = −   − （1.2.37） (3)由(1.2.28)知 Cov ) 0 ˆ , ~ (Y  = ,在现在的正态假设下，即有 Y ~ 与  ˆ 独立。 2  ˆ 是 Y ~ 的可 测函数，故  ˆ 与 2  ˆ 独立。 (4) SRS = Y Y = (PX Y)(PX Y) = YPX Y ~ ~ ( ) ( ) ( P X 0) = Y − X PX Y − X 因为 X = =   PX  （1.2.38） 这里ε～Nn(0,σ2 In)。PX是幂等对称阵，其特征根非 0 即 1，由 rkPX = n-p 知(PX)的特征根 有 n-p 个 1，p 个 0，因此存在正交阵 C，C′C=In,且          = 0 0 I n-p 0 CPXC （1.2.39） 令 Z=Cε，则 Z～N(0,σ2 In), ~ (0,1) 1 2 Zi N  ，于是 ( ) ~ ( ) 证毕 1 0 0 1 1 I 0 / 2 2 2 2 1 n-p 2 2 2 Z Z n p S C CP C C Z Z n p RS X = + + −         =    =  −         在定理 1.2.2 的基础上，可以作出回归方程的显著性检验。此时提出的假设为 H0∶β1=β2=…=βp=0 如果 H0 被接受，则表明用模型 Y=Xβ+ε来描述 Y 与自变量 X1，…，Xm 的关系不恰当。为了 建立适当统计量，可进行平方和分解： 2 1 2 1 2 1 ) ˆ ) ( ˆ ( ( ) Y Y Y Y S Y Y i n i i i n i i n i TS = − + − = −    = = = = SRS + SES (1.2.40) 在误差正态假定下，当 H0 成立时，Y1,…，Yn 独立同分布于 N(0，σ2 )。由于 SRS 与 SES 也是相 互独立，且

Sks/0-x(n-P), Ses/o-x(p-1) 于是建立F统计量 Ss/(p-1) ~F(P-1,n-p) (1.2.41) Ses/n-p) 对给定显著性水平a,查得临界值F。(p-l,n-p),当F>F。(p-1,n-p)时,拒绝Ho,即否认了Y与 X1,…,x完全不存在任何线性关系的说法 以上是关于各个回归系数的一揽子检验方法。如果分析细致一些,考察某个自变量X对Y 的作用显著不显著,可以作假设 Ho:B0 进行检验 定理1.2.2指出B与G2相互独立,且B~N2(只2(X))设B的第j个分量为B B的第j个分量为B,(x)1的对角线上第j个元素为Cn,则E(B)=B D(B,)=Cnσ2。于是有 (B-B1)/√Cna2~NO.) (B1-B,)2(Ca)~x2(1) 又知SRa2-x2(n-p),故得分布 (B,-B)2/C (1.2.42) Ses/(n-p) (B,-B) (1.2.43) Ses/n-p) 在假设H成立时,β=0,于是得统计量 /C (1.2.44) Ses/(n-p) 及 √CSn-p) 可用来作假设检验,判定X对Y的影响是否显著。 对于判定对Y无显著性影响的X,原则上可以剔除。但是这方面可能产生很复杂的情况 我们留待下节仔细讨论 上面介绍了对回归系数整体检验与个别检验。有时我们需要对部分参数的线性组合作检

14 / ~ ( ), S / ~ ( 1) 2 2 ES 2 2 SRS   n − p   p − 于是建立 F 统计量 ~ ( 1, ) /( ) /( 1) F p n p S n p S p F RS ES − − − − = （1.2.41） 对给定显著性水平  ，查得临界值 Fα(p-1,n-p)，当 F>Fα(p-1,n-p)时，拒绝 H0，即否认了 Y 与 X1，…，Xp 完全不存在任何线性关系的说法。 以上是关于各个回归系数的一揽子检验方法。如果分析细致一些，考察某个自变量 Xj 对 Y 的作用显著不显著，可以作假设 H0∶βj=0 进行检验。 定理 1.2.2 指出  ˆ 与 2  ˆ 相互独立，且 ~ ( , ( ) ) ˆ 2 −1  Np   X X 。设  ˆ 的第 j 个分量为  j ˆ , β的第 j 个分量 为β j ，(X ′X) -1 的对角 线上第 j 个元 素为 Cjj , 则 ) , ˆ ( E  j =  j 2 ) ˆ D( j = Cjj 。于是有 ) /( ) ~ (1) ˆ ( )/ ~ (0,1) ˆ ( 2 2 2        j j jj j j jj C C N − − 又知 SRS/σ2～  2 (n-p)，故得分布 ~ (1, ) /( ) ) / ˆ ( 2 F n p S n p C F RS j j jj − − − =   （1.2.42） ~ ( ) /( ) )/ ˆ ( t n p S n p C t RS j j jj − − − =   （1.2.43） 在假设 H0 成立时，βj=0，于是得统计量 /( ) / ˆ 2 S n p C F RS j jj − =  （1.2.44） 及 /( ) ˆ C S n p t jj RS j − =  （1.2.45） 可用来作假设检验，判定 Xj 对 Y 的影响是否显著。 对于判定对 Y 无显著性影响的 Xj，原则上可以剔除。但是这方面可能产生很复杂的情况， 我们留待下节仔细讨论。 上面介绍了对回归系数整体检验与个别检验。有时我们需要对部分参数的线性组合作检

验。比如设想模型为 y= Bo+ B1XI+ B2X3+E 但某种专业知识使人觉得变量组合M1-2对Y影响更大,考虑将模型修改为 要如此修改就需要先作假设H:B1+B2=0并检验之 般地,设模型为 Y=XB+ε,E~N(0,o2ln) (1.2.46) 考虑k个线性假设 C1B1+C12B2 0 C21B1+C2B2+…+C2pBp=0 (1.2.47) B,+CnB B=0 写成矩阵形式为 Ho.CB=0 (1.2.48) 其中C为k>矩阵,κ(O=k,即矩阵C行满秩。显然这个一般性的线性假设包含了前面述及 的特殊情况。我们来构造统计量检验它 已经知道尸=(XX)-Xy,残差平方和 Sex =(r-xp)(r-XB rr-BXY (1.2.49) 有mp个自由度。解齐次线性方程组CB=0,求出k个参数关于其余pk个参数的表达式,代 入原模型就得到一个简化的模型 Za+ 此时待估参数a只含有q=p-k个分量。对于新模型可求得a的LSE为 &=(zz)"Zr (1.2.51) 对应残差平方和为 SRs =YY-azy (1.2.52) 它有nq个自由度。考虑 SRSz-SRsx =(Bx'-az)r (1.2.53) 它有(nq)n-P)=pq=k个自由度。可以证明它也是一个服从x2分布的随机变量,且与SRsx独 立,于是当H0:CB=0成立时得统计量

15 验。比如设想模型为 Y=β0+β1X1+β2X2+ε 但某种专业知识使人觉得变量组合 X1-X2 对 Y 影响更大，考虑将模型修改为 Y=β0+β3(X1-X2)+ε 要如此修改就需要先作假设 H0∶β1+β2=0 并检验之。 一般地，设模型为 Y=Xβ+ε, ε～N(0,σ2 In) （1.2.46） 考虑 k 个线性假设        + + + = + + + = + + + = 0 0 0 : 1 1 2 2 21 1 22 2 2 11 1 12 2 1 0 k k kp p p p p p C C C C C C C C C H              （1.2.47） 写成矩阵形式为 H0∶Cβ=0 （1.2.48） 其中 C 为 k×p 矩阵，rk(C)=k，即矩阵 C 行满秩。显然这个一般性的线性假设包含了前面述及 的特殊情况。我们来构造统计量检验它。 已经知道 = X X X Y −1 ( )  ˆ ，残差平方和 ) ˆ ) ( ˆ SRSX = (Y − X  Y − X = Y Y − X Y ˆ （1.2.49） 有 n-p 个自由度。解齐次线性方程组 Cβ=0，求出 k 个参数关于其余 p-k 个参数的表达式，代 入原模型就得到一个简化的模型 1  1 1 = + n n q q n Y Z   （1.2.50） 此时待估参数α只含有 q=p-k 个分量。对于新模型可求得α的 LSE 为 = ZZ ZY −1  ˆ ( ) （1.2.51） 对应残差平方和为 SRSZ = YY − ˆZY （1.2.52） 它有 n-q 个自由度。考虑 SRSZ − SRSX = ( ˆ X − ˆZ)Y （1.2.53） 它有(n-q)-(n-p)=p-q=k 个自由度。可以证明它也是一个服从 2  分布的随机变量，且与 SRSX 独 立，于是当 H0∶Cβ=0 成立时得统计量