第7章 多重共线性7.1非多重共线性假定7.2多重共线性的经济解释7.3多重共线性的后果7.4多重共线性的检验7.5多重共线性的克服方法7.6案例分析(3例)file:li-7-1file:b1e4file:nonli14
第7章 多重共线性 file: li-7-1 file:b1e4 file: nonli14 7.1 非多重共线性假定 7.2 多重共线性的经济解释 7.3 多重共线性的后果 7.4 多重共线性的检验 7.5 多重共线性的克服方法 7.6 案例分析(3 例)
7.1非多重共线性假定(第4版第161页)rk (X'X) = rk (X) = k+1Y(Tx1) = XμTx(k+DI β(k+1)x1) + u(Tx1)解释变量不是完全线性相关的或接近完全线性相关的。IPxix,|1,IPxix不近似等于1。就模型中解释变量的关系而言,有三种可能。(1) Pxtixy解释变量间相关系数等于0。(少见)=0,角(2)[Pxx「-1,解释变量间完全相关。(少见)(3)0<IPxix,l<1,解释变量间存在一定程度的线性相关。(常见)因此我们关心的不是有无多重共线性,而是多重共线性的程度随着共线性程度的加强,对参数估计值的准确性、稳定性带来影响
7.1 非多重共线性假定 (第4版第161页) rk (X 'X ) = rk (X ) = k+1 解释变量不是完全线性相关的或接近完全线性相关的。 ti tj x x 1, ti tj x x 不近似等于 1。 就模型中解释变量的关系而言,有三种可能。 (1) ti tj x x = 0,解释变量间相关系数等于 0。(少见) (2) ti tj x x = 1,解释变量间完全相关。(少见) (3)0 < ti tj x x < 1,解释变量间存在一定程度的线性相关。(常见) 因此我们关心的不是有无多重共线性,而是多重共线性的程度。 随着共线性程度的加强,对参数估计值的准确性、稳定性带来影响。 Y(T1) = X[T (k+1)] [(k+1)1] + u(T1)
7.2多重共线性的经济解释(1)经济变量在时间上有共同变化的趋势。如在经济上升时期,收入、消费、就业率等都增长,当经济收缩期,收入、消费、就业率等又都下降。当这些变量同时进入模型后就会带来多重共线性问题。4.E+114.E+11GDP...CONSGDP of HongKong3.E+113.E+112.E+112.E+111.E+111.E+11CONS0.E+000.E+008082848688909294969800020.0E+005.0E+101.0E+111.5E+112.0E+112.5E+1解释变量与其滞后变量同作解释变量(221(第4版第162页)4.E+114.E+11GDPGDP3.E+113.E+112.E+112.E+111.E+111.E+11GDP(-1)0.E+000.E+008082848688909294969800021.E+112.E+113.E+114.E+1*0.E+00
(第4版第162页) 7.2 多重共线性的经济解释 (1)经济变量在时间上有共同变化的趋势。如在经济上升时期,收入、消费、就业率 等都增长,当经济收缩期,收入、消费、就业率等又都下降。当这些变量同时进入模型 后就会带来多重共线性问题。 0.E+00 1.E+11 2.E+11 3.E+11 4.E+11 80 82 84 86 88 90 92 94 96 98 00 02 GDP CONS 0.E+00 1.E+11 2.E+11 3.E+11 4.E+11 0.0E+005.0E+101.0E+111.5E+112.0E+112.5E+11 CONS GDP of HongKong (2)解释变量与其滞后变量同作解释变量。 0.E+00 1.E+11 2.E+11 3.E+11 4.E+11 80 82 84 86 88 90 92 94 96 98 00 02 GDP 0.E+00 1.E+11 2.E+11 3.E+11 4.E+11 0.E+00 1.E+11 2.E+11 3.E+11 4.E+11 GDP(-1) GDP
7.3 多重共线性的后果(第4版第163页)(1)当|rxixi=l,X为降秩矩阵,则(X'X)-不存在,β=(X'X)"X'Y不可计算(2)若「rxix|¥l,即使「rxix|→l,β仍具有无偏性。E(β)=E[(X'X)"x'Y}=E[(X'X)"x(Xβ+u)I=β + (X'X)"x'E(u) =β(3)当|rxixi/→>1时,X'X接近降秩矩阵,即|X'X|→>0,Var()Var(β)=α2(X'X)变得很大。所以β丧失有效性。以二元线性回归模型,Y,=β+βiXn+βXn+ut,为例,4q?1Var(β)=20E(Xi1-X)2 1-(Pxx,)20.20.40.60.8当 rxix=0.8时,Var(β)为 rxix=0 时的 Var(β)的 2.78倍当 rxixj=0.95时,Var(β)为 rxix=0时的Var(β)的10.26倍
7.3 多重共线性的后果 (第4版第163页) 0.2 0.4 0.6 0.8 1 20 40 60 80 Var( ˆ ) r (1)当 rxi xj =1,X 为降秩矩阵,则(X 'X) -1 不存在, ˆ = (X 'X) -1 X'Y 不可计算。 (2)若 rxi xj 1,即使 rxi xj →1, ˆ 仍具有无偏性。 E( ˆ )=E[(X 'X) -1 X ' Y]=E[(X 'X) -1 X ' (X+u)]= + (X 'X) -1 X ' E(u) =. (3)当 rxi xj →1 时,X 'X 接近降秩矩阵,即 X 'X →0, Var( ˆ )= 2 (X 'X) -1 变得很大。所以 ˆ 丧失有效性。 以二元线性回归模型, Yt = 0 +1Xt1 + 2Xt2 + ut ,为例, Var ( 1 ˆ ) = 2 2 1 1 2 1-( ) 1 ( ) 1 2 Xt X x x − 当 rxi xj= 0.8 时,Var( 1 ˆ )为 rxi xj = 0 时的 Var( 1 ˆ )的 2.78 倍。 当 rxi xj = 0.95 时,Var( 1 ˆ )为 rxi xj = 0 时的 Var( 1 ˆ )的 10.26 倍
关于多重共线性回归系数分布的模拟比较(file:multicollinearity)模拟模型:Y=0.4+1.2x1+0.8x2+u,r(x1,x2)>0.96。红色曲线为模拟1万次结果。模拟模型:Y=0.4+1.2x1+0.8x3+u,rx1,x3)=0。蓝色曲线为模拟1万次结果。5B1F1B1F24-3.Correlation2.X1X2X3X11.0000000.992565-0.1385221.X20.9925651.000000-0.040168X3-0.138522-0.0401681.0000000.201-1-2真值=1.2一次模拟结果,x1与x2高度相关,x1与x3不相关因为r(x1,x2)>0.96,β,分布的方差变大(红线)。因为r(x1,x3)=0,β,分布的方差很小(蓝线)
关于多重共线性回归系数分布的模拟比较(file: multicollinearity) 模拟模型:Y = 0.4+1.2 x1+ 0.8 x2 + u,r(x1, x2) > 0.96。红色曲线为模拟1万次结果。 模拟模型:Y = 0.4+1.2 x1+ 0.8 x3 + u,r(x1, x3) = 0。蓝色曲线为模拟1万次结果。 真值1 = 1.2 一次模拟结果,x1 与 x2 高度相关,x1 与 x3 不相关 因为 r(x1, x2) > 0.96, 1 ˆ 分布的方差变大(红线)。因为 r(x1, x3) = 0, 1 ˆ 分布的方差很小(蓝线)。 0 1 2 3 4 5 -2 -1 0 1 2 3 4 B1F1 B1F2