设B是其他方法得到的关于B的线性无偏估计量: B'=C'Y 其中,C=C+D=(XX)尸X'+D,D为一固定矩阵,于是 B"=CY=C*XB+Cμ E(B)=C"XB B的无偏性要求CX=I。由于 C'X=XXXX+DX 于是,CX=I当且仅当DX=0。 B的方差-协方差矩阵为: CovB)=E(β*-B)B"-B) =E[(CY-BCY-B)门 =E[(Cμ)(Cμ)门 =E[(XX)-X'+Dμμ'[X(XX)-+D] =2(XX)X'X(XX)+(XX)XD'+DX(XX)+DD] =o2(XX)+o2DD' Cov(B)+DD DD'为主对角线元素非负的对称矩阵,由此得β的方差大于或等于最小二乘估计量B的方 差。 10、对下列模型: I Y=a+BX;+2Z+u ⅡY,=a+BX,-FZ,+u 求出B的最小二乘估计值:并将结果与下面的三变量回归方程的最小二乘估计值作比较: ΠY=a+X,+Z,+u 你认为哪一个估计值更好? 解答:将模型I改写成(Y,-2Z,)=a+X,+4,则B的估计值为:
设 * β 是其他方法得到的关于β 的线性无偏估计量: β C Y * = * 其中,C C D (X X) X D * 1 = + = ′ ′ + − ,D为一固定矩阵,于是 β C Y C Xβ C μ * * * * = = + β C Xβ * * E( ) = * β 的无偏性要求C X I * = 。由于 C X (X X) X X DX * 1 = ′ ′ + − 于是,C X I * = 当且仅当DX = 0 。 * β 的方差-协方差矩阵为: β DD X X DD X X X X X X X X X D DX X X DD X X X D μ μ X X X D C μ C μ C Y β C Y β β β β β β * * * * * * * = + ′ = ′ + ′ = ′ ′ ′ + ′ ′ ′ + ′ + ′ = ′ ′ + ′ ′ + ′ = ′ = − − ′ = − − ′ − − − − − − − 2 2 1 2 2 1 1 1 1 1 1 ) ˆ( ( ) [( ) ( ) ( ) ( ) ] [( ) ] [ ( ) ] [( )( ) ] [( )( ) ] ( ) (( )( ) ) σ σ σ σ Cov E E E Cov E DD′为主对角线元素非负的对称矩阵,由此得 * β 的方差大于或等于最小二乘估计量βˆ 的方 差。 10、对下列模型: I Yi = α + βXi + 2Zi + ui II Yi = α + βXi − βZi + ui 求出 β 的最小二乘估计值;并将结果与下面的三变量回归方程的最小二乘估计值作比较: III Yi = + Xi + Zi + ui α β γ 你认为哪一个估计值更好? 解答:将模型 I 改写成 Yi − Zi = α + βXi + ui ( 2 ) ,则 β 的估计值为:
i=卫0-2=) ∑(x,)尸 将模型Ⅱ改写成Y,=a+(X,-Z,)+4,则B的估计值为: ∑(x-)y ∑x,-,)月 对模型Ⅲ,B的估计值为 -②②)-y∑ ∑∑子-∑x 显然,模型I与模型Ⅱ分别是模型Ⅲ的参数在如下约束下的变形式: Y=2, Y=-B 因此,如果限制条件正确,则三个回归结果相同。当然,从参数估计的表达式上看,模型I 与模型Ⅱ的回归算法更简洁。但如果限制条件不正确,则模型I与模型Ⅱ的回归参数是有 偏的。 11、下表给出三变量模型的回归结果: 方差来源 平方和(SS) 自由度(d.f)平方和的均值MSS) 来自回归 65965 来自残差 总离差(TSS) 66042 14 求:(1)样本容量n:残差平方和RSS:回归平方和ESS及残差平方和RSS的自由度。 (2)求拟合优度R及调整的拟合优度R2 (3)检验假设:X,和X3对Y无影响。应采用什么假设检验?为什么? (4)根据以上信息,你能否确定X2和X,各自对Y的影响吗? 解答: (1)样本容量为:n=d.f.+1=15 RSS=TSS-ESS=66042-65965=77 ESS的自由度为:d.f.=14-2=12 RSS的自由度为:d.f.=n-3=12
∑ ∑ − = 2 ( ) ( )( 2 ) ˆ i i i i x x y z β 将模型 II 改写成Yi = + Xi − Zi + ui α β ( ) ,则 β 的估计值为: ∑ ∑ − − = 2 ( ) ( ) ˆ i i i i i x z x z y β 对模型 III, β 的估计值为 ∑ ∑ ∑ ∑ ∑ ∑ ∑ − − = 2 2 2 2 ( ) ( )( ) ( )( ) ˆ i i i i i i i i i i i x z x z y x z y z x z β 显然,模型 I 与模型 II 分别是模型 III 的参数在如下约束下的变形式: γ =2, γ = −β 因此,如果限制条件正确,则三个回归结果相同。当然,从参数估计的表达式上看,模型 I 与模型 II 的回归算法更简洁。但如果限制条件不正确,则模型 I 与模型 II 的回归参数是有 偏的。 11、下表给出三变量模型的回归结果: 方差来源 平方和(SS) 自由度(d.f.) 平方和的均值(MSS) 来自回归 65965 — — 来自残差 — — — 总离差(TSS) 66042 14 求:(1)样本容量 n;残差平方和 RSS;回归平方和 ESS 及残差平方和 RSS 的自由度。 (2)求拟合优度 2 R 及调整的拟合优度 2 R (3)检验假设: X 2 和 X3对Y 无影响。应采用什么假设检验?为什么? (4)根据以上信息,你能否确定 X 2 和 X3各自对Y 的影响吗? 解答: (1)样本容量为:n = d. f . +1 = 15 RSS = TSS − ESS = 66042 − 65965 = 77 ESS 的自由度为:d. f . = 14 − 2 = 12 RSS 的自由度为:d. f . = n − 3 = 12