免费下载网址htt: Jiaoxie5uys68com/ E(m)=E|2 uu,ll2 u,un lll u,u, unI2 E(uf e(u,u2).. E(u,un) E(u24)E(l2)…E(l2un) LE(u, u, E(u, u2) 0 式称为高斯一马尔可夫( Gauss- Markov)假设。 假设3:Cov(2x,)=0,1=12…;nj=12,…,m 式要求随机扰动项u与自变量x1,x2…xm不相关 假设4:(X)=m,m<n 假设4限定矩阵X的秩等于参数个数,即要求自变量x1,x2…xm不相关。 由于随机扰动项包含了“非主要因素”的影响、随机变化、观测误差和模型数学形式设定 偏差等各种因素对y的影响的总和,根据中心极限定理,还可以进一步假设随机扰动向量 u服从n维正态分布,即 un(o, oIn, 模型参数的估计 与一元线性回归模型类似,我们仍采用最小二乘法估计参数向量B,设观测值与回归 方程估计值的残差向量为E,则 Y 其中 Y=XB 根据最小二乘法的要求,应有 解压密码联系qq1139686加微信公众号 Jlaoxuewuyou九折优惠!淘宝网址 jiaoxuesu.taobao.com
免费下载网址 http://jiaoxue5u.ys168.com/ 解压密码联系 qq 1119139686 加微信公众号 jiaoxuewuyou 九折优惠！淘宝网址： jiaoxue5u.taobao.com ( ) = n n u u u u u u E uu E 1 2 2 1 ' ( ) = 2 1 2 2 2 2 1 2 1 2 1 2 1 n n n n n u u u u u u u u u u u u u u u E = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 2 2 2 2 1 2 1 2 1 2 1 n n n n n E u u E u u E u E u u E u E u u E u E u u E u u = 2 2 2 0 0 0 0 0 0 u u u 式称为高斯－马尔可夫（Gauss-Markov）假设。 假设 3： Cov(ui , x j ) = 0,i = 1,2, ,n; j = 1,2, ,m 式要求随机扰动项 u 与自变量 m x , x , x 1 2 不相关。 假设 4：r(X)=m, m n. 假设 4 限定矩阵 X 的秩等于参数个数，即要求自变量 m x , x , x 1 2 不相关。 由于随机扰动项包含了“非主要因素”的影响、随机变化、观测误差和模型数学形式设定 偏差等各种因素对 y 的影响的总和，根据中心极限定理，还可以进一步假设随机扰动向量 u 服从 n 维正态分布，即 u～ N（ 0 ， 2 u In）。 3.4.2 模型参数的估计 与一元线性回归模型类似，我们仍采用最小二乘法估计参数向量 B，设观测值与回归 方程估计值的残差向量为 E，则 E = Y −Y ˆ 其中 Y ˆ = XB 根据最小二乘法的要求，应有
免费下载网址ht:jiaoxue5uys168.com EE=(r-y(r-Y)=min E'E=(Y-XB)(Y-XB)=mm 由极值原理,根据矩阵求导法则,上式对B求导,并令其等于零,则得: aEe a(r-XB)(Y-XB)a(rr-2YXB+B'XXB (X)+2(XX)B 整理得回归系数向量B的估计值为 B=(XX)Xr 343回归系数向量估计值的统计性质 1.回归系数向量B的估计值B具有线性性质。 由式(5.22)可知,回归系数向量B的估计值B为Y的线性组合 2.估计值B是回归系数向量B的无偏估计量。 回归系数向量估计值B的数学期望 E(B)=ELXX-XYI ELCXX)X(XB+u) ELCX X)XXB+(XX)Xu E(B)=B 可见B是B的无偏估计 3.回归系数向量估计值B具有最小方差性 回归系数向量估计值B的协方差 COV (B, B)=E(B-B(B-B)T 因为B-B=(XX)X(XB+u)-B (XX)Xu t Cov (B, B)=EL( X)-Yuu X(rx-1 (XX) E(uu)X(XX) (XX"Xo X(XX) 式中矩阵主对角线上的元素为回归系数向量估计值B的方差,其余元素为回归系数向量估 解压密码联系qq1139686加微信公众号 Jlaoxuewuyou九折优惠!淘宝网址 jiaoxuesu.taobao.com
免费下载网址 http://jiaoxue5u.ys168.com/ 解压密码联系 qq 1119139686 加微信公众号 jiaoxuewuyou 九折优惠！淘宝网址： jiaoxue5u.taobao.com ) min ˆ ) ( ˆ EE = (Y −Y Y −Y = 即 EE = (Y − XB)(Y − XB) = min 由极值原理，根据矩阵求导法则，上式对Ｂ求导，并令其等于零，则得： B E E ＝ B Y XB Y XB ( − )( − ) ＝ B Y Y Y XB B X XB ( − 2 + ) ＝－２ (YX ) + 2(X X )B ＝０ 整理得回归系数向量Ｂ的估计值为： B = X X X Y −1 ( ) ˆ 3.4.3 回归系数向量估计值的统计性质 １．回归系数向量Ｂ的估计值 B ˆ 具有线性性质。 由式（5.2.2）可知，回归系数向量Ｂ的估计值 B ˆ 为 Y 的线性组合。 ２．估计值 B ˆ 是回归系数向量Ｂ的无偏估计量。 回归系数向量估计值 B ˆ 的数学期望 ) [( ) ] ˆ ( 1 E B = E X X X Y − ＝ [( ) ( )] 1 E X X X XB + u − ＝ [( ) ( ) ] 1 1 E X X X XB + X X X u − − ＝ E(B) ＝Ｂ 可见 B ˆ 是Ｂ的无偏估计。 ３．回归系数向量估计值 B ˆ 具有最小方差性 回归系数向量估计值 B ˆ 的协方差 ) ] ˆ )( ˆ ) [( ˆ , ˆ ( = − − COV B B E B B B B 因为 B ˆ − B ＝ ( ) ( ) 1 X X X XB + u − －Ｂ ＝ X X X u −1 ( ) 故 ) ˆ , ˆ ( COV B B ＝ [( ) ( ) ] −1 ' −1 E X X X uu X X X = X X X −1 ( ) ( ) ' E uu 1 ( ) − X X X = X X X −1 ( ) I u 2 1 ( ) − X X X = 1 ( ) − X X 2 u 式中矩阵主对角线上的元素为回归系数向量估计值 B ˆ 的方差，其余元素为回归系数向量估
免费下载网址ht:jiaoxue5uys168.com 计值B的协方差。可以证明,回归系数向量估计值B具有最小方差性,此处从略 344多元线性回归模型的检验 常用的检验方法有 1.R检验法 2.F检验法 °3.t检验法 ·4.DW检验法。 在建立多元线性回归模型的过程中,为进一步分析回归模型所反映的变量之间的关系是否 符合客观实际,引入的影响因素是否有效,同样需要对回归模型进行检验。 R检验法 R检验法是通过复相关系数检验一组自变量x2,x2,…,xm与因变量y之间的线性相关程度 的方法,又称复相关系数检验法。与一元线性回归模型类似,可以通过对总变差的分解 ∑(-)2=∑(-)+∑(-)2=+Q2 得到多元线性回归模型之R2的计算公式。上式右边的第二项Q2称为回归变差(或称回归 平方和),回归平方和反映了y与y之间的变差,这一变差由自变量x,x2,…,xm的变动 而引起,是总变差中由自变量x1,x2,…,xn解释的部分,它的大小反映了自变量 x1,x2,…xm的重要程度;等式右边的第一项Q称为剩余变差(或称残差平方和),它是由 观测或实验中产生的误差以及其他未加控制的因素引起的,反映的是总变差中未因变量 x1,x2…,xm解释的部分。即 总变差=剩余变差+回归变差 与一元回归分析一样,也可以利用Q2在总离差中所占的比重表示多元线性回归模型的复可 决系数R2。 R (y1-y) ∑(y-y) 它可以用来衡量因变量y与自变量x1,x2,…,xm之线性相关关系的密切程度 R yi-yi ∑(1-y) 称为复相关系数。这里R2说明在y的总变差中,由一组自变量x,x2,…,xn变动所引起的 变差所占的百分比;F则描述一组自变量x,x2…,xm与因变量y之间的线性相关程度 它们所体现是一组自变量对因变量的影响程度及其线性相关程度,所以,这里分别称它们 为复可决系数和复相关系数 与相关系数检验法一样,复相关系数检验法的步骤为:(1)计算复相关系数:(2) 根据回归模型的自由度n-m和给定的显著性水平a值,查相关系数临界值表:(3)判别 在实际工作中,复相关系数的计算常用其简捷形式,如对于二元和三元的情形,其简 解压密码联系qq1139686加微信公众号 Jlaoxuewuyou九折优惠!淘宝网址 jiaoxuesu.taobao.com
免费下载网址 http://jiaoxue5u.ys168.com/ 解压密码联系 qq 1119139686 加微信公众号 jiaoxuewuyou 九折优惠！淘宝网址： jiaoxue5u.taobao.com 计值 B ˆ 的协方差。可以证明，回归系数向量估计值 B ˆ 具有最小方差性，此处从略 3.4.4 多元线性回归模型的检验 •常用的检验方法有 •1.Ｒ检验法 •2.Ｆ检验法 •3. t 检验法 •4.ＤＷ检验法。 在建立多元线性回归模型的过程中，为进一步分析回归模型所反映的变量之间的关系是否 符合客观实际，引入的影响因素是否有效，同样需要对回归模型进行检验。 1.Ｒ检验法 Ｒ检验法是通过复相关系数检验一组自变量 m x , x , , x 1 2 与因变量 y 之间的线性相关程度 的方法，又称复相关系数检验法。与一元线性回归模型类似，可以通过对总变差的分解 1 2 2 2 2 ( yi − y) = ( yi − y ˆ i ) +( y ˆ i − y) = Q + Q 得到多元线性回归模型之 R 2 的计算公式。上式右边的第二项 Q2 称为回归变差（或称回归 平方和），回归平方和反映了 i y 与 i y ˆ 之间的变差，这一变差由自变量 m x , x , , x 1 2 的变动 而引起，是总变差中由 自变量 m x , x , , x 1 2 解释的部分，它的大小反映了自变量 m x , x , , x 1 2 的重要程度；等式右边的第一项 Q1 称为剩余变差（或称残差平方和），它是由 观测或实验中产生的误差以及其他未加控制的因素引起的，反映的是总变差中未因变量 m x , x , , x 1 2 解释的部分。即 总变差=剩余变差+回归变差 与一元回归分析一样，也可以利用 Q2 在总离差中所占的比重表示多元线性回归模型的复可 决系数 2 R 。 2 2 2 2 2 ( ) ( ˆ ) 1 ( ) ( ˆ ) − − = − − − = y y y y y y y y R i i i i i 它可以用来衡量因变量 y 与自变量 m x , x , , x 1 2 之线性相关关系的密切程度。 2 2 ( ) ( ˆ ) 1 − − = − y y y y R i i i 称为复相关系数。这里 2 R 说明在 y 的总变差中，由一组自变量 m x , x , , x 1 2 变动所引起的 变差所占的百分比；Ｒ则描述一组自变量 m x , x , , x 1 2 与因变量 y 之间的线性相关程度。 它们所体现是一组自变量对因变量的影响程度及其线性相关程度，所以，这里分别称它们 为复可决系数和复相关系数。 与相关系数检验法一样，复相关系数检验法的步骤为：（１）计算复相关系数；（２） 根据回归模型的自由度 n－m 和给定的显著性水平 值，查相关系数临界值表；（３）判别。 在实际工作中，复相关系数的计算常用其简捷形式，如对于二元和三元的情形，其简
免费下载网址ht:jiaoxue5uys168.com 捷形式分别如式所示: ∑y-By-B2∑x2y-B,∑xy y h-=B, Ex yB, Ex B, Exay 由于R2是一个随自变量个数增加而递增的增函数,所以,当我们对两个具有不同自变量个 数但性质相同的回归模型进行比较时,就不能只用R2作为评价回归模型优劣的标准,还必 须考虑回归模型所包含的自变量个数的影响。因此,就需要定义一个经过校正的R2,记为 F21∑(y-=i)/ n-m) ∑(-y)(n-1 这里,n-m是剩余变差∑(y-)的自由度,n-1是总变差∑(-)的自由度。由 此可见,R2中体现了自变量个数m的影响。根据上式可得R2与R2之间的关系式如下: (1-R2) 从式可以看出: (1)当m>1时,R2<R2。说明R2中包含了自变量个数的影响,随着自变量x1,x2,…,x 个数的增加,R2总是小于R2。 (2)尽管R2总是非负的,但R2却可能为负。若遇到R2为负数的情况,R2取值为零 2.F检验 F检验是通过F统计量检验假设H0:B1=B2=…=Bn=0是否成立的方法。 (1)F统计量。 ∑(P;-y)(n y 式中的m-1是回归变差∑(,-y)的自由度,n-m是剩余变差∑(y-j)的自由度 可以证明F统计量服从第一自由度为m-1,第二自由度为n-m的F分布。故对给定的显 著性水平a,查F分布表可得临界值F(m-1,n-m)。若 则否定假设H,认为一组自变量x1x2…,xm与因变量y之间的回归效果显著;反之,则 不显著。一般来讲,回归效果不显著的原因有以下几种: 解压密码联系qq1139686加微信公众号 Jlaoxuewuyou九折优惠!淘宝网址 jiaoxuesu.taobao.com
免费下载网址 http://jiaoxue5u.ys168.com/ 解压密码联系 qq 1119139686 加微信公众号 jiaoxuewuyou 九折优惠！淘宝网址： jiaoxue5u.taobao.com 捷形式分别如式所示： − − − − = − y y y y x y x y n i i R i i i i i 2 2 1 2 2 3 3 2 1 − − − − − = − y y y y x y x y x y n i i R i i i i i i i 2 2 1 2 2 3 3 4 4 2 1 由于 2 R 是一个随自变量个数增加而递增的增函数，所以，当我们对两个具有不同自变量个 数但性质相同的回归模型进行比较时，就不能只用 2 R 作为评价回归模型优劣的标准，还必 须考虑回归模型所包含的自变量个数的影响。因此，就需要定义一个经过校正的 2 R ，记为 2 R ： 2 R ( ) ( 1) ( ˆ ) ( ) 1 2 2 − − − − = − y y n y y n m i i i 这里，n－m 是剩余变差 2 ( − ˆ ) i i y y 的自由度，n－１是总变差 2 ( y − y) i 的自由度。由 此可见， 2 R 中体现了自变量个数 m 的影响。根据上式可得 2 R 与 2 R 之间的关系式如下： 2 R ＝１－（１－ 2 R ） n m n − −1 从式可以看出： （１）当 m>１时， 2 R < 2 R 。说明 2 R 中包含了自变量个数的影响，随着自变量 m x , x , , x 1 2 个数的增加， 2 R 总是小于 2 R 。 （２）尽管 2 R 总是非负的，但 2 R 却可能为负。若遇到 2 R 为负数的情况， 2 R 取值为零。 ２．Ｆ检验 Ｆ检验是通过Ｆ统计量检验假设 H0 ： 1 = 2 == m = 0 是否成立的方法。 （１）Ｆ统计量。 ( ) ( 1) ( ˆ ) ( ˆ ) 2 2 n m i i m i F y y y y − − = − − 式中的 m－１是回归变差 (ˆ − ) 2 y y i 的自由度，n－m 是剩余变差 ( − ˆ ) 2 y y i i 的自由度。 可以证明Ｆ统计量服从第一自由度为 m－1，第二自由度为 n－m 的Ｆ分布。故对给定的显 著性水平 ，查Ｆ分布表可得临界值 F (m −1, n − m) 。若 Ｆ> F (m −1, n − m) 则否定假设 H0 ，认为一组自变量 m x , x , , x 1 2 与因变量 y 之间的回归效果显著；反之，则 不显著。一般来讲，回归效果不显著的原因有以下几种：
免费下载网址ht:jiaoxue5uys168.com ①影响y的因素除了一组自变量x12x2,…xn之外,还有其他不可忽略的因素; ②y与一组自变量x,x2,…,xm之间的关系不是线性的 ③y与一组自变量x1,x2…xm之间无关 这时,回归模型就不能用来预测,应分析其原因另选自变量或改变模型的形式 (2)F统计量与可决系数、相关系数的关系。从式中我们可以推导出三者的关系: F 1-R2m-1 R (m-1)F V(n-m)+(m-D)F 同样,F分布的临界值与相关系数临界值也具有上述等式关系。 3.t检验 前述的R检验和F检验都是将所有的自变量作为一个整体来检验它们与因变量y的相 关程度以及回归效果,而t检验则是通过t统计量对所求回归模型的每一个系数逐一检验假 设H0:B=0,J=12…,m是否成立的方法 )t统计量 式中B,为第j个自变量x,的回归系数:S是B,的样本标准差。 (2)t检验的步骤 ①计算估计标准误差 Vi 对于二元和三元情形,估计标准误差的简捷公式分别为 y-A∑y-A2∑xy-B∑ ∑y-AΣy-B∑xy-A2xy-∑ ②计算样本标准差,由式可知 S 式中Cn为矩阵(X)主对角线上的第个元素 解压密码联系qq1139686加微信公众号 Jlaoxuewuyou九折优惠!淘宝网址 jiaoxuesu.taobao.com
免费下载网址 http://jiaoxue5u.ys168.com/ 解压密码联系 qq 1119139686 加微信公众号 jiaoxuewuyou 九折优惠！淘宝网址： jiaoxue5u.taobao.com ① 影响 y 的因素除了一组自变量 m x , x , , x 1 2 之外，还有其他不可忽略的因素； ② y 与一组自变量 m x , x , , x 1 2 之间的关系不是线性的； ③ y 与一组自变量 m x , x , , x 1 2 之间无关。 这时，回归模型就不能用来预测，应分析其原因另选自变量或改变模型的形式。 （２）Ｆ统计量与可决系数、相关系数的关系。从式中我们可以推导出三者的关系： 1 1 2 2 − − − = m n m R R F n m m F m F R ( ) ( 1) ( 1) − + − − = 同样，Ｆ分布的临界值与相关系数临界值也具有上述等式关系。 ３．t 检验 前述的 R 检验和Ｆ检验都是将所有的自变量作为一个整体来检验它们与因变量 y 的相 关程度以及回归效果，而 t 检验则是通过 t 统计量对所求回归模型的每一个系数逐一检验假 设 H0 ： j = 0, j =1,2, ,m 是否成立的方法。 （１）t 统计量 j S t j j ˆ ˆ = j =1,2, ,m 式中 j ˆ 为第 j 个自变量 xj 的回归系数； j S ˆ 是 j ˆ 的样本标准差。 （２）t 检验的步骤 ①计算估计标准误差 n m i i S y y − = ( − ˆ ) 2 对于二元和三元情形，估计标准误差的简捷公式分别为 3 ˆ ˆ ˆ 1 2 2 3 3 2 − − − − = n i S y y x y x yi i i i i 4 ˆ ˆ ˆ ˆ 1 2 2 3 3 4 4 2 − − − − − = n i S y y x y x y x yi i i i i i i ②计算样本标准差，由式可知 S Cjj S j = ˆ 式中 Cjj 为矩阵 ( ) 1 XX − 主对角线上的第 j 个元素