e(a)=e(-br)=a+Ar-Ar=a Vi(x (a)=D(y-x)=D∑y n x(x-x) D x(x-x) Ix( 0 x2-x)2) 为估计02,令:e1=y1-=y1-a-bx1,称为残差或剩余。则残差平方和为: ∑(y-卩 )2 (y一)-b(x,-对 (y2-y)2-2b(y-形x1-x)+b2(x1-x)] Sn-2bS+b2Sx(∵b=-) E(SS)=E(S)--.E(S) =E(∑(-)- SID(S)+[E(S 由于EC∑(-y)2)=E∑(a++61-a-所 E∑[B(x-x)+(51-E)2(:交叉项期望为0
Sxx / 2 = E(a) = E( y − bx) = + x − x = ) 1 ( 0 ( ) ) 1 ( ) ( ) ( ) 2 1 ( ) 1 ( ) ( ) ] 1 ( ) [ ( ] ( ) 1 ( ) ( ) [ 2 2 1 2 2 2 2 1 2 2 2 2 2 1 2 2 1 1 1 xx n i i xx n i xx i xx i n i xx i n i i xx i n i xx n i i i i S x n x x S x n S x x x nS x x x n S x x x n y S x x x n D S x y x x y n D a D y bx D = + = − + − − + − = − − = − − = − − = − = − = = = = = = 为估计σ2，令： i i i i a bxi e = y − y ˆ = y − − ，称为残差或剩余。则残差平方和为： yy xy xx xy yy xy xx n i i i i i n i i i n i i i n i n i e i i i S bS S S S bS b S b y y b y y x x b x x y y b x x y y bx bx SS e y a bx a y bx = − = − + = = − − − − + − = − − − = − + − = = − − = − = = = = = 2 ( ) [( ) 2 ( )( ) ( ) ] [( ) ( )] ( ) ( ) ( ) 2 1 2 2 2 1 2 1 2 1 1 2 2 [ ( ) [ ( )] ] 1 ( ( ) ) ( ) 1 ( ) ( ) 2 1 2 2 xy xy xx n i i xy xx e yy D S E S S E y y E S S E SS E S = − − + = − = 由于 = = − = + + − − − n i i i n i i E y y E x x 1 2 1 2 ( ( ) ) ( ) = = − + − n i i E x x 1 2 1 [( ) ( )] （∵交叉项期望为 0）
B2∑(x-x)2+E∑(E1-g)2 =B2Sa+E(∑2-nE2) B2 s +ng--n BS+(n-Do 且D(Sxy)=S E(Sxy)=βSx,(已证) E(SS,)=B S+(n-D)o (Sx0-+B2Sx)=(n-2)o E(MS)=E(≤) 用MS(剩余均方)代替o2,可得b与a的样本方差: S8=MS Sa =mse(+ 由于MSe的自由度为n-2,因此上述两方差的自由度也均为n-2。有了a和b的方差与均 值,我们就可构造统计量对它们进行检验 Ho:β=0 HA:B≠0(双侧检验) 或:HA:β>0(或β<0)(单侧检验) b 统计量:tb=b/S (58) 当H成立时,tb~t(n-2),可查相应分位数表进行检验 Ho: 0=0 HA:≠0 (双侧检验) 或:HAa>0(或a<0)(单侧检验) 统计量:t=a/S=a/、MS (59) 当H成立时,ta~t(n-2),可查相应分位数表进行检验 在对一个回归方程的统计检验中,我们更关心的是β是否为0,而不是a是否为0。这是 因为若β=0,则线性模型变为Y=α+E,与X无关;这意味着X与Y间根本没有线性关系 反之,α是否为0并不影响Ⅹ与Y的线性关系。因此我们常常只对β作统计检验 例52对例51中的β作检验:H:β=0 解:MS.=SSSn-bS /S
2 2 2 2 2 1 2 2 2 1 1 2 2 2 ( 1) ( ) ( ) ( ) = + − = + − = + − = − + − = = = S n n S n n S E n x x E xx xx n i xx i n i n i i i 且 D(Sxy) = Sxx 2 , E(Sxy) = Sxx , （已证） 2 2 2 2 2 2 ( ) ( 2) 1 ( ) = + ( −1) − S + S = n − S E SS S n xx xx xx e xx 2 ) 2 ( ) ( = − = n SS E MS E e e 用 MSe（剩余均方）代替 2，可得 b 与 a 的样本方差： xx e b S MS S = 2 ) 1 ( 2 2 xx a e S x n S = MS + 由于 MSe的自由度为 n-2，因此上述两方差的自由度也均为 n-2。有了 a 和 b 的方差与均 值，我们就可构造统计量对它们进行检验： H0 : = 0 HA: 0 （双侧检验） 或： HA: > 0 （或< 0） （单侧检验） 统计量： e xx b b MS b S t b S = / = （5.8） 当 H0 成立时，tb ~ t(n-2)，可查相应分位数表进行检验。 H0: = 0 HA: 0 （双侧检验） 或： HA: > 0 （或 < 0） （单侧检验） 统计量： ) 1 / / ( 2 xx a a e S x n t = a S = a MS + （5.9） 当 H0 成立时，ta ~ t(n-2)，可查相应分位数表进行检验。 在对一个回归方程的统计检验中，我们更关心的是是否为 0，而不是是否为 0。这是 因为若 = 0，则线性模型变为 Y = + ，与 X 无关；这意味着 X 与 Y 间根本没有线性关系。 反之，是否为 0 并不影响 X 与 Y 的线性关系。因此我们常常只对作统计检验。 例 5.2 对例 5.1 中的作检验：H0: =0 解： 2 / 2 2 2 − − = − − = − = n S S S n S bS n SS MS e yy xy yy xy xx e
210.2-136.52/90 10583 5-2 t=b/S=b/√MS/Sx 1.5167/√10583/90=1.5167/0.1084=13.99 查表,to9943)=5.841<t,∴差异极显著,应拒绝Ho,即≠0,或Ⅹ与Y有着极显著的 线性关系。 上述统计量还有一个用途:进行两个回归方程间的比较。即检验Ho:B1=B2和Ho:a1=ax2 如果两Ho均被接受,则可认为两组数据是抽自同一总体,从而可将两回归方程合并,得到 一个更精确的方程。我们通过例53对具体方法加以说明 例53两组实验数据如下 102105108 66 68 69 71 73 78 85 9 是否可从它们得到统一的回归方程? 解:从原始数据计算可得: 组别 MS 18|98375740257.87536029400.13571.140-3815 2787.062286162.0187.429174.00.10801.074-31.1 (1).首先检验总体方差是否相等: H MSx0.1357 F=MS20.1080 1.2565 查表,F0975(6,5)=6978>F,∴接受Ho,可认为两总体方差相等 计算公共的总体方差: M代-2)M△S1+(n2-2)AS +n2-4 6×0.1357+5×0.1080 ≈0.1231 (2)检验回归系数β1与B2是否相等:Ho:B1=B2;HA:β1≠B2
1.0583 5 2 210.2 136.5 / 90 2 = − − = b Sb b MSe Sxx t = / = / / = 1.5167 / 1.0583/ 90 = 1.5167 / 0.1084 = 13.99 查表，t0.995(3) = 5.841 < t， 差异极显著，应拒绝 H0，即 0，或 X 与 Y 有着极显著的 线性关系。 上述统计量还有一个用途：进行两个回归方程间的比较。即检验 H0: 1 = 2 和 H0: 1 = 2。 如果两 H0 均被接受，则可认为两组数据是抽自同一总体，从而可将两回归方程合并，得到 一个更精确的方程。我们通过例 5.3 对具体方法加以说明。 例 5.3 两组实验数据如下： x1 91 93 94 96 98 102 105 108 y1 66 68 69 71 73 78 82 85 x2 80 82 85 87 89 91 95 y2 55 57 60 62 64 67 71 是否可从它们得到统一的回归方程？ 解：从原始数据计算可得： 组别 n x y Sxx Syy Sxy MSe b a 1 8 98.375 74.0 257.875 336.0 294.0 0.1357 1.140 -38.15 2 7 87.0 62.286 162.0 187.429 174.0 0.1080 1.074 -31.15 (1). 首先检验总体方差是否相等： 2 2 2 1 2 2 2 0 1 H : = , H A : 1.2565 0.1080 0.1357 2 1 = = = e e MS MS F 查表，F0.975(6, 5) = 6.978 > F, 接受 H0，可认为两总体方差相等。 计算公共的总体方差： 0.1231 11 6 0.1357 5 0.1080 4 ( 2) ( 2) 1 2 1 1 2 2 + = + − − + − = n n n MS n MS MS e e e (2). 检验回归系数1 与2 是否相等：H0: 1 = 2； HA: 1 2
MsC 1.140-1.074 0.066 1.8766 0.03517 0.231×( 257.875162 查表,得to9(11)=2.201>t,∴接受Ho,可认为两回归系数相等。 共同总体回归系数的估计值为: b=Sl b,+S2 b2=Sy1+Sy2- 294+174 s+s 257875+l62.146 (3).再检验α1,a2是否相等:Ho:a1=a2;HA:a1≠a2 MS -38.15+31.15 ≈-2.1702 10123×1498375287)3225 257875162 查表,t9(1)=2.201,∴9n(1)>,接受H,可认为a=a2 若检验结果为α1≠α2,此题即可结束;但若检验结果为α=α,则需把全部原始数据放在 起,重新进行回归 Sx=902.933,Sxy=9654667,Sy=1035.733,3=93.067,y=68.53 =1.0693 从而得到合并的回归方程j=-309787+1.0693x 四、一元回归的方差分析 对回归方程的统计检验除可用上述t检验外,还有一些其他方法。这里我们再介绍一种 方差分析的方法,它的基本思想仍是对平方和的分解。 1.无重复的情况。 y的总校正平方和可进行如下的分解: C(y-y)2=∑[(y-j,)+(,-y (-)+∑(-2+2∑(0-一)
1.8766 0.03517 0.066 ) 162 1 257.875 1 0.1231 ( 1.140 1.074 ) 1 1 ( 1 2 1 2 2 2 2 1 1 2 = + − = + − = + − = xx xx e b b S S MS b b S S b b t 查表，得 t0.975(11) = 2.201 > t, 接受 H0，可认为两回归系数相等。 共同总体回归系数的估计值为： 1.1146 257.875 162 294 174 1 2 1 2 1 2 1 1 2 2 + + = + + = + + = xx xx xy xy xx xx xx xx S S S S S S S b S b b (3). 再检验1，2 是否相等：H0: 1 = 2； HA: 1 2 2.1702 3.22556 7 ) 162 87 257.875 98.375 7 1 8 1 0.1231 ( 38.15 31.15 ) 1 1 ( 2 2 2 2 2 1 2 2 1 1 1 2 2 2 2 1 1 2 − − + + + − + = + + + − = + − = xx xx e a a S X S n X n MS a a S S a a t 查表，t0.975(11) = 2.201, (11) , 0.975 t t 接受 H0，可认为: 1 = 2。 若检验结果为1 2，此题即可结束；但若检验结果为1 = 2，则需把全部原始数据放在 一起，重新进行回归： Sxx = 902.9333, Sxy = 965.4667, Syy = 1035.7333, x = 93.067, y = 68.533, b = xx xy S S = 1.0693, a = y − bx = −30.9787 从而得到合并的回归方程 y ˆ = −30.9787 +1.0693x 。 四、一元回归的方差分析 对回归方程的统计检验除可用上述 t 检验外，还有一些其他方法。这里我们再介绍一种 方差分析的方法，它的基本思想仍是对平方和的分解。 1. 无重复的情况。 y 的总校正平方和可进行如下的分解： = = = = = = − + − + − − − = − + − n i n i n i i i i i i i n i n i i i i i y y y y y y y y y y y y y y 1 1 1 2 2 1 1 2 2 ( ˆ ) ( ˆ ) 2 ( ˆ )( ˆ ) ( ) [( ˆ ) ( ˆ )]
(y--)=∑(-a-bx bx) + bxbx,-bx) b∑(y-x-x)-b∑(x-x)2 b(Sm-b.S=0 (y-y)2=∑(y1-j)2+∑(,- y的总校正平方和残差平方和 回归平方和 自由度 n-2 这样就把y的总校正平方和分解成了残差平方和与回归平方和。前已证明,Ms可作为 总体方差σ2的估计量,而MSR可作为回归效果好坏的评价。如果MSR仅由随机误差造成的 话,说明回归失败,Ⅹ和Y没有线性关系:;否则它应显著偏大。因此可用统计量 M (5.10) (n-2) 对H:β=0进行检验。若F<Fa(1,m2),则接受Ho,否则拒绝 现在我们来证明这里的F检验与前述的t检验是一致的: 前已证明:SS=Sy-b·.Sxy MS F Ms bSb MS 例54对例5.1作方差分析 解:由以前计算结果: Sy=210.2,df=4;SSe=3.1704,df=3, SSR=210.2-3.1704=207.03,df=1 207.03 F 19590 3.1704/3 查表得F09(1,3)=10.13,F09(1,3)=3412 F>Fo9(1,3),拒绝Ho,差异极显著。即应认为回归方程有效 2.有重复的情况: 设在每一个x取值上对Y作了m次观察,结果记为y,y,…yim,则线性统计模型变 yn=a+所
( ) 0 [ ( )( ) ( ) ] ( )( ) ( ˆ )( ˆ ) ( )( ) 1 1 2 1 1 1 = − = = − − − − = − + − − − − = − − + − − = = = = = xy xx n i n i i i i n i i i i n i i i i i n i i i b S b S b y y x x b x x y y bx bx bx bx y y y y y a bx a bx a bx = = = − = − + − n i n i n i i i i i y y y y y y 1 1 1 2 2 2 ( ) ( ˆ ) ( ˆ ) 即： Syy = SSe + SSR y 的总校正平方和 残差平方和 回归平方和 自由度： n-1 n-2 1 这样就把 y 的总校正平方和分解成了残差平方和与回归平方和。前已证明，MSe可作为 总体方差 2 的估计量，而 MSR可作为回归效果好坏的评价。如果 MSR仅由随机误差造成的 话，说明回归失败，X 和 Y 没有线性关系；否则它应显著偏大。因此可用统计量 /( − 2) = = SS n SS MS MS F e R e R （5.10） 对 H0: = 0 进行检验。若 F < F(1, n-2)，则接受 H0，否则拒绝。 现在我们来证明这里的 F 检验与前述的 t 检验是一致的： 前已证明：SSe = Syy − b Sxy, SSR = Syy − SSe = b Sxy, xx e b S MS S = 2 2 2 2 2 t S b S S b S MS MS F b xx b xy e R = = = = 例 5.4 对例 5.1 作方差分析 解：由以前计算结果： Syy = 210.2，df = 4; SSe = 3.1704, df = 3, SSR = 210.2 −3.1704 = 207.03, df = 1 195.90 3.1704 / 3 207.03 F = = 查表得 F0.95(1, 3) = 10.13, F0.99(1, 3) = 34.12 F > F0.99(1, 3)，拒绝 H0，差异极显著。即应认为回归方程有效。 2. 有重复的情况： 设在每一个 xi 取值上对 Y 作了 m 次观察，结果记为 yi1, yi2, ……yim, 则线性统计模型变 为： ij i ij y = + x + , i = 1, 2, … n, j = 1, 2, … m