y=b+bx1+b2x2+…+bpxp (3) 应选b,b,…,bp使得全部观察值与回归值y的残差平 方和 Qg=∑(V-)2=∑(y-b-b1x1-b2x2-…-bxp)2 达到最小。其正规方程形式为 (XX)b=XY (4) 由于X是满秩矩阵,Rank(XX)=P+1≤n,方程有唯 解 b=(XX)XY=A B=CB (5) 记 A=XX一正规方程组的系数矩阵(信息矩阵); B=XY一正规方程组的常数项矩阵 C=A=(cn)相关矩阵 最小二乘估计b有以下统计性质: (1)b是B的无偏估计量,若记
P P y = b + b x + b x ++ b x 0 1 1 2 2 ˆ （3） 应选 b0, b1, …, bP 使得全部观察值 yi 与回归值 i y ˆ 的残差平 方和 = = = − = − − − − − n i i i i P iP n i E i i Q y y y b b x b x b x 1 2 0 1 1 2 2 1 2 ( ˆ ) ( ) 达到最小。其正规方程形式为 (X X )b = X Y （4） 由于 X X 是满秩矩阵，Rank( X X )=P+1≤n，方程有唯一 解 b = XX XY = A B = CB −1 −1 ( ) （5） 记 A= X X —正规方程组的系数矩阵（信息矩阵）； B= X Y —正规方程组的常数项矩阵； C= ( ) 1 ij A = c − —相关矩阵。 最小二乘估计 b 有以下统计性质： （1）b 是β的无偏估计量，若记
E(bo) E(b)=El b,E(b1) E(bp) E(b)=EI(XXXY=(XX)XE(Y) (XX)XE(XB+8=(XX"XIXB+E(8) (XX)(XXB= B (2)回归系数b的相关矩阵R=0C=02(cj),即 coV (bi, bj)=0-Cij, i,j=0, 1, 2,., P. 一般,C,(i≠j不全为零。 说明:用最小二乘法求出的各回归系数b,b,…,b存在相关性。 例1.(称量设计)用天平称质量会带有随机误差,如由 气温、湿度、卫生条件及人的视觉等所引起。 有A、B、C、D共4件物品,其质量分别为B1,B2, β3,B4,现用天平称量,每次将4见物品都放上,然后选 个砝码使天平平衡。有如下的称量设计: 1)把4件物品均放在天平一侧,物品质量为 Y1=B1+B2+B3+B4+e 2)把A、B放一侧,C、D放在另一侧,得 Y2=B1+B2-B3-B4+
= = ( ) ( ) ( ) ( ) 1 0 1 0 P E bP E b E b b b b E b E = = = + = + = = − − − − − ( ) ( ) ( ) ( ) ( ) [ ( )] ( ) [( ) ] ( ) ( ) 1 1 1 1 1 X X X X X X X E X X X X X E E b E X X X Y X X X E Y （2）回归系数 b 的相关矩阵 R=σ2C=σ2（cij）,即 COV（bi, bj）=σ2 cij, i,j=0,1,2,…,P. 一般，cij , (i≠j)不全为零。 说明： 例 1.（称量设计）用天平称质量会带有随机误差，如由 气温、湿度、卫生条件及人的视觉等所引起。 有 A、B、C、D 共 4 件物品，其质量分别为β1，β2， β3，β4，现用天平称量，每次将 4 见物品都放上，然后选 一个砝码使天平平衡。有如下的称量设计： 1）把 4 件物品均放在天平一侧，物品质量为 Y1=β1+β2+β3+β4+ε1， 2）把 A、B 放一侧，C、D 放在另一侧，得 Y2=β1+β2－β3－β4+ε2， 用最小二乘法求出的各回归系数 b0, b1, …, bP 存在相关性
3)把A、C放一侧,B、D放在另一侧,得 Y1=B1-B2+B3-B4+E3, 4)把A、D放一侧,B、C放在另一侧,得 B1-B2-B3+B 其中e:~N(0 此4元回归模型的结构矩阵为 这是一个正交矩阵。系数矩阵和相关矩阵分别为 4 A 1/4 1/4 R=02A=02 1/4 常数项矩阵为
3）把 A、C 放一侧，B、D 放在另一侧，得 Y1=β1－β2+β3－β4+ε3， 4）把 A、D 放一侧，B、C 放在另一侧，得 Y1=β1－β2－β3+β4+ε4， 其中εi～N（0，σ2）。 此 4 元回归模型的结构矩阵为 − − − − − − = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 X 这是一个正交矩阵。系数矩阵和相关矩阵分别为 = 4 4 4 4 A ， = = − 1/ 4 1/ 4 1/ 4 1/ 4 2 1 2 R A 常数项矩阵为
y1+y2+y3+y4 B- yvy,+y2-23-y4 y1-y2+y3-y4 V1-V2- J3+ y2 由公式b=CB,求得 b=B1=(y1+y2+y3+y4) b2=B2=(1+y2-y3-y4) b3=B3=(y1-y2+y3-y4) b4=B4=(y1-y2-y3+y4) 根据最小二乘估计的性质可知 1)b1,b2,b3,b4分别是物体质量B1,B2,B3,B4的无偏 估计; 2)D(b)=0Ci=4 3)ci=0,当i≠j(i,j=1,2,3,4),即b,b2,b3,b4之间不相 关 结论:在不增加试验总次数的前提下,显著提高了称量精 度 3.模型的评价 ①回归方程的显著性检验
− − + − + − + − − + + + = = 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 y y y y y y y y y y y y y y y y B X Y 由公式 b=CB，求得 ( ) 4 1 ˆ ( ) 4 1 ˆ ( ) 4 1 ˆ ( ) 4 1 ˆ 4 4 1 2 3 4 3 3 1 2 3 4 2 2 1 2 3 4 1 1 1 2 3 4 b y y y y b y y y y b y y y y b y y y y = = − − + = = − + − = = + − − = = + + + 根据最小二乘估计的性质可知： 1）b1, b2,b3, b4 分别是物体质量β1，β2，β3，β4的无偏 估计； 2）D（bi）=σ2cii= 4 1 σ2 ; 3) cij=0, 当 i≠j ( i，j=1,2,3,4), 即 b1, b2,b3, b4 之间不相 关。 结论：在不增加试验总次数的前提下，显著提高了称量精 度。 3. 模型的评价 ① 回归方程的显著性检验
类似于一元线性回归,检验(经验)回归方程 j=bo+6x+b22+.+bpxp (6) 是否显著,即,判断因变量Y与可控变量X1,X2,…,Xp间 是否有显著的姓妇 需检验假设H0:β0=0,B1=0,…,βp=0; 若H成立,则多元线性回归模型 Y=XB+e 中β的每一分量均为零,Y与X1,X2…,Xp之间无显著的线 性相关关系。 总偏差平方和为 Q=∑(1-y)2+∑(1-y)2=QR+QE 可证明,若H成立且结构矩阵X满秩,有 x2(N-P-1 x2(P) Q和Q相互独立,从而统计量 F OR/P DE/(N-P-1) ~F(P,N-P-1), 若算得F的统计值f:f>fa(P,N-P-1),在显著性水平a 下,可认为方程(6) j=60+6x+b2 +6 有显著意义
类似于一元线性回归，检验（经验）回归方程 P P y = b + b x + b x ++ b x 0 1 1 2 2 ˆ （6） 是否显著，即，判断因变量 Y 与可控变量 X1, X2, …, Xp 间 是否有显著的线性相关关系。 若 H0 成立，则多元线性回归模型 Y=Xβ+ε 中β的每一分量均为零，Y 与 X1, X2, …, Xp 之间无显著的线 性相关关系。 总偏差平方和为 = = = − + − = + n i n i T i i i QR QE Q y y y y 1 1 2 2 ( ˆ ) ( ˆ ) 可证明，若 H0 成立且结构矩阵 X 满秩，有 ~ ( 1), 2 2 N − P − QE ~ ( ), 2 2 P QR QE和QR 相互独立，从而统计量 ~ ( , 1) /( 1) / − − − − = F P N P Q N P Q P F E R ， 若算得 F 的统计值 f：f＞fα(P, N－P－1)，在显著性水平α 下，可认为方程(6) P P y = b + b x + b x ++ b x 0 1 1 2 2 ˆ 有显著意义。 需检验假设 H0：β0=0，β1=0，…，βP=0；