《概率论与数理统计》课程教学资源（教案讲义，理工类）第八章 方差分析与回归分析（8.3）多元线性回归

第三节*多元线性回归 在许多实际问题中,常常会遇到要研究一个随机变量与多个变量之间的相关关系,例 如,某种产品的销售额不仅受到投入的广告费用的影响,通常还与产品的价格、消费者的收 入状况、社会保有量以及其它可替代产品的价格等诸多因素有关系.研究这种一个随机变量 同其他多个变量之间的关系的主要方法是运用多元回归分析.多元线性回归分析是一元线 性回归分析的自然推广形式,两者在参数估计、显著性检验等方面非常相似本节只简单介 绍多元线性回归的数学模型及其最小二乘估计 分布图示 引言 ★多元线性回归模型 ★最小二乘估计 ★例1 ★习题8-4 ★返回 内容要点 多元线性回归模型 设影响因变量Y的自变量个数为P,并分别记为x,x2…,x,所谓多元线性模型是指这 些自变量对Y的影响是线性的,即 Y=Po+Bx+P2x2+.+Bprp (0,a2) 其中馬n,BB2,…,B,a2是与xx2…,x无关的未知参数,称Y为对自变量x,x2,…,x的 线性回归函数 记n组样本分别是(x1,x2,…,xp,y)(=12,…,m),则有 n=B0+B1x1+B2x12+…+Bpx1p+61 y2=B0+B1x21+B2x2+…+Bpx2p+ B+Bxn+B2xn2+…+B 其中s1,E2,…,En相互独立,且E;~N(0,2),i=12…,n,这个模型称为多元线性回归的数 学模型.令 Bo PI Be

第三节 *多元线性回归 在许多实际问题中， 常常会遇到要研究一个随机变量与多个变量之间的相关关系，例 如，某种产品的销售额不仅受到投入的广告费用的影响，通常还与产品的价格、消费者的收 入状况、社会保有量以及其它可替代产品的价格等诸多因素有关系. 研究这种一个随机变量 同其他多个变量之间的关系的主要方法是运用多元回归分析. 多元线性回归分析是一元线 性回归分析的自然推广形式，两者在参数估计、显著性检验等方面非常相似. 本节只简单介 绍多元线性回归的数学模型及其最小二乘估计. 分布图示 ★ 引言 ★ 多元线性回归模型 ★ 最小二乘估计 ★ 例1 ★ 例2 ★ 习题 8-4 ★ 返回 内容要点 一、多元线性回归模型 设影响因变量 Y 的自变量个数为 P，并分别记为 1 2 , , , , p x x  x 所谓多元线性模型是指这 些自变量对 Y 的影响是线性的，即 =  +  +  + +  + p p Y x x  x 0 1 1 2 2 ， ~ (0, ) 2  N  其中     p , , , , 0 1 2  ， 2  是与 p x , x , , x 1 2  无关的未知参数，称 Y 为对自变量 1 2 , , , , p x x  x 的 线性回归函数. 记 n 组样本分别是 ( , , , , ) i1 i2 ip i x x  x y (i =1,2,  , n) ，则有        = + + + + + = + + + + + = + + + + + n n n p np n p p p p y x x x y x x x y x x x                    0 1 1 2 2 2 0 1 21 2 22 2 2 1 0 1 11 2 12 1 1 , 其中 n  , , , 1 2  相互独立，且 ~ (0, ) 2  i N  ，i =1,2,  ,n ，这个模型称为多元线性回归的数 学模型. 令 Y =               n y y y  2 1 , X =               n n np p p x x x x x x x x x         1 2 21 22 2 11 12 1 1 1 1 ,               =  p     1 0 ,               = n      2 1

则上述数学模型可用矩阵形式表示为 其中ε是n维随机向量,它的分量相互独立。 二、最小二乘估计 与一元线性回归类似,我们采用最小二乘法估计参数B,BB2,…,Bn,引入偏差平方和 QA0,B…Bn)=∑(0-B-Bx1-B2x2-…-Bx) 最小二乘估计就是求B=(B0,B1…B),使得 Q(B0,B1…,Bp)=QBo,B1 因为QB0,B1…,B)是B,B…B,的非负二次型,故其最小值一定存在。根据多元微 积分的极值原理,令 an-20-B-B-“=By)=0 aB B0-B1x1-…-Bnx) 上述方程组称为正规方程组,可用矩阵表示为 B=XY 在系数矩阵XX满秩的条件下,可解得 XXX Y β就是B的最小二乘估计,即B为回归方程 =B+Bx1+…+Bp 的回归系数 注:实际应用中,因多元线性回归所涉及的数据量较大,相关分析与计算较复杂,通常 采用统计分析软件SPSS或SAS完成,有兴趣的读者可进一步参考相关资料 例题选讲 例1设Y=(y,y2,y3)服从线性模型 y=B0+月1x1+B2(3x2-2),=12,3 其中x=-1,x2=0,x3=1,试写出矩阵X,并求出B,B1,B2的最小二乘估计

则上述数学模型可用矩阵形式表示为 Y = X + 其中  是 n 维随机向量，它的分量相互独立。 二、最小二乘估计 与一元线性回归类似，我们采用最小二乘法估计参数     p , , , , 0 1 2  ，引入偏差平方和 ( , , , ) Q  0  1   p == − − − − − n i i i i p ip y x x x 1 2 0 1 1 2 2 (      ) 最小二乘估计就是求   = T p ( , , , )  0  1      ，使得  min ( , , , ) Q  0  1  p     = ( , , , ) Q  0  1  p     因为 ( , , , ) Q  0  1   p 是    p , , , 0 1  的非负二次型，故其最小值一定存在。根据多元微 积分的极值原理，令 1,2, , . 2 ( ) 0 2 ( ) 0 1 0 1 1 1 0 1 1 0 j p y x x x Q y x x Q n i i i p ip ij j n i i i p ip    =        = − − − − − =   = − − − − − =     = =         上述方程组称为正规方程组，可用矩阵表示为 X X X Y T T  = 在系数矩阵 X X T 满秩的条件下，可解得 X X X Y T 1 T ( ) −  =    就是  的最小二乘估计，即   为回归方程 y =  p p   x  x     0 + 1 1 + + 的回归系数. 注：实际应用中，因多元线性回归所涉及的数据量较大，相关分析与计算较复杂，通常 采用统计分析软件 SPSS 或 SAS 完成，有兴趣的读者可进一步参考相关资料. 例题选讲 例 1 设 T Y (y , y , y ) = 1 2 3 服从线性模型 (3 2), 1,2,3, 2 Yi =  0 + 1 xi +  2 xi − i = 其中 1, 0, 1, xi = − x2 = x3 = 试写出矩阵 X, 并求出 0 1 2  ,  ,  的最小二乘估计

300 y2+y3 XX=020(x2x)-1=0120xy=|-y 006 001/6 故(B0,B1,月2)的最小二乘估计为 (y1+y2+y3) B=(Xx-xy=l-(n +y3) B3 例2下 某种产品每件平均单价Y(元)与批量x(件)之间的关系的一组数据 16f1s1481413o612412201 我们选取模型Y=B0+B1x+B2x2+E,E~N(0,a2)来拟合它,求其回归方程 画出散点如右图所示 我们选取模型 191 Y=B0+Bx+B2x2+E1E~N(Qa2)来拟合它,现18 17 在来求回归方程 1.6 令x1=x,x2=x2,则上式可写成 1.5 14 Y=Bo+B,x+B2x2+E, E-N(O,0) 1.3 1.2 这是一个二元线性回归模型,现在 LLLLLLLLLLL- 2030405060708090

解 X             − − − = 2 2 2 3 3 3 1 1 1 2 3 2 2 2 1 3 2 1 x x x x x x , 1 1 1 1 0 2 1 1 1           − − = X X T , 0 0 6 0 2 0 3 0 0           = 1 ( ) − X X T , 0 0 1/ 6 0 1/ 2 0 1/ 3 0 0           = X Y T , 1 2 2 3 1 3 1 2 3           − + − + + + = y y y y y y y y 故 ( , , )  0 1  2 的最小二乘估计为             3 1 0 ˆ ˆ ˆ    X X X Y T 1 T ( ) − = . ( 2 ) 6 1 ( ) 2 1 ( ) 3 1 1 2 3 1 3 1 2 3                 − + − + + + = y y y y y y y y 例 2 下面给出了某种产品每件平均单价 Y (元)与批量 x(件)之间的关系的一组数据 x 20 25 30 35 40 50 60 65 70 75 80 90 y 1.81 1.70 1.65 1.55 1.48 1.40 1.30 1.26 1.24 1.21 1.20 1.18 我们选取模型 , ~ (0, ) 2 2 Y =  0 + 1 x +  2 x +   N  来拟合它，求其回归方程. 画出散点如右图所示. 我们选取模型: , ~ (0, ) 2 2 Y =  0 + 1 x +  2 x +   N  来拟合它，现 在来求回归方程. 令 , 1 x = x , 2 2 x = x 则上式可写成 , ~ (0, ), 2 Y =  0 + 1 x1 +  2 x2 +   N  这是一个二元线性回归模型, 现在

130900 1603600 B=|B1 1704900 1755625 120 1908100 640 40100 经计算 X=640401002779000 40100277900204702500 8572925×101-1.95717×101017055 △ 195717×1010848420000-2648000 170550000 7684000 71600 △=141918×101即得正规方程组的解为 Bo 1698 2.19826629 B=B=(xx)xy=(xx)-|813=|-0025226 B2 51162)(0.00012507 于是得到回归方程为 y=219826629-0.02252236x+0.00012507 课堂练习 设{y2=2a-b+e2,其中e1e2e2相互独立,且E(e)=0,D(e)=a2,i=123,试求a 和b的最小二乘估计

, 1 90 8100 1 80 6400 1 75 5625 1 70 4900 1 65 4255 1 60 3600 1 50 2500 1 40 1600 1 35 1225 1 30 900 1 25 625 1 20 400                                       X = , 1.18 1.20 1.21 1.24 1.26 1.30 1.40 1.48 1.55 1.65 1.70 1.81                                       Y = . 2 1 0           =     经计算 X X T           = 40100 277900 204702500 640 40100 2779000 12 640 40100 (X X ) T             − −  −  −   = 170550000 7684000 71600 1.95717 10 848420000 2648000 4.8572925 10 1.95717 10 170550000 1 10 11 10 1.41918 10 . 11  =  即得正规方程组的解为             = 2 1 0 ˆ ˆ ˆ ˆ     X X X Y T 1 T ( ) − =           = − 51162 851.3 16.98 ( ) 1 X X T . 0.00012507 0.02252236 2.19826629           = − 于是得到回归方程为 ˆ 2.19826629 0.02252236 0.00012507 . 2 y = − x + x 课堂练习 1.设      = + + = − + = + 3 3 2 2 1 1 2 2 y a b e y a b e y a e , 其中 1 2 3 e , e , e 相互独立, 且 ( ) 0, ( ) , 1,2,3, 2 E ei = D ei = i = 试求 a 和 b 的最小二乘估计