第八章多元回归分析 第一讲多元线性回归 元线性回归模型的评价 对一元线性回归模型需做数据的拟合优度、线性相关 关系的检验。 Y=B0十阝1x+e,e~N(0,02) 其中,β0、阝1、02是未知参数。 取定可控变量X的一组值x1,x2,…,xn,对Y做n 次观察(试验),假定各次试验是相互独立的。记试验结果 为Y1,Y2 则 Y=+阝1xi+ei;(i=1,2,…, (1)e1,ε2,…,εn相互独立 (2)εi~N(0,02),i=1,2,…,n 得参数β0、B1的估计:bo=B0、b1=B1,有经验回归模 型 y=60+b,x 「问题:产生试验(观察)值y,y2,…,ym之间的差异的原因? (1)自变量X的不同取值; 哪一个方面的 (2)其它因素(包括试验误差)的影响。 是主要的? 分析总偏差平方和
第八章 多元回归分析 第一讲 多元线性回归 一． 一元线性回归模型的评价 对一元线性回归模型需做数据的拟合优度、线性相关 关系的检验。 Y＝β0 十 β1x＋ε，ε～N（0，σ2） 其中，β0、β1、σ2 是未知参数。 取定可控变量 X 的一组值 x1，x2，…，xn，对 Y 做 n 次观察（试验），假定各次试验是相互独立的。记试验结果 为 Y1，Y2，…，Yn，则 Yi=β0 十 β1xi 十εi，（i=1，2，…， n）， （1） ε1，ε2，…，εn相互独立； （2） εi～N（0，σ2），i=1，2，…，n. 得参数β0、β1的估计：b0= 0 ˆ 、b1= 1 ˆ ,有经验回归模 型 y b b x 0 1 ˆ = + （1） 自变量 X 的不同取值； （2） 其它因素（包括试验误差）的影响。 分析总偏差平方和 问题：产生试验（观察）值 y1，y2，…，yn 之间的差异的原因？ 哪一个方面的影响 是主要的？
Qr=2(y1-y)2=l 是观察值y,y2,…,y相对均值y的离散程度,即n个观 察值之间的差异。有 Qr=∑[(02-y)2+(y1-y)2 ∑(y-y)2+∑(1-y)2=QR+QE 其中 QR=∑(-y)2= 称为回归平方和。回归平方和是由自变量X的变化而产生, 反映了自变量X的重要程度。 Qg=2(y1-1)2=,人 称为残差平方和。残差平方和的大小反映了试验误差和其 它因素对试验结果的影响程度。 可证明 x2(n-1) 当b=0时,~x()并且,Q2和Q相互独立
yy n i T i Q = y − y = l =1 2 ( ) 是观察值 y1，y2，…，yn相对均值 y 的离散程度，即 n 个观 察值之间的差异。有 = = = = − + − = + = − + − n i n i i i i R E n i T i i i y y y y Q Q Q y y y y 1 1 2 2 1 2 2 ( ˆ ) ( ˆ ) [( ˆ ) ( ˆ ) ] 其中 xx xy n i R i l l Q y y 2 1 2 = ( ˆ − ) = = 称为回归平方和。回归平方和是由自变量 X 的变化而产生， 反映了自变量 X 的重要程度。 xx xy yy n i E i i l l Q y y l 2 1 2 = ( − ˆ ) = − = 称为残差平方和。 残差平方和的大小反映了试验误差和其 它因素对试验结果的影响程度。 可证明 ~ ( 1), 2 2 n − QT ~ ( 2), 2 2 n − QE 当 b=0 时， ~ (1), 2 2 QR 并且， QE和QR 相互独立
若X与Y之间存在线性相关关系,回归方程 bo+6x 中应有b≠0。 检验假设H0:b=0,若I0成立,则由F分布定理,统 计量 /1 O F F(1,n-2) (n-2) QE/(n-2) 由于QR的大小反映了X对Y的影响程度,QR的值越大, 统计量F的值越大。对给定的显著性水平a,Ho:b=0的 拒绝域为 (f(1,n-2)+∞) 其中 P{F≤fa(1,n-2)}=1-a。 若拒绝H0,称该线性回归方程是显著的,或称X与Y的线 性相关关系显著。 多元线性回归 若影响因变量Y的可控变量有X1,X2,…,Xp研究 它们的定量关系是多元回归问题。 1.多元线性回归的数学模型 设随机变量Y与P个可控变量X1,X2,…,Xp的取值x1 ,x满足关系式
若 X 与 Y 之间存在线性相关关系，回归方程 y b b x 0 1 ˆ = + 中应有 b≠0。 检验假设 H0：b=0, 若 H0 成立，则由 F 分布定理，统 计量 ~ (1, 2) /( 2) /( 2) /1 2 2 − − = − = F n Q n Q n Q Q F E R E R 由于 QR的大小反映了 X 对 Y的影响程度，QR的值越大， 统计量 F 的值越大。对给定的显著性水平α，H0：b=0 的 拒绝域为 ( f (1,n − 2),+) ， 其中 P{F f (1,n − 2)} =1− 。 若拒绝 H0，称该线性回归方程是显著的，或称 X 与 Y 的线 性相关关系显著。 二. 多元线性回归 若影响因变量 Y 的可控变量有 X1，X2，…，X p, 研究 它们的定量关系是多元回归问题。 1. 多元线性回归的数学模型 设随机变量 Y 与 P 个可控变量 X1, X2,…, Xp 的取值 x1, x2, …, xp 满足关系式
Y=o+ Bx+B2x Pxp+8 E~N(0,0 其中β0,B1,…,Bp,02>0是未知参数,P>1。称为P 元正态线性回归模型,有 E(YX1=x2…XP=xP)=角+x+B2 Pxp 称 y=u(x, xp)=Bo+Bx+B2x2+.+Bpx 为Y关于x1,x2,…,xp回归函数或理论回归方程 对可控变量X1,X2,…,Xp的N组试验数据及因变量Y 的试验结果为 i;x1,x;2,…,xp), 有如下的结构式(样本模型) h1=A+B1x1+2x2+…+Bpxp+61 Bo+B1x21+2x 2D+82 p2p YN=Bo+ BIXNI+ B2xN2+.+ PDXND+EN 其中,P>1,n>P,并假定 (1)1,ε2,…,εp相互独立,同服从正态分布 N(0,02) (2)自变量x,x,……,xp无完全的(或接近完全的)多
= + + + + + ~ (0, ) 2 0 1 1 2 2 N Y x x x P P （1） 其中β0，β1，…，βP，σ2＞0 是未知参数，P＞1。称为 P 元正态线性回归模型，有 E(Y X1 = x1 , ,XP = xP) = 0 + 1 x1 + 2 x2 ++ PxP ， 称 P P P y = x x x = + x + x ++ x 1 2 0 1 1 2 2 ( , , , ) 为 Y 关于 x1, x2, …, xp 回归函数或理论回归方程 对可控变量 X1，X2，…，Xp 的 N 组试验数据及因变量 Y 的试验结果为 (yi ; xi,1, xi,2, …, xi,p), i=1,2,…,N. 有如下的结构式(样本模型)： = + + + + + = + + + + + = + + + + + N N N p Np N p p p p Y x x x Y x x x Y x x x 0 1 1 2 2 2 0 1 21 2 22 2 2 1 0 1 11 2 12 1 1 （2） 其中，P＞1，n＞P，并假定 （1）ε1，ε2，…，εp 相互独立，同服从正态分布 N(0,σ2 )； （2）自变量 x1, x2, …, xp 无完全的（或接近完全的）多
重共线性,即自变量之间不存在完全的或接近完全的线性关 系性。 Y BI Y B 令 B IP 21 2P NP 多元线性回归数学模型的矩阵形式为 Y=X B+E 有(1)E是独立的N维随机向量,E~N(Onx1,02Inxn); 2)X是非随机矩阵,且Ⅹ′X是对称满秩矩阵。 称Y一因变量向量;X—(数据的)结构矩阵或设计矩 阵 2模型参数的估计 根据试验数据 y;xi,x;2,…,x1p),=1,2…,N 求未知参数β0,B1,…,Bp的最小二乘估计。设bo,b,…, bp分别是B0,B1,…,Bp的估计,经验回归模型为
重共线性，即自变量之间不存在完全的或接近完全的线性关 系性。 令 = YN Y Y Y 2 1 ， = N 1 0 ， = N 2 1 ， = N NP P P x x x x x x X 1 2 1 2 1 1 1 1 1 1 ， 多元线性回归数学模型的矩阵形式为 Y=Xβ+ε， 有（1）ε是独立的 N 维随机向量，ε～N（On×1,σ2 In×n）; (2) X 是非随机矩阵，且 X′X 是对称满秩矩阵。 称 Y—因变量向量； X—（数据的）结构矩阵或设计矩 阵。 2.模型参数的估计 根据试验数据 (yi ; xi,1, xi,2, …, xi,p), i=1,2,…,N. 求未知参数β0，β1，…，βP 的最小二乘估计。设 b0, b1, …, bP 分别是β0，β1，…，βP的估计，经验回归模型为