§72多元线性回归分析 多无线性回归模型 上节讨论了一元线性回归模型,在实际问题中,遇 到更多的是讨论随机变量Y与非随机变量x1,x2,…,xn 之间的关系,本节假设它们具有线性关系 Y=B+B1x1+…+Bnxn+E (7.15) 这里E~N(0,a),B,B1,…,Bn,2都是未知参数,m>1。 般称由式(7.15)定义的模型为多元线性回归模型 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 1 §7.2 多元线性回归分析 一、多无线性回归模型 上节讨论了一元线性回归模型，在实际问题中，遇 到更多的是讨论随机变量 Y 与非随机变量x x xm , , , 1 2 之间的关系，本节假设它们具有线性关系 = + + + + Y 0 1 x1 m x m （7.15） 这里 2 0 1 2 ~ N(0, ), , ,, m , 都是未知参数，m 1 。 一般称由式（7.15）定义的模型为多元线性回归模型
般称x1,…,x为回归变量,月,…,Bn为回归系数,设 (x1,x2,…,xm,)(=1,2,…,)是(x1,…,xn,Y)的个观测, 则它们满足关系 H=B+Bxn+B2x2+…+ Bx+E;,i=1,…,n,(7.16) 假设E相互独立且61~N(0,a2)(=1,…,n)。 由于假设相互独立,由式(7.16)知Y亦相互独立,且 EY1=B+B1x1+…+Bnx DY=o 则有y~N(B+B1x1+…+Bnxm,2)i=1,…,m) 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 2 一般称x xm , , 1 为回归变量， m , , 0 为回归系数，设 ( , , , , )( 1,2, , ) xi1 xi 2 xi m Yi i = n 是( , , , ) x1 xm Y 的n 个观测， 则它们满足关系 Yi = 0 + 1 xi1 + 2 xi 2 ++ m xi m + i ,i = 1,,n，（7.16） 假设 i 相互独立且 ~ (0, )( 1, , ) 2 i N i = n 。 由于假设 i 相互独立，由式（7.16）知Yi亦相互独立，且 EYi = 0 + 1 xi1 ++ m xi m， 2 DYi = ， 则有 ~ ( , )( 1, , ) 2 Yi N 0 + 1 xi1 ++ m xi m i = n
对式(7.15)求数学期望 EY=B+B1x1+…+Bnxn 般称 B+B1x1+…+B 为Y关于x1,x2,…,xn的线性回归方程 为了今后讨论方便,引入向量、矩阵记号,则式 (7.16)可写成矩阵形式。令 ,yYn),B=(B0,B,…,Bn), 8=(8,8 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 3 对式（7.15）求数学期望 EY = 0 + 1 x1 ++ m xm。 一般称 Y = 0 + 1 x1 ++ m xm ˆ 为Y 关于x x xm , , , 1 2 的线性回归方程。 为了今后讨论方便，引入向量、矩阵记号，则式 （7.16）可写成矩阵形式。令 Y (Y ,Y , ,Y ) = 1 2 n ， ( , , , ) β = 0 1 m ， ( , , , ) 1 2 n =
式(7.16)的矩阵表达式为 Y=XB+8 (716 EY=XB, cov(Y,Y=E(Y-EYOY-En=oL, 这里表阶单位阵。对式(7.15)给出的m无线性回归 模型,通常所考虑的问题是,对未知参数B和σ2进行估 计,对B的某种假设进行检验,对Y进行预报等,在下述 讨论中,一般总假定n>m和矩阵X的秩等于m+1 湘潭大学数学与计算科学学院国国4层m
湘潭大学数学与计算科学学院 上一页 下一页 4 , 1 1 1 1 2 21 22 2 11 12 1 = n n nm m m x x x x x x x x x X 式（7.16）的矩阵表达式为 Y = X + ， (7.1 6) EY = X ， n Y Y E Y EY Y EY I 2 cov( , ) = ( − )( − ) = ， 这里 n I 表n阶单位阵。对式（7.15）给出的 m无线性回归 模型，通常所考虑的问题是，对未知参数 和 2 进行估 计，对 的某种假设进行检验，对 Y 进行预报等，在下述 讨论中，一般总假定n m和矩阵X 的秩等于m + 1
二、参数的估计 对式(716,常常采用最小二乘法寻求β的估计量f, 即寻找B的估计B满足下面的条件 ∑r-∑A=m∑(y-∑xB),(7.17 I三 这里x0=1(i=1,2,…,n),或写成矩阵形式 Xp 2 inY-XB (717) 一般可用微分法求式(7.17)的解B ∑-∑B=0.k=01 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 5 二、参数的估计 对式(7.1 6)，常常采用最小二乘法寻求 的估计量 ˆ ， 即寻找 的估计ˆ 满足下面的条件 = = = = = − − n i n i m j i i j j m j Yi xi j j Y x 1 1 2 0 2 0 ˆ min ， （7.17） 这里 1( 1,2, , ), xi 0 = i = n 或写成矩阵形式 2 2 Y − Xˆ = min Y − X 。 (7.1 7) 一般可用微分法求式（7.17）的解 ˆ 。 = = = − n i i k m j Yi xi j j x 1 0 0, ˆ k = 0,1,,m