这里自变量x是普通变量,Y是随机变量由散 点图大致看出(x)具有线性函数a+bx的形式 设Y关于x的回归函数为x)利用样本来估计 p(x)的间题称为求Y关于x的回归问题特别, 若x)为线性函数:p(x)=a+bx,此时估计(x) 的问题称为求一元线性回归问题
7 这里自变量x是普通变量, Y是随机变量. 由散 点图大致看出m(x)具有线性函数a+bx的形式. 设Y关于x的回归函数为m(x). 利用样本来估计 m(x)的问题称为求Y关于x的回归问题. 特别, 若m(x)为线性函数: m(x)=a+bx, 此时估计m(x) 的问题称为求一元线性回归问题
假设对于x(在某个区间内)的每个值有 YNa+bx, o) 其中a,b及a都是不依赖于x的未知参数记 6=Y-(a+bx),对Y作这样的正态假设,相当于假 设 Y=a+bx+6,aN(0,a2), (32) 其中未知参数a,b及都不依赖于x.(3.2)称为 一元线性回归模型,其中b称为回归系数 则Y由两部分组成,一部分是x的线性函数 a+bx,另一部分aN(0,a)是随机误差,是人们 不可控制的
8 假设对于x(在某个区间内)的每个值有 Y~N(a+bx, s2 ), 其中a,b及s2都是不依赖于x的未知参数. 记 e=Y-(a+bx), 对Y作这样的正态假设, 相当于假 设 Y=a+bx+e, e~N(0,s2 ), (3.2) 其中未知参数a,b及s2都不依赖于x. (3.2)称为 一元线性回归模型, 其中b称为回归系数. 则Y由两部分组成, 一部分是x的线性函数 a+bx, 另一部分e~N(0,s2 )是随机误差, 是人们 不可控制的
(二)a,b的估计取x的n个不全相同的值 1%29 n作独立试验,得到样本 (x1,Y1),(x2,Y2),…,( nn 由(32)式 Y=a+bx+E,E~N0,2),各E相互独立,(3,3) 于是y~Na+bx2),=1,2,…,n.由Y1,Y2…,Yn的 独立性知Y1,Y2,…,Yn的联合密度为 n L 1ex20 (y2-a-bx)2 O√2丌 n exp O√2 1x(n-a-bx)2(3.4) 2 2
9 (二)a,b的估计 取x的n个不全相同的值 x1 ,x2 ,...,xn作独立试验, 得到样本 (x1 ,Y1 ),(x2 ,Y2 ),...,(xn ,Yn ). 由(3.2)式 Yi=a+bxi+ei , ei~N(0,s2 ), 各ei相互独立, (3,3) 于是Yi~N(a+bxi ,s2 ), i=1,2,...,n. 由Y1 ,Y2 ,...,Yn的 独立性知Y1 ,Y2 ,...,Yn的联合密度为 ( ) . (3.4) 2 1 exp 2 1 ( ) 2 1 exp 2 1 1 2 2 1 2 2 - - - = = - - - = = n i i i n n i i i y a bx L y bx s s s s
现用最大似然估计法来估计未知参数a,b对 于任意一组观察值v132…yn2(3.4)式就是样本 的似然函数显然,要L取最大值,只要(34)右 端方括弧中的平方和部分为最小,即只需 Q(a,)=∑(-a-b)2(3.5) 取最小值令Q关于a,b的偏导数等于零: Q 2∑(y-a-bx)=0 a (3.6) a0 b =-2(-a-bx)x1=0
10 现用最大似然估计法来估计未知参数a,b. 对 于任意一组观察值y1 ,y2 ,...,yn , (3.4)式就是样本 的似然函数. 显然, 要L取最大值, 只要(3.4)右 端方括弧中的平方和部分为最小, 即只需 ( , ) ( ) (3.5) 1 2 = = - - n i i i Q a b y a bx (3.6) 2 ( ) 0. 2 ( ) 0, 1 1 = - - - = = - - - = = = n i i i i n i i i y a bx x b Q y a bx a Q 取最小值. 令Q关于a,b的偏导数等于零:
得方程组 na+>x 1b i=1 (3.7 n x: la+ 2b=∑x;y (37)式称为正规方程组
11 得方程组 (3.7) . 1 1 2 1 1 1 = + = + = = = = = n i i i n i i n i i n i i n i i x a x b x y na x b y (3.7)式称为正规方程组