第二节双变量回归模型:估计 、普通最小二乘法( Ordinary least squares,OLS) 基本思路:用样本回归函数估计总体回归函数。以 SRF: Y=B,+B,X,+u 估计 PRF: Y=B+B2X+ 时,真实值 B1+B2X1+t1=Y+ 残差4=Y-Y=Y1-(月1+B2x) 估计出的参数B和B2使残差的平方和最小 即寻找和B2,要求 ∑n2=∑(-1)2=∑(Y-月1-B2X
21 第二节 双变量回归模型：估计 一、普通最小二乘法（Ordinary Least Squares，OLS） 基本思路：用样本回归函数估计总体回归函数。以 SRF Yi = 1 + 2 Xi +ui ˆ ˆ ˆ : PRF Yi = 1 + 2 Xi +ui : 估计 Yi Xi ui Yi ui ˆ ˆ ˆ ˆ ˆ = 1 + 2 + = + ) ˆ ˆ ( ˆ ˆ 残差ui =Yi −Yi =Yi − 1 + 2 Xi 估计出的参数 1 2 ˆ 和 ˆ 使残差的平方和最小。 2 1 2 2 2 1 2 ) ˆ ˆ ) ( ˆ min : ˆ ( , : ˆ ˆ ui = Yi −Yi = Yi − − Xi 即寻找 和 要求 时，真实值
求解这一最小化问题,根据最大化的一阶条件: ∑2) 2∑(X-B1-B2X) aB 2(∑H-mB-B2∑X1)=0 ∑ ∑X O(∑a) 2∑(X-B )(-X) aB 2∑(-YX,+BX1+B2X2) 2∑HX1-B∑X-B2∑X2=0 ∑YX=B∑X+B2∑X 22
22 = + = − − − = = − − − i i i i i i i Y n X Y n X Y X u 1 2 1 2 1 2 1 2 ˆ ˆ ) 0 ˆ ˆ 2( ) ˆ ˆ 2 ( ˆ ( ˆ ) = + = − − = = − − + + = − − − − 2 1 2 2 1 2 2 1 2 1 2 2 2 ˆ ˆ 0 ˆ ˆ 2( ) ˆ ˆ 2( ( )( ) ˆ ˆ 2 ( ˆ ( ˆ ) i i i i i i i i i i i i i i i i Y X X X Y X X X Y X X X Y X X u 求解这一最小化问题，根据最大化的一阶条件：
可得到以下正规方程( Normal equation ∑Y=m月+B2∑ ∑YX,=B∑X+B2∑X2 解出B1和β2,可得到估计值 、参数的估计(点估计):OLS估计量 解上述正规方程组得到估计值: 应=2(x-xXx Y ∑(x1-X)2∑ 其中,X和Y分别为X、Y的均值, x=(X-X)和y=(Y-Y)为离差。 1和β2称为最小二乘估计量(OLS估计)。 23
23 可得到以下正规方程（Normal equation）： = + = + 2 1 2 1 2 ˆ ˆ ˆ ˆ i i i i i i Y X X X Y n X 二、参数的估计（点估计）：OLS估计量 1、解上述正规方程组得到估计值： = − − − =2 2 2 ( ) ( )( ) ˆ i i i i i i x x y X X X X Y Y Y ˆ 2 X 1 ˆ = − （ ）和 （ ）为离差。 其中 和 分别为 、 的均值， x X X y Y Y X Y X Y i = i − i = i − , 解出 1 2 ˆ 和 ˆ ，可得到估计值。 1 2 ˆ 和 ˆ 称为最小二乘估计量（OLS估计）
2、OLS样本回归线的性质: (1)通过Y和x的样本均 (2)Y的均值等于实测的Y的均值 =B1+B2X,=(Y-B2X)+B +B2(X 两边求和,并同除n,可得 (3)残差4的均值为零 由方差最小的一阶条件 ∑(Y-B1-B2X)=O (4)4,与Y不相关 (5)tl与X不相关 24
24 2、 OLS样本回归线的性质： 与 不相关。 与 不相关。 （ ） 由方差最小的一阶条件： 残差 的均值为零。 两边求和，并同除 ，可得 的均值等于实测的 的均值： 通过 和 的样本均值。 i i i i i i i i i i i i i i u X u Y u Y X Y X u Y Y Y X X Y X Y X X Y Y X (5)ˆ ˆ ˆ (4) ˆ ˆ 0 2 ˆ 0 (3) ˆ ˆ n ( ) ˆ ˆ ) ˆ ( ˆ ˆ ˆ (2) ˆ Y ˆ ˆ (1) Y X 1 2 1 2 2 1 2 2 2 1 2 = − − = − − − = = = + − = + = − + = +
三、G2的估计 真实方差σ的估计量 ∑-20-1∑对一B∑习--9N 四、OLS估计的精度或标准误差 由于OLS估计是根据一个样本得到的,需要检验估计量的可靠性 ( reliability)或精密度。在统计学中,一个估计量的精密度由它的标准误 ( standard error,se)来衡量。 方差:MAR(B2)=E[B2-E( 对于B2 ELk,u, E(1l)=0(<>j),E(n2)=a AR(B2)=∑k22=a2∑k2 标准误:se(B2)=√AR(B2)
25 三、2 的估计 真实方差的估计量： 2 ˆ ˆ 2 2 − = n ui = − = − = − 2 2 2 2 2 2 2 2 ( ) ˆ ) ˆ ˆ ( i i i i i i i i i i x x y u Y Y y x y 四、OLS估计的精度或标准误差 由于OLS估计是根据一个样本得到的，需要检验估计量的可靠性 （reliability)或精密度。在统计学中，一个估计量的精密度由它的标准误 （standard error, se)来衡量。 = = = = = = = = = − 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 ) ˆ ) ( ˆ ( ) ˆ ( ( ) 0 ( ), ( ) , [ ] )] ˆ ( ˆ ) [ ˆ ( i i i j i i x se VAR x VAR k u k E u u i j E u E k u VAR E E i i i i 标准误： 方差： 对于 2 ： ˆ