1.1古典线性回归模型的假定 假定1.3不存在“严格多重共线性”( strict multicolinearity), 即数据矩阵X满列秩,rank(X)=K,其中“rank”表示矩阵的秩 X=(xx12…x)B=(1A2…)E≡(E1E2…En) y=XB+8 如果不满足此条件,则B“不可识别”( unidentified),因为Y 中某个或多个变量为多余。 根据OLS估计,b=(XX)Xy。 如X满列秩,XX定,故(XX)存在;反之,(XX)不存在。 实际数据不易出现严格多重共线性。 如果出现, Stata也会自动识别
6 1.1 古典线性回归模型的假定 假定1.3 不存在“严格多重共线性”(strict multicolinearity)， 即数据矩阵 满列秩， ，其中“rank”表示矩阵的秩。 如果不满足此条件，则 “不可识别”(unidentified)，因为 中某个或多个变量为多余。 根据OLS估计， 。 如 满列秩， 定，故 存在；反之， 不存在。 实际数据不易出现严格多重共线性。 如果出现，Stata也会自动识别。 X rank( ) X = K X 1 ( )− b X X X y = X XX 1 ( )− X X 1 ( )− X X 1 2 ( ) n X x x x 1 2 ( ) K 1 2 ( ) n ε y X = +
1.1古典线性回归模型的假定 假定1.4球型扰动项( spherical disturbance),即扰动 项满足“同方差”、“无自相关”的性质, Var(8 X=e( X=oI= L为n阶单位矩阵。 协方差矩阵Ⅴar(x)的主对角线元素都等于σ2,即 满足“条件同方差”;反之,则存在“条件异方差”。 协方差矩阵a(|X)的非主对角线元素都为0,不同 个体的扰动项之间无“自相关”;反之,则存在自相关
7 1.1 古典线性回归模型的假定 假定1.4 球型扰动项(spherical disturbance)，即扰动 项满足“同方差” 、 “无自相关”的性质， 为n阶单位矩阵。 协方差矩阵 的主对角线元素都等于 ，即 满足“条件同方差”；反之，则存在“条件异方差”。 协方差矩阵 的非主对角线元素都为0，不同 个体的扰动项之间无“自相关”；反之，则存在自相关。 2 2 2 0 Var( | ) E( | ) 0 n ' = = = X X I n I Var( | ) X 2 Var( | ) X
120LS的代数推导 对于B的任意假想值芦,记个体的拟合误差(即残差, residua)为e=y-x 将所有个体的残差叠放,可得残差向量e=(ee2…ny=y-XB 最小二乘法寻找能使残差平方和∑e最小的。 几何上,一元回归就是寻找最佳拟合的回归直线; 二元回归就是寻找最佳拟合的回归平面; 多元回归,则寻找最佳拟合的回归超平面
8 1.2 OLS的代数推导 对于 的任意假想值 ，记个体的拟合误差(即残差， residual)为 。 将所有个体的残差叠放，可得残差向量 最小二乘法寻找能使残差平方和 最小的 。 几何上，一元回归就是寻找最佳拟合的回归直线； 二元回归就是寻找最佳拟合的回归平面； 多元回归，则寻找最佳拟合的回归超平面。 i i i e y = − x 1 2 ( ) n e y X = − e e e 2 1 n i i e =
120LS的代数推导 最小化问题: min SSR(B) ∑ i=1 (y-xB)(-XB y'y-2y'XB+BXXB 目标函数SSR(B)是月的二次函数(二次型)。 图1.1参数的假想值、真实值与OLS估计值b
9 1.2 OLS的代数推导 最小化问题： 目标函数 是 的二次函数(二次型)。 图1.1 参数的假想值、真实值与OLS估计值b min SSR( ) = 2 1 n i i e = = e e = − − ( ) ( ) y X y X = − + y y y X X X 2 SSR( )
120LS的代数推导 使用向量微分规则,可得最小化的一阶条件: aSSR) aB--2Xy+2XXB=0 最小二乘估计量满足:(XX)kb= XXxy X(y-X6)=0 因此,Xe=0,其中残差向量e≡y-Yb 残差向量e与解释变量X正交,是OLS的一大特征。 10
10 1.2 OLS的代数推导 使用向量微分规则，可得最小化的一阶条件： 最小二乘估计量满足： 因此， ,其中残差向量 残差向量 与解释变量 正交，是OLS的一大特征。 (SSR) 2 2 0 = − + = X y X X 1 1 ( )K K K K n n X X b X y = ( ) = − = e X y Xb 0 X e = 0 e y Xb − e X