1.经典线性回归模型假设3：[非奇异性(Nonsingularity)]为了识别未知参数值 ，本章还将假设 p×p维方阵 X'X = n=1X;Xi是非奇异的（Nonsingular）。这个假设排除了对向量X，中包括截距项在内的个自变量之间存在多重共线性（Multicollinearity）的可能性。概率论与统计学1
概率论与统计学 ◼ 假设 3：[非奇异性 (Nonsingularity)] 为了识别未知参数值 𝜃, 本章还将假设 𝑝 × 𝑝 维方阵 𝑋′𝑋 = σ𝑖=1 𝑛 𝑋𝑖𝑋𝑖 ′ 是非奇异的（Nonsingular）。 这个假设排除了对向量 𝑋𝑖 中包括截距项在内的 𝑝 个自变量之间存在多 重共线性 (Multicollinearity) 的可能性。 11 1. 经典线性回归模型
02普通最小二乘估计概率论与统计学12
概率论与统计学 02 普通最小二乘估计 12
2.普通最小二乘估计定义【OLS估计量]>定义线性回归模型Yi=X’+&i的残差平方和(Sumof SquaredResiduals,SSR) 为SSR(O) = (Y - XO)'(Y -XO)= Zn=1(Yi - X;0)2其中，残差εi=YiX,o。则普通最小二乘（OrdinaryLeastSquares，OLS）估计量是以下最优化问题的解 = arg min SSR(0)AERP概率论与统计学13
概率论与统计学 ➢ 定义线性回归模型 𝑌𝑖 = 𝑋𝑖 ′𝜃 + 𝜀𝑖 的残差平方和 (Sum of Squared Residuals, SSR) 为 𝑆𝑆𝑅 𝜃 ≡ 𝑌 − 𝑋𝜃 ′ 𝑌 − 𝑋𝜃 = σ𝑖=1 𝑛 (𝑌𝑖 − 𝑋𝑖 ′𝜃) 2 其中，残差 𝜀𝑖 = 𝑌𝑖 − 𝑋𝑖 ′𝜃。则普通最小二乘 (Ordinary Least Squares， OLS) 估计量 𝜃መ 是以下最优化问题的解: 𝜃መ = arg min 𝜃∈𝑅𝑝 𝑆𝑆𝑅(𝜃) 13 2. 普通最小二乘估计 定义 [OLS 估计量]
2.普通最小二乘估计定理[OLS的存在性】早（逆矩阵存在），则OLS估计量存在，>假设p×p维矩阵X'X非奇异 = (X'X)-1 X'Y。注意é的存在只需要X'X为非奇异矩阵这一条件。·Y,=X,é称为观测值Y的拟合值（FittedValue）或预测值(Predicted Value)。ei=Yi－Y,是观测值Yi的估计残差（EstimatedResidual)或预测误差(Predicted Error)。注意，ei ±&i =Yi-X;0。概率论与统计学14
概率论与统计学 ➢ 假设 𝑝 × 𝑝 维矩阵 𝑋′𝑋 非奇异（逆矩阵存在），则 OLS 估计量 𝜃መ 存在， 𝜃መ = (𝑋 ′𝑋) −1 𝑋 ′𝑌 • 注意 𝜃መ 的存在只需要 𝑋′𝑋 为非奇异矩阵这一条件。 • 𝑌𝑖 ≡ 𝑋𝑖 ′𝜃መ 称为观测值 𝑌𝑖 的 拟合值 (Fitted Value) 或 预测值 (Predicted Value)。 • 𝑒𝑖 ≡ 𝑌𝑖 − 𝑌𝑖 是观测值 𝑌𝑖 的估计残差 (Estimated Residual) 或预测误 差 (Predicted Error)。注意，𝑒𝑖 ≠ 𝜀𝑖 = 𝑌𝑖 − 𝑋𝑖 ′𝜃。 14 2. 普通最小二乘估计 定理 [OLS 的存在性]
2.普通最小二乘估计>线性回归模型：Yi=X，0。+&>估计残差ei = Yi - Yi= (X,0o + &) - X,0= &i - X'( - 0o)其中真实扰动项ε是不可避免的噪声，而第二项X（一。）是估计误差。>当样本容量越大（从而越趋近）时，估计误差将变得越小，乃至可忽略不计。概率论与统计学15
概率论与统计学 ➢ 线性回归模型：𝑌𝑖= 𝑋𝑖 ′𝜃0 + 𝜀𝑖 ➢ 估计残差 𝑒𝑖 = 𝑌𝑖 − 𝑌𝑖 = 𝑋𝑖 ′𝜃0 + 𝜀𝑖 − 𝑋𝑖 ′𝜃መ = 𝜀𝑖 − 𝑋𝑖 ′ (𝜃መ − 𝜃0) 其中真实扰动项 𝜀𝑖 是不可避免的噪声，而第二项 𝑋𝑖 ′ 𝜃መ − 𝜃0 是估计误 差。 ➢ 当样本容量越大 (从而 𝜃መ 越趋近 𝜃0) 时，估计误差将变得越小，乃至可 忽略不计。 15 2. 普通最小二乘估计