第13章非线性回归与门限回归
第13章 非线性回归与门限回归
主要内容 ◆非线性最小二乘法 ◆非线性回归的Staa命令及实例 ◆门限回归 ◆面板数据的门限回归
2 主要内容 非线性最小二乘法 非线性回归的Stata命令及实例 门限回归 面板数据的门限回归
131非线性最小二乘法 对于非线性回归模型,除了MLE,还可使用“非线性 最小二乘法” ( Nonlinear least square,简记NS)。 考虑以下非线性回归模型: y=g(x,B)+E;(=1,…,m) B为K维参数向量,g()是β的非线性函数,且无法通 过变量转换变为β的线性函数
3 13.1 非线性最小二乘法 对于非线性回归模型，除了MLE，还可使用“非线性 最小二乘法”(Nonlinear Least Square，简记NLS)。 考虑以下非线性回归模型： 为𝐾维参数向量，𝒈(⋅ሻ是𝜷的非线性函数，且无法通 过变量转换变为𝜷的线性函数。 ( , ) ( 1, , ) i i i y g i n = + = x
131非线性最小二乘法 如果g(xβ)=xB,则回到古典线性回归模型 记B为β的一个假想值,对应的残差为et=y-g(x,B。 非线性最小三乘法通过选择B,使得残差平方和最小: minSSRB==∑[D-gx,) 最小化的一阶条件为: 可简化为B mmSG)=∑e=∑[-g(x, ∑ og(x B) 0 B 这是一个K个方程、K个未知数的非线性方程组。4
4 13.1 非线性最小二乘法 如果𝒈(𝐱𝒊 , 𝜷ሻ = 𝐱 ′ 𝒊𝜷，则回到古典线性回归模型。 记𝜷෩为𝜷的一个假想值，对应的残差为𝒆𝒊 = 𝒚𝒊 − 𝒈(𝐱𝒊 , 𝜷෩൯。 非线性最小二乘法通过选择𝜷෩，使得残差平方和最小： 最小化的一阶条件为： 可简化为 这是一个𝐾个方程、𝐾个未知数的非线性方程组。 2 2 1 1 minSSR( ) ( , ) n n i i i i i e y g = = = = − x 2 2 1 1 minSSR( ) ( , ) n n i i i i i e y g = = = = − x 1 ( , ) n i i i g e = = 0 x
131非线性最小二乘法 满足这个非线性方程组的估计量被称为“非线性最 小二乘估计量”,记为BMo 残差向量e与 g(x,B 0阝 正交,而不是与x正交(线性回归 的情形)。 通常没有解析解,要用数值迭代方法求解,比如牛 顿-拉夫森法 NS的大样本性质: 如果E(E1x1)=0,再加上一些技术性条件,则 BMs为β的一致估计量,且BMs服从渐近正态。 如果扰动项为球型扰动项,则BMs是渐近有效的。 5
5 13.1 非线性最小二乘法 满足这个非线性方程组的估计量被称为“非线性最 小二乘估计量” ，记为𝜷 𝑵𝑳𝑺。 残差向量𝐞与 𝛛 𝒈(𝐱,𝜷෩൯ 𝛛 𝜷෩ 正交，而不是与𝒙正交(线性回归 的情形)。 通常没有解析解，要用数值迭代方法求解，比如牛 顿-拉夫森法。 NLS的大样本性质： 如果𝐸(𝜺𝒊 |𝒙𝒊 ሻ = 𝟎，再加上一些技术性条件，则 𝜷 𝑵𝑳𝑺为𝜷的一致估计量，且𝜷 𝑵𝑳𝑺服从渐近正态。 如果扰动项为球型扰动项，则𝜷 𝑵𝑳𝑺是渐近有效的