回归分析：计量经济学VS机器学习领域计量经济学重视统计推断（包括参数的点估计、区间估计以及假设检验）尤其重视如何借助回归模型推断变量之间的因果关系机器学习更重视模型的预测准确率（accuracy）和解释力（interpretation）预测准确率指在训练集上得到的回归模型在测试集上的预测表现模型解释力指回归系数能否直观简洁描绘特征变量对响应变量的影响
回归分析：计量经济学 vs 机器学习领域 计量经济学 重视统计推断（包括参数的点估计、区间估计以及假设检验） 尤其重视如何借助回归模型推断变量之间的因果关系 机器学习 更重视模型的预测准确率（accuracy）和解释力（interpretation） • 预测准确率指在训练集上得到的回归模型在测试集上的预测表现 • 模型解释力指回归系数能否直观简洁描绘特征变量对响应变量的影响
回归分析在金融领域的应用场景实现对不同类型客户的精准营销用户画像与精准营销多分类Logistic回归模型量化投资，预测未来资产价格和收益率价格与收益率预测采用系数压缩、变量筛选等方法对回归模型改进信用风险，市场风险、操作风险、流动性风险、管理风险等风险评估与识别二分类Logistic/Probit回归模型，Cox比例风险回归模型
回归分析在金融领域的应用场景 • 信用风险，市场风险、操作风险、流动性风险、管理风险等 • 二分类Logistic / Probit回归模型，Cox比例风险回归模型 • 量化投资，预测未来资产价格和收益率 • 采用系数压缩、变量筛选等方法对回归模型改进 • 实现对不同类型客户的精准营销 • 多分类Logistic回归模型 价格与收益率预测 用户画像与精准营销 风险评估与识别
02回归模型的选择、正则化与降维
02 回归模型的选择、正则化与降维
选择回归模型的动机>>>1、多重共线性完全多重共线性导致OLS方法的失效，无法得到唯一的参数估计不完全的多重共线性虽然不会对参数估计的无偏性产生影响，但其有效性会大大减弱，即参数估计的方差会变得很大β1 个B1 个RSSRSS1Bi,oLsB1,oLsB2B2βz.0LsB2,OLs
选择回归模型的动机 完全多重共线性导致OLS方法的失效，无法得到唯一的参数估计 不完全的多重共线性虽然不会对参数估计的无偏性产生影响，但其有效性会大大减弱， 即参数估计的方差会变得很大 1、多重共线性
选择回归模型的动机》》1、多重共线性检验多重共线性简单方法是看特征变量的相关系数矩阵：如果该矩阵中有绝对值较大的数字，说明该对特征变量之间存在较强的线性相关性更严格的检测方法为方差膨胀因子（varianceinflationfactor）检验，也称VIF检验。依照经验而言，当VIF值超过5或者10时就表明模型有比较严重的共线性问题当模型具有这类问题时，我们有必要对特征变量进行筛选和剔除
选择回归模型的动机 检验多重共线性 简单方法是看特征变量的相关系数矩阵：如果该矩阵中有绝对值较大的数字，说明该 对特征变量之间存在较强的线性相关性 更严格的检测方法为方差膨胀因子（variance inflation factor）检验，也称VIF检验。 依照经验而言，当VIF值超过5或者10时就表明模型有比较严重的共线性问题 当模型具有这类问题时，我们有必要对特征变量进行筛选和剔除 1、多重共线性