HIT-SCIR 逻辑斯蒂回归与最大熵 HIT-SCIR 李泽魁 2013-11-22 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 逻辑斯蒂回归与最大熵 HIT-SCIR 李泽魁 2013-11-22
HIT-SCIR 目录 线性回归 逻辑斯蒂回归 最大熵模型 极大似然估计 模型学习浅谈 最大熵总结 最大熵应用举例(略) 最大熵源码分析(略) 最大熵包使用(略) 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 目录 • 线性回归 • 逻辑斯蒂回归 • 最大熵模型 • 极大似然估计 • 模型学习浅谈 • 最大熵总结 • 最大熵应用举例（略） • 最大熵源码分析（略） • 最大熵包使用（略） 2/79
(R HIT-SCIR 60线性回归 Linear regression) 15 -20-10 1020 50 单参数线性回归 Linear Regression with one variable 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 6.0 线性回归(Linear regression) 单参数线性回归 Linear Regression with one variable 3/79
(R HIT-SCIR 线性回归 Linear regression) 通俗解释 其想要做的就是发现自变量和因变量之间的某 种关联,即给定了自变量我们可以得到因变量 的值。 哈工大社会计算与信息检索研究中心 479
哈工大社会计算与信息检索研究中心 线性回归(Linear regression) • 通俗解释： – 其想要做的就是发现自变量和因变量之间的某 种关联，即给定了自变量我们可以得到因变量 的值。 4/79
(R HIT-SCIR 线性回归 Linear regression) 专业解释 线性回归模型是,种研究一个因变量( bepedent Variable)同 个或者多个自变量( Independent variable)之间关系的分析 方法 Yi=Bo+B1Xi1 +B2 Xi2+.+B Xip+ei y为因变量 beta为回归模型的常数项 K为自变量的个数 X1,x2,…,xK为自变量 beta1,beta2,,beta为自变量的系数 epsilon为随机扰动:表示那些不包含在自变量中但是仍然可 能对因变量产生影响的因素 哈工大社会计算与信息检索研究中心 579
哈工大社会计算与信息检索研究中心 线性回归(Linear regression) • 专业解释： – 线性回归模型是一种研究一个因变量(Depedent Variable)同 一个或者多个自变量(Independent Variable)之间关系的分析 方法. – y为因变量 – beta0为回归模型的常数项 – K为自变量的个数 – x1, x2, …, xK为自变量 – beta1, beta2, …, betaK为自变量的系数 – epsilon 为随机扰动: 表示那些不包含在自变量中但是仍然可 能对因变量产生影响的因素. 5/79