HIT-SCIR 6.1.2逻辑斯蒂回归 二项逻辑斯蒂回归模型 种分类模型 条件概率分布P(Y|X) 通过监督学习的方法来估计模型参数 增广后得 exp(W·x) P(Y=1|x) 1+exp(W·x) P(Y=0x 1+ exp(w.x) # 哈工大社会计算与信息检索研究中心 9
哈工大社会计算与信息检索研究中心 6.1.2 逻辑斯蒂回归 • 二项逻辑斯蒂回归模型 – 一种分类模型 – 条件概率分布P(Y | X) – 通过监督学习的方法来估计模型参数 – 增广后得 # 11/79
HIT-SCIR 逻辑斯蒂回归 一件事的几率(ods) 事件发生的概率比上事件不发生的概率 事件发生概率为,那么几率为p/1p) 对数几率( og odds)og函数 logit(p)= log # 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 逻辑斯蒂回归 • 一件事的几率(odds) – 事件发生的概率比上事件不发生的概率 – 事件发生概率为p，那么几率为p/(1-p) • 对数几率(log odds) logit函数 # 12/79
HIT-SCIR 逻辑斯蒂回归 对于逻辑斯蒂回归而言 (Y=11x) g 三W·X 1-P(Y=1x) 输出Y=1的对数几率是输入X的线性函数。 线性函数的值越大,概率值越接近1;反之 接近0 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 逻辑斯蒂回归 • 对于逻辑斯蒂回归而言 • 输出Y=1的对数几率是输入x的线性函数。 • 线性函数的值越大，概率值越接近1；反之 接近0 13/79
HIT-SCIR 逻辑斯蒂回归的极大似然估计 模型的极大似然参数估计 P(Y=1x)=T(x)P(Y=0|x)=1-(x) ·似然函数 (x)y[1-m(x)-y 求对数L(2)2g(m)+(2-)g1-x() i=1 求导得W的极大似然估计值 exp(w.x) P(Y=11x)= 1+exp(W·x) P(Y=0|x)= 哈工大社会计算与信 1+exp(印…x) 79
哈工大社会计算与信息检索研究中心 逻辑斯蒂回归的极大似然估计 • 模型的极大似然参数估计 • 似然函数 • 求对数 • 求导得w的极大似然估计值 14/79
HIT-SCIR 逻辑斯蒂回归 多项逻辑斯蒂回归 exp(Wk·x) P 1K-1。m/1,,w k 1 P(Y=Kx= 1+∑-1 k=i exp(Wk 哈工大社会计算与信息检索研究中心
哈工大社会计算与信息检索研究中心 逻辑斯蒂回归 • 多项逻辑斯蒂回归 15/79