信息检索与数据挖掘 2019/3/25 19 精确率 文档集中所有判断正确的文档所占的比例 精确率：(tp+tn)I(tp+fp+fn+tn) 不相关(not relevant) 相关 未检索出的 不相关文档 (relevant) (not retrieved) tn 检索由retrieved) 未检索出 未检索出的 fn 检索出的 相关文档 fp 不相关文档 tp:true positives fp:false positives fn:false negatives 检索出的 tn:true negatives 相关文档
信息检索与数据挖掘 2019/3/25 19 精确率 未检索出的 不相关文档 检索出的 相关文档 检索出的 不相关文档 未检索出的 相关文档 tn fn fp tp tp: true positives fp: false positives fn: false negatives tn: true negatives 文档集中所有判断正确的文档所占的比例 精确率：(tp + tn) / ( tp + fp + fn + tn)
信息检索与数据挖掘 2019/3/25 20 精确率(Accuracy)指标 。文档集中所有判断正确的文档所占的比例。 .精确率：(tp+tn)/(tp+fp+fn+tn) 。精确率是机器学习中模式分类的一个常用评价标准 但是它对信息检索的结果评价不是很有用。 绝大多数情况下，信息检索中的数据存在着极度的不均衡性， 比如通常情况下，超过99.9%的文档都是不相关文档。这样的 话，一个简单地将所有的文档都判成不相关文档的系统就会获 得非常高的精确率值，从而使得该系统的效果看上去似乎很好。 人们使用搜索引擎，总是希望找到一些有用的信息，即使 有些不相关的信息也是可以容忍的
信息检索与数据挖掘 2019/3/25 20 精确率(Accuracy)指标 • 文档集中所有判断正确的文档所占的比例。 • 精确率：(tp + tn) / ( tp + fp + fn + tn) • 精确率是机器学习中模式分类的一个常用评价标准 但是它对信息检索的结果评价不是很有用。 人们使用搜索引擎，总是希望找到一些有用的信息，即使 有些不相关的信息也是可以容忍的 绝大多数情况下，信息检索中的数据存在着极度的不均衡性， 比如通常情况下，超过99.9%的文档都是不相关文档。这样的 话，一个简单地将所有的文档都判成不相关文档的系统就会获 得非常高的精确率值，从而使得该系统的效果看上去似乎很好
信息检索与数据挖掘 2019/3/25 21 查准率和查全率 。查准率/正确率：返回的相关文档占返回文档总数的百分 比 。查全率/召回率：返回的相关文档占所有相关文档的百分 比。 Relevant Nonrelevant Retrieved 真正例 伪正例 (true positives,tp) (false positives,fp) Not Retrieved 伪反例 真反例 (false negatives,fn) (true negatives,tn) 查准率/正确率Precision P tp/(tp fp) 查全率/召回率Recall R=tp/(tp fn)
信息检索与数据挖掘 2019/3/25 21 查准率和查全率 • 查准率/正确率：返回的相关文档占返回文档总数的百分 比 • 查全率/召回率：返回的相关文档占所有相关文档的百分 比。 Relevant Nonrelevant Retrieved 真正例 (true positives, tp) 伪正例 (false positives, fp) Not Retrieved 伪反例 (false negatives,fn) 真反例 (true negatives,tn) 查准率/正确率Precision P = tp/(tp + fp) 查全率/召回率Recall R = tp/(tp + fn)
信息检索与数据挖掘 2019/3/25 23 正确率和召回率示例 ·查询Q,本应该有100篇相关文档，某个系统返回 200篇文档，其中80篇是真正相关的文档 .Recall=80/100=0.8 Precision=80/200=0.4 ·结论：召回率较高，但是正确率较低 返回结果中相关文档的数目 Precision 返回结果的数目 =P(relevant|retrieved) Recall= 返回结果中相关文档的数目 所有相关文档的数目 P(retrievedrelevant)
信息检索与数据挖掘 2019/3/25 23 正确率和召回率示例 • 查询Q，本应该有100篇相关文档，某个系统返回 200篇文档，其中80篇是真正相关的文档 • Recall=80/100=0.8 • Precision=80/200=0.4 • 结论：召回率较高，但是正确率较低
信息检索与数据挖掘 2019/3/25 24 关于查准率和查全率的讨论 。宁可错杀一千，不可放过一人”)偏重查全率， 忽视正确率。冤杀太多。 ·例如，判断是否有罪： ·如果没有证据证明你无罪，那么判定你有罪。 ·→查全率高，有些人受冤枉 ·如果没有证据证明你有罪，那么判定你无罪。 ·→查全率低，有些人逍遥法外 。·不同的应用、不用的用户对两者的要求不一样 垃圾邮件过滤：宁愿漏掉一些垃圾邮件，但是尽量少将 。 正常邮件判定成垃圾邮件 ·有些用户希望返回的结果全一点，他有时间挑选；有些 用户希望返回结果准一点
信息检索与数据挖掘 2019/3/25 24 关于查准率和查全率的讨论 • “宁可错杀一千，不可放过一人”偏重查全率， 忽视正确率。冤杀太多。 • 例如，判断是否有罪： • 如果没有证据证明你无罪，那么判定你有罪。 • 查全率高，有些人受冤枉 • 如果没有证据证明你有罪，那么判定你无罪。 • 查全率低，有些人逍遥法外 • 不同的应用、不用的用户对两者的要求不一样 • 垃圾邮件过滤：宁愿漏掉一些垃圾邮件，但是尽量少将 正常邮件判定成垃圾邮件。 • 有些用户希望返回的结果全一点，他有时间挑选；有些 用户希望返回结果准一点