上述查询的结果文档·倚天屠龙记6
上述查询的结果文档 • 倚天屠龙记 6
IR中的基本假设·文档集Collection：由固定数目的文档组成目标：返回与用户需求相关的文档并辅助用户来完成某项任务·相关性Relevance一主观的概念一反映对象的匹配程度一不同应用相关性不同
IR中的基本假设 • 文档集Collection: 由固定数目的文档组成 • 目标: 返回与用户需求相关的文档并辅助用 户来完成某项任务 • 相关性Relevance – 主观的概念 – 反映对象的匹配程度 – 不同应用相关性不同 7
典型的搜索过程Get rid of mice in a任务politicallycorrect way是否转义？Info aboutremoving mice信息需求withoutkillingthem是否转义？自然语言描How doI trap mice alive?述是否转义？查询any lang uageFindthisAtrapmouseSearch搜索引擎查询结果文档集重构
典型的搜索过程 文档集 任务 信息需求 查询 自然语言描 述 结果 搜索 引擎 查询 重构 Get rid of mice in a politically correct way Info about removing mice without killing them How do I trap mice alive? mouse trap 是否转义? 是否转义? 是否转义?
检索效果的评价正确率(Precision)：返回结果文档中正确的比例如返回80篇文档，其中20篇相关，正确率1/4召回率(Recall)：全部相关文档中被返回的比例如返回80篇文档，其中20篇相关，但是总的应该相关的文档是100篇，召回率1/5正确率和召回率反映检索效果的两个方面，缺一不可。一全部返回，正确率低，召回率100%一只返回一个非常可靠的结果，正确率100%，召回率低9
检索效果的评价 • 正确率(Precision) : 返回结果文档中正确的比例。 如返回80篇文档，其中20篇相关，正确率1/4 • 召回率(Recall) : 全部相关文档中被返回的比例， 如返回80篇文档，其中20篇相关，但是总的应 该相关的文档是100篇，召回率1/5 • 正确率和召回率反映检索效果的两个方面，缺 一不可。 – 全部返回，正确率低，召回率100% – 只返回一个非常可靠的结果，正确率100%，召回 率低 9
大文档集·假定N=1百万篇文档(1M),每篇有1000个词(1K)·假定每个词平均有6个字节(包括空格和标点符号一那么所有文档将约占6GB空间·假定词汇表的大小(即词项个数)M=500K10
大文档集 • 假定N = 1 百万篇文档(1M), 每篇有1000个词 (1K) • 假定每个词平均有6个字节(包括空格和标点 符号) – 那么所有文档将约占6GB 空间. • 假定 词汇表的大小(即词项个数) M = 500K 10