Project1(上交时间:10月21号)建立一个搜索引擎
Project 1(上交时间:10月21号) 建立一个搜索引擎
实现目标实现一个bbs站内全文搜索引擎,使能够通过web界面能够对站内的帖子内容进行搜索
实现目标 ⚫实现一个bbs站内全文搜索引擎, 使能够通过web界面能够对站内的 帖子内容进行搜索
实现要求Crawler负责搜集与提取网页信息·MapReduceFlow负责对搜集的信息进行预处理,为查询做准备·Retrieval Interface查询接口负责接收查询请求并返回结果
实现要求 Crawler 负责搜集与提取网页信息。 MapReduce Flow 负责对搜集的信 息进行预处理,为查询做准备 Retrieval Interface 查询接口负责接 收查询请求并返回结果
系统结构网页!过滤源文件:生成源爬取网网页2建立倒排索引;页文件建立二级索引;网页3结果列合并结果;索引表排序结果;信息表示Jsp页面查询字符
系统结构 网页1 网页2 网页3 爬取网 页 生成源 文件 过滤源文件; 建立倒排索引; 建立二级索引; 索引 结果列 表 合并结果; 排序结果; Jsp页面 信息表示 查询字符
网页搜集与信息提取在搜集网页数据时,最常用的手段就是网络爬虫,建议在开源社区中找一个相关的产品来进行网页搜集
网页搜集与信息提取 ⚫在搜集网页数据时,最常用的手段就是 网络爬虫,建议在开源社区中找一个相 关的产品来进行网页搜集