Hbase使用场景和成功案例 BigTable的 Intemet BigTable Web搜索 爬虫 MapReduce 建立互联网索引 ①爬虫持续不断地抓取新页面,这些 页面每贞一行地存储到 BigTable里。 ② MapReduce计算作业运行在整张表上, 生成索引,为网络搜索应用做准备。 搜索 索引 扫wb搜索 搜索互联网 ③用户发起网络搜索请求 用户 ④网络搜索应用查询建立好的索引,直接从 ⑤搜索结果提交给用户 使用 Big Table提供网络搜索结果 《大数据技术基础》
《大数据技术基础》 Hbase使用场景和成功案例 使用BigTable提供网络搜索结果
Hbase使用场景和成功案例 HBase设计初衷是用来存储互联网持续更新的网页副本,但用在互 联网相关的其他方面也是很合适的。例如, HBase在社交网络公司内部 和周围各种各样的需求中找到了用武之地。从存储个人之间的通信信息 ,到通信信息分析, HBase成为了 Facebook、 Twitter等公司的关键基础 设施。 在这个领域, HBase有3种主要使用场景(但不限于这3种) 1抓取增量数据 使用 HBase作为数据存储,抓取来自各种数据源的增量数据,如抓取用户交互数据, 以备之后进行分析、处理 内容服务 传统数据库最主要的使用场合之一是为用户提供内容服务,如URL短链接服务,可以 HBase为基础,存储大量的短链接以及和原始长链接的映射关系。 3信息交换 Facebook的短信平台每天交换数十亿条短信, HBase可以很好的满足该平台的需 求:高的写吞吐量,极大的表,数据中心的强一直性。 《大数据技术基础》
《大数据技术基础》 Hbase使用场景和成功案例 HBase设计初衷是用来存储互联网持续更新的网页副本，但用在互 联网相关的其他方面也是很合适的。例如，HBase在社交网络公司内部 和周围各种各样的需求中找到了用武之地。从存储个人之间的通信信息 ，到通信信息分析，HBase成为了Facebook、Twitter等公司的关键基础 设施。 在这个领域，HBase有3种主要使用场景（但不限于这3 种）： 1.抓取增量数据 使用HBase 作为数据存储，抓取来自各种数据源的增量数据，如抓取用户交互数据， 以备之后进行分析、处理。 2.内容服务 传统数据库最主要的使用场合之一是为用户提供内容服务，如URL短链接服务，可以 HBase为基础，存储大量的短链接以及和原始长链接的映射关系。 3.信息交换 Facebook的短信平台每天交换数十亿条短信，HBase可以很好的满足该平台的需 求：高的写吞吐量，极大的表，数据中心的强一直性
抓取增量数据 1.抓取监控指标: Open TSDB ·2.抓取用户交互数据: Facebook和 StumbleUpon ·3.遥测技术: mozilla和 Trend micro 4.广告效果和点击流
抓取增量数据 • 1．抓取监控指标：OpenTSDB • 2．抓取用户交互数据：Facebook 和 StumbleUpon • 3．遥测技术：Mozilia 和 Trend Micro • 4．广告效果和点击流 2019/5/16
内容服务 内容管理系统( Content management System, cMS)可以集中管理一切,可以用来存储内容 和提供内容服务。但是,当用户越来越多,生 成的内容越来越多的时候,就需要一个更具可 扩展性的CMS解决方案。可扩展的 Lily CMs使 用 HBase作为基础,加上其他开源框架,如 Solr,构成了一个完整的功能组合。 1.URL短链接 2.用户模型服务
内容服务 • 内容管理系统（Content Management System， CMS）可以集中管理一切，可以用来存储内容 和提供内容服务。但是，当用户越来越多，生 成的内容越来越多的时候，就需要一个更具可 扩展性的 CMS 解决方案。可扩展的 Lily CMS 使 用 HBase 作为基础，加上其他开源框架，如 Solr，构成了一个完整的功能组合。 • 1．URL 短链接 • 2．用户模型服务 2019/5/16
信息交换 · Facebook短信系统经常被公开讨论,它也可能极大地推 动了 HBase的发展。当你使用 Facebook时,某个时候 你可能会收到或者发送短信给你的朋友。 Facebook的这 个特性完全依赖于 HBase。用户读写的所有短信都存储 在 HBase里。 Facebook短信系统要求:高的写吞吐量, 极大的表,数据中心内的强一致性。除了短信系统之外 其他应用系统要求:高的读吞吐量,让数器昋吐量,自 动分库。工程师们发现 HBase是一个理想的解决方案, 因为它支持所有这些特性,它拥有个活跃的用户社区 Facebow0k运营团队在 Hadoop部署上有丰富经验等等 在“ Hadoop goes realtime at Facebook"这篇文章里, Facebook工程师解释了这个决定背后的逻辑并展示了他 们使用 Hadoop和 HBase构建在线系统的经验
信息交换 • Facebook 短信系统经常被公开讨论，它也可能极大地推 动了 HBase 的发展。当你使用 Facebook 时，某个时候 你可能会收到或者发送短信给你的朋友。Facebook 的这 个特性完全依赖于 HBase。用户读写的所有短信都存储 在 HBase 里。Facebook 短信系统要求：高的写吞吐量， 极大的表，数据中心内的强一致性。除了短信系统之外， 其他应用系统要求：高的读吞吐量，计数器吞吐量，自 动分库。工程师们发现 HBase 是一个理想的解决方案， 因为它支持所有这些特性，它拥有一个活跃的用户社区， Facebook 运营团队在 Hadoop 部署上有丰富经验等等。 在“Hadoop goes realtime at Facebook”这篇文章里， Facebook 工程师解释了这个决定背后的逻辑并展示了他 们使用 Hadoop 和 HBase 构建在线系统的经验。 2019/5/16