82.3实时查询服务 ·可见,流处理系统与传统的数据处理系统有如下不同: 流处理系统处理的是实时的数据,而传统的数据处理系统处理的 是预先存储好的静态数据 用户通过流处理系统获取的是实时结果,而通过传统的数据处理 系统,获取的是过去某一时刻的结果 流处理系统无需用户主动发出查询,实时查询服务可以主动将实 时结果推送给用户 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 可见，流处理系统与传统的数据处理系统有如下不同： – 流处理系统处理的是实时的数据，而传统的数据处理系统处理的 是预先存储好的静态数据 – 用户通过流处理系统获取的是实时结果，而通过传统的数据处理 系统，获取的是过去某一时刻的结果 – 流处理系统无需用户主动发出查询，实时查询服务可以主动将实 时结果推送给用户 8.2.3 实时查询服务
8.3流计算的应用 ·流计算是针对流数据的实时计算,可以应用在多种场景中 ·如百度、淘宝等大型网站中,每天都会产生大量流数据, 包括用户的搜索内容、用户的浏览记录等数据。采用流计 算进行实时数据分析,可以了解每个时刻的流量变化情况 ,甚至可以分析用户的实时浏览轨迹,从而进行实时个性 化内容推荐 ·但是,并不是每个应用场景都需要用到流计算的。流计算 适合于需要处理持续到达的流数据、对数据处理有较高实 时性要求的场景 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 流计算是针对流数据的实时计算，可以应用在多种场景中 • 如百度、淘宝等大型网站中，每天都会产生大量流数据， 包括用户的搜索内容、用户的浏览记录等数据。采用流计 算进行实时数据分析，可以了解每个时刻的流量变化情况 ，甚至可以分析用户的实时浏览轨迹，从而进行实时个性 化内容推荐 • 但是，并不是每个应用场景都需要用到流计算的。流计算 适合于需要处理持续到达的流数据、对数据处理有较高实 时性要求的场景 8.3 流计算的应用
83.1应用场景1:实时分析 ·传统的业务分析一般采用分布式离线计算的方式,即将数据 全部保存起来,然后每隔一定的时间进行离线分析来得到结 果。但这样会导致一定的延时,难以保证结果的实时性 随着分析业务对实时性要求的提升,离线分析模式已经不适 合用于流数据的分析,也不适用于要求实时响应的互联网应 用场景 虽然分布式离线分析带来的小时级的分析延时可以满足大部 分商家的需求,但随着实时性要求越来越高,如何实现秒级 别的实时分析响应成为业务分析的一大挑战 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 传统的业务分析一般采用分布式离线计算的方式，即将数据 全部保存起来，然后每隔一定的时间进行离线分析来得到结 果。但这样会导致一定的延时，难以保证结果的实时性 • 随着分析业务对实时性要求的提升，离线分析模式已经不适 合用于流数据的分析，也不适用于要求实时响应的互联网应 用场景 • 虽然分布式离线分析带来的小时级的分析延时可以满足大部 分商家的需求，但随着实时性要求越来越高，如何实现秒级 别的实时分析响应成为业务分析的一大挑战 8.3.1 应用场景1: 实时分析
83.1应用场景1:实时分析 针对流数据,“量子恒道”开发了海量数据实时流计算框架 Super Mario。通过该框架,量子恒道可处理每天TB级的实时流数据,并且 从用户发出请求到数据展示,整个延时控制在23秒内,达到了实时 性的要求 L pg Log Time tunnel:日记采集系统 Super Mario:流处理系统 HBase:存储分析结果 Super Mario处理流程 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 针对流数据，“量子恒道”开发了海量数据实时流计算框架Super Mario。通过该框架，量子恒道可处理每天TB级的实时流数据，并且 从用户发出请求到数据展示，整个延时控制在2-3秒内，达到了实时 性的要求 8.3.1 应用场景1: 实时分析 Super Mario处理流程 Log Log Log Log Time Tunnel: 日记采集系统 Super Mario: 流处理系统 HBase: 存储分析结果
831应用场景2实时交通 ·流计算不仅为互联网带来改变,也能改变我们的生活 ·如提供导航路线,一般的导航路线并没有考虑实时的交通 状况,即便在计算路线时有考虑交通状况,往往也只是使 用了以往的交通状况数据。要达到根据实时交通状态进行 导航的效果,就需要获取海量的实时交通数据并进行实时 分析 ·借助于流计算的实时特性,不仅可以根据交通情况制定路 线,而且在行驶过程中,也可以根据交通情况的变化实时 更新路线,始终为用户提供最佳的行驶路线 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 流计算不仅为互联网带来改变，也能改变我们的生活 • 如提供导航路线，一般的导航路线并没有考虑实时的交通 状况，即便在计算路线时有考虑交通状况，往往也只是使 用了以往的交通状况数据。要达到根据实时交通状态进行 导航的效果，就需要获取海量的实时交通数据并进行实时 分析 • 借助于流计算的实时特性，不仅可以根据交通情况制定路 线，而且在行驶过程中，也可以根据交通情况的变化实时 更新路线，始终为用户提供最佳的行驶路线 8.3.1 应用场景2: 实时交通