提纲 81流计算概述 82流计算处理流程 83流计算应用 84流计算开源框架- Storm 8.5 Spark Streaming 8. 6 Samza 87Stom、 Spark Streaming和 Samza的应用场景 88Stom编程实践 本PPT是如下教材的配套讲义: 21世纪高等教育计算机规划教材 《大数据技术原理与应用 概念、存储、处理、分析与应用》 (2015年8月第1版) 厦门大学林子雨编著,人民邮电出版社 SBN:978-7115392879 欢迎访问《大数据技术原理与应用》教材官方网站: http:/dblab.xmu.edu.cn/post/bigdata 欢迎访问“中国高校大数据课程公共服务平台”旗下 子栏目“大数据课程学生服务站”,为学生学习大数 据课程提供全方位、一站式免费服务 http://dblab.xmu.edu.cn/post/4331/ 大数据技术原理与应用》 厦门大学计算机科学系 林子雨 xmu. edu. cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 8.1 流计算概述 8.2 流计算处理流程 8.3 流计算应用 8.4 流计算开源框架 – Storm 8.5 Spark Streaming 8.6 Samza 8.7 Storm、Spark Streaming和Samza的应用场景 8.8 Storm编程实践 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年8月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9 欢迎访问《大数据技术原理与应用》教材官方网站： http://dblab.xmu.edu.cn/post/bigdata 欢迎访问“中国高校大数据课程公共服务平台”旗下 子栏目“大数据课程学生服务站”，为学生学习大数 据课程提供全方位、一站式免费服务： http://dblab.xmu.edu.cn/post/4331/
●8.1流计算概述 ·8.1.1静态数据和流数据 8.12批量计算和实时计算 8.1.3流计算概念 8.14流计算与 Hadoop 8.1.5流计算框架 大数据技术原理与应用》 厦门大学计算机科学系 lin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1 流计算概述 • 8.1.1 静态数据和流数据 • 8.1.2 批量计算和实时计算 • 8.1.3 流计算概念 • 8.1.4 流计算与Hadoop • 8.1.5 流计算框架
811静态数据和流数据 很多企业为了支持决策分析而构建的数据仓库系统,其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP(On Line Analytical Processing)分析工具从静态数据中找到对企业有价 值的信息 数据仓库监视、运行和维护工具 外部数据 数据挖掘 前端应用 元教据 数据仓库 数据挖掘系统 抽取、转换 报表 加载ETL OLTP系统 服务 分析工具 查询工具 i 文档 二其中应用 数据集市 OLAP服务器 数据源 数据存储和管理 分析和挖掘引擎 应用 大数据技术原理与应用》 厦门大学计算机科学系 lin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（OnLine Analytical Processing）分析工具从静态数据中找到对企业有价 值的信息 8.1.1 静态数据和流数据
811静态数据和流数据 近年来,在Web应用、网络监控、传感监测等领域,兴起了一种新 的数据密集型应用——流数据,即数据以大量、快速、时变的流形式 持续到达 实例:PM2.5检测、电子商务网站用户点击流 流数据具有如下特征 数据快速持续到达,潜在大小也许是无穷无尽的 数据来源众多,格式复杂 数据量大,但是不十分关注存储,一旦经过处理,要么被丢弃, 要么被归档存储 注重数据的整体价值,不过分关注个别数据 数据顺序颠倒,或者不完整,系统无法控制将要处理的新到达的 数据元素的顺序 大数据技术原理与应用》 厦门大学计算机科学系 林子雨 lin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 近年来，在Web应用、网络监控、传感监测等领域，兴起了一种新 的数据密集型应用——流数据，即数据以大量、快速、时变的流形式 持续到达 • 实例：PM2.5检测、电子商务网站用户点击流 • 流数据具有如下特征： – 数据快速持续到达，潜在大小也许是无穷无尽的 – 数据来源众多，格式复杂 – 数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃， 要么被归档存储 – 注重数据的整体价值，不过分关注个别数据 – 数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的 数据元素的顺序 8.1.1 静态数据和流数据
812批量计算和实时计算 对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量 计算和实时计算 批量计算:充裕时间处理静态数据, 处理逻辑 流数据 如 Hadoop (动态数据) 流数据不适合采用批量计算,因为流 数据不适合用传统的关系模型建模 流数据必须采用实时计算,响应时间 静态数据 处理 为秒级 逻辑 价值 数据量少时,不是问题,但是,在大 数据时代,数据格式复杂、来源众多 数据量巨大,对实时计算提出了很 丢弃 大的挑战。因此,针对流数据的实时 价值 计算—流计算,应运而生 批量计算 实时计算 图8-2数据的两种处理模型 大数据技术原理与应用》 厦门大学计算机科学系 林子雨 lin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn • 对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量 计算和实时计算 8.1.2 批量计算和实时计算 图8-2 数据的两种处理模型 •批量计算：充裕时间处理静态数据， 如Hadoop •流数据不适合采用批量计算，因为流 数据不适合用传统的关系模型建模 •流数据必须采用实时计算，响应时间 为秒级 •数据量少时，不是问题，但是，在大 数据时代，数据格式复杂、来源众多 、数据量巨大，对实时计算提出了很 大的挑战。因此，针对流数据的实时 计算——流计算，应运而生