第8章流计算 《大数据技术基础》
《大数据技术基础》 第8章 流计算
提纲 8.1流计算概述 82流计算处理流程 83流计算应用 84流计算开源框架- Storm
提纲 8.1 流计算概述 8.2 流计算处理流程 8.3 流计算应用 8.4 流计算开源框架 - Storm
81流计算概述 8.1.1 静态数据和流数据 8.1.2 批量计算和实时计算 8.1.3 流计算概念 8.14 流计算与 Hadoop 8.1.5 流计算框架
8.1 流计算概述 • 8.1.1 静态数据和流数据 • 8.1.2 批量计算和实时计算 • 8.1.3 流计算概念 • 8.1.4 流计算与Hadoop • 8.1.5 流计算框架
81.1静态数据和流数据 很多企业为了支持决策分析而构建的数据仓库系统,其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP(On- Line analytical Processing)分析工具从静态数据中找到对企业有价值 的信息 数据仓库监视、运行和维护工具 外部数据 数据挖掘 前端应用 元数据 RRA ig eR 抽取、转换 匚报表 加载EIL) OLTP系统 服务 分析工具 文档 其中应用 数据集市 OLAP服务器 数据源 数据有储和管理 分析和挖掘引擎i 应用
• 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（On‐ Line Analytical Processing）分析工具从静态数据中找到对企业有价值 的信息 8.1.1 静态数据和流数据
81.1静态数据和流数据 近年来,在Web应用、网络监控、传感监测等领域,兴起了一种新的 数据密集型应用—一流数据,即数据以大量、快速、时变的流形式持 续到达 流数据具有如下特征 数据快速持续到达,潜在大小也许是无穷无尽的 数据来源众多,格式复杂 数据量大,但是不十分关注存储,一旦经过处理,要么被丢弃, 要么被归档存储 注重数据的整体价值,不过分关注个别数据 数据顺序颠倒,或者不完整,系统无法控制将要处理的新到达的 数据元素的顺序
• 近年来，在Web应用、网络监控、传感监测等领域，兴起了一种新的 数据密集型应用——流数据，即数据以大量、快速、时变的流形式持 续到达 • 流数据具有如下特征： – 数据快速持续到达，潜在大小也许是无穷无尽的 – 数据来源众多，格式复杂 – 数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃， 要么被归档存储 – 注重数据的整体价值，不过分关注个别数据 – 数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的 数据元素的顺序 8.1.1 静态数据和流数据