流数据管理 夏英 (xiayingacqupt. edu. cn) 重庆邮电大学计算机学院
1 流数据管理 夏英 (xiaying@cqupt.edu.cn) 重庆邮电大学计算机学院
概述 流数据具有动态、时效、连续、多源、无限等特性,数据流 处理对数据库、系统、算法、网络和其他计算机科学领域的 技术提出挑战,成为数据库界一个活跃的研究领域。 如物联网,通过安装传感设备,将所有的实体与网络连接在 起,方便识别和管理。感知数据以流的形式获取和存储。 ■流数据管理关键技术包括流存储、流操作、SQL扩展、查 询优化、操作调度、与静态数据的集成处理、模式挖掘等。 ■流数据管理系统,如斯坦福大学 stream、加州大学伯克力 分校 TelegraphCQ。 大数据流式计算架构, storn、 Yahoo s4等
2 概述 流数据具有动态、时效、连续、多源、无限等特性，数据流 处理对数据库、系统、算法、网络和其他计算机科学领域的 技术提出挑战，成为数据库界一个活跃的研究领域。 如物联网，通过安装传感设备，将所有的实体与网络连接在 一起，方便识别和管理。感知数据以流的形式获取和存储。 流数据管理关键技术包括流存储、流操作、SQL 扩展、查 询优化、操作调度、与静态数据的集成处理、模式挖掘等。 流数据管理系统，如斯坦福大学Stream、加州大学伯克力 分校TelegraphCQ。 大数据流式计算架构，Storm、Yahoo S4等
流数据应用领域 ■实时日志处理,实时统计系统,实时风控系统, 实时推荐系统 比如: 如对网络流量数据进行实时统计和攻击检测 对GPS,RFID等交通数据进行进行实时统计和诱导 ■对信用卡使用数据进行实时分析,防止信用卡欺诈 网页点击数据实时分析,广告点击及时响应(计费、 推荐、)
3 流数据应用领域 实时日志处理 ，实时统计系统 ，实时风控系统 ， 实时推荐系统 ， … 比如 ： 如对网络流量数据进行实时统计和攻击检测 对GPS， RFID等交通数据进行进行实时统计和诱导 对信用卡使用数据进行实时分析，防止信用卡欺诈 网页点击数据实时分析，广告点击及时响应 （计费 、 推荐 、 … ）
流数据管理系统简介 ■DBMs(数据库管理系统) 固定的关系结构 长时间,静态的数据 DsMs(流数据管理系统) 半结构化、非结构化数据 随时间变化(数据,概念,)
4 流数据管理系统简介 DBMS(数据库管理系统 ) 固定的关系结构 长时间，静态的数据 DSMS(流数据管理系统 ) 半结构化 、非结构化数据 随时间变化 （数据，概念，… ）
DBMs与DSMS的不同 稳定的关系 临时数据流,稳定的关系 一次性查询 连续查询 随机访问 顺序访问 根据数据库物理设计和查询■难以预料的数据特征和到 处理优化机制形成查询计划达模式
5 DBMS与DSMS的不同 稳定的关系 一次性查询 随机访问 根据数据库物理设计和查询 处理优化机制形成查询计划 临时数据流，稳定的关系 连续查询 顺序访问 难以预料的数据特征和到 达模式