步8.12针对 Hadoop的改进与提升 表 Hadoop框架自身的改进:从1.0到20 组件 Hadoop1.0的问题 Hado0p20的改进 HDFS 单一名称节点,存在单设计了 HDFS HA,提供 点失效问题 名称节点热备机制 HDFS 单一命名空间,无法实设计了 HDFS Federation, 现资源隔离 管理多个命名空 Mapreduce资源管理效率低 设计了新的资源管理框 架YARN 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1.2针对Hadoop的改进与提升 组件 Hadoop1.0的问题 Hadoop2.0的改进 HDFS 单一名称节点，存在单 点失效问题 设计了HDFS HA，提供 名称节点热备机制 HDFS 单一命名空间，无法实 现资源隔离 设计了HDFS Federation， 管理多个命名空间 MapReduce 资源管理效率低 设计了新的资源管理框 架YARN 表 Hadoop框架自身的改进：从1.0到2.0
步8.12针对 Hadoop的改进与提升 表不断完善的 Hadoop生态系统 匚组件 功能 解决Had00p中存在的问题」 处理大规模数据的脚本语言,用户只需要|抽象层次低,需要手工编写 编写几条简单的语句,系统会自动转换为大量代码 MapReduce作业 Spark|基于内存的分布式并行编程框架,具有较|延迟高,而且不适合执行迭 高的实时性,并且较好支持迭代计算 代计算 Ooze工作流和协作服务引擎,协调 Hadoop上运「没有提供作业(Job)之间依 行的不同任务 赖关系管理机制,需要用户 自己处理作业之间依赖关系」 Tez 支持DAG作业的计算框架,对作业的操作「不同的 Mapreduce务之间 进行重新分解和组合,形成一个大的DAG存在重复操作,降低了效率 作业,减少不必要操作 Kaka分布式发布订阅消息系统,一般作为企业| Hadoop生态系统中各个组件 大数据分析平台的数据交换枢纽,不同类和其他产品之间缺乏统一的、 型的分布式系统可以统一接入到Kaka,实高效的数据交换中介 现和Hado各个组件之间的不同类型数据 的实时高效交换 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1.2针对Hadoop的改进与提升 组件 功能 解决Hadoop中存在的问题 Pig 处理大规模数据的脚本语言，用户只需要 编写几条简单的语句，系统会自动转换为 MapReduce作业 抽象层次低，需要手工编写 大量代码 Spark 基于内存的分布式并行编程框架，具有较 高的实时性，并且较好支持迭代计算 延迟高，而且不适合执行迭 代计算 Oozie 工作流和协作服务引擎，协调Hadoop上运 行的不同任务 没有提供作业（Job）之间依 赖关系管理机制，需要用户 自己处理作业之间依赖关系 Tez 支持DAG作业的计算框架，对作业的操作 进行重新分解和组合，形成一个大的DAG 作业，减少不必要操作 不同的MapReduce任务之间 存在重复操作，降低了效率 Kafka 分布式发布订阅消息系统，一般作为企业 大数据分析平台的数据交换枢纽，不同类 型的分布式系统可以统一接入到Kafka，实 现和Hadoop各个组件之间的不同类型数据 的实时高效交换 Hadoop生态系统中各个组件 和其他产品之间缺乏统一的、 高效的数据交换中介 表 不断完善的Hadoop生态系统
8.2HDFS20的新特性 8.2.1HDFS HA 8.2.2HDFS Federation 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.2HDFS2.0的新特性 8.2.1HDFS HA 8.2.2HDFS Federation
g 8.2.1HDFS HA HDFS1.0组件及其功能回顾(具体请参见第3章HDFS) 名称节点保存元数据: (1)在磁盘上: Fslmage和 EditLog (2)在内存中:映射信息,即文件包含哪些块,每个块存储在哪个数据节点 Name Node Data Nodes Data HDFS metadata File. bxt BIk A. Name Node DataNode DNL DNS, DN6 ·存储元数据 ·存储文件内容 Blk B: DNZ, DN1, DN2 元数据保存在内存中 ·文件内容保存在磁盘 Blk Ce ·保存文件, block, datanode·维护了 block id到 datanode本 DN5, DNS, DN9 之间的映射关系 地文件的映射关系 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.2.1HDFS HA HDFS1.0组件及其功能回顾（具体请参见第3章HDFS） 名称节点保存元数据： （1）在磁盘上：FsImage和EditLog （2）在内存中：映射信息，即文件包含哪些块，每个块存储在哪个数据节点
g 8.2.1HDFS HA HDFS1.0存在单点故障问题 第二名称节点( Secondary NameNode)无法解决单点故障问题 Primary Namenode SecondaryNameNode会定期和 Namenode通信 从 NameNode上获取到 Fslmage 和 EditLog文件,并下载到本地的 1. Roll edits 2. Retrieve fsimage and edits from primary 相应目录 edits. new 执行EdtL!og和 Fslmage文件合并 将新的 Fslmage文件发送到 NameNode节点上 name node使用新的 Fslmage和 Editlog (缩小了) 第二名称节点用途 4. Transfer checkpoint to primary 不是热备份 主要是防止日志文件 EditLog过 大,导致名称节点失败恢复时消 耗过多时间 cimage 附带起到冷备份功能 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.2.1HDFS HA •HDFS 1.0存在单点故障问题 •第二名称节点（SecondaryNameNode）无法解决单点故障问题 •SecondaryNameNode会定期和 NameNode通信 •从NameNode上获取到FsImage 和EditLog文件，并下载到本地的 相应目录下 •执行EditLog和FsImage文件合并 •将新的FsImage文件发送到 NameNode节点上 •NameNode使用新的FsImage和 EditLog（缩小了） 第二名称节点用途： •不是热备份 •主要是防止日志文件EditLog过 大，导致名称节点失败恢复时消 耗过多时间 •附带起到冷备份功能