83.1 MapReduce10的缺陷 (1)存在单点故障 (2) Job tracker“大包大揽”导致任务过重(任务多时内存开销大,上限4000节点) (3)容易出现内存溢出(分配资源只考虑 MapReduce任务数,不考虑CP、内存) (4)资源划分不合理(强制划分为s|ot,包括 Map slot和 Reduce slot) Client Client Jobtracker Task scheduler Client TaskTracker TaskTracker TaskTracker Map Task Map Task Map Task Reduce Task Reduce Task Reduce Task 图 MapReduce1.0体系结构 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.3.1 MapReduce1.0的缺陷 Client Client Client JobTracker Task Scheduler TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task 图 MapReduce1.0体系结构 （1）存在单点故障 （2）JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点） （3）容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存） （4）资源划分不合理（强制划分为slot ，包括Map slot和Reduce slot）
8.3.2YARN设计思路 YARN架构思路:将原 Jobtacker三大功能拆分 MapReduce1.0既是一个 计算框架,也是一个资源 资源管理 管理调度框架 到了 Hadoop2.以后, ResourceManager 原 Job tracker MapReduce1.0中的资源 功能 任务调度 管理调度功能,被单独分 离出来形成了YARN,它 Application Master是一个纯粹的资源管理调 任务监控 度框架,而不是一个计算 Master端 框架 被剥离了资源管理调度 功能的 MapReduce框架 就变成了 MapReduce20, 原 TaskTracker Node Manager 它是运行在YARN之上的 个纯粹的计算框架,不 再自己负责资源调度管理 Slave端 服务,而是由YARN为其 提供资源管理调度服务 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.3.2 YARN设计思路 资源管理 任务调度 原JobTracker 功能 ResourceManager ApplicationMaster 原TaskTracker NodeManager 任务监控 Master端 Slave端 YARN架构思路：将原JobTacker三大功能拆分 •MapReduce1.0既是一个 计算框架，也是一个资源 管理调度框架 •到了Hadoop2.0以后， MapReduce1.0中的资源 管理调度功能，被单独分 离出来形成了YARN，它 是一个纯粹的资源管理调 度框架，而不是一个计算 框架 •被剥离了资源管理调度 功能的MapReduce 框架 就变成了MapReduce2.0， 它是运行在YARN之上的 一个纯粹的计算框架，不 再自己负责资源调度管理 服务，而是由YARN为其 提供资源管理调度服务