Lecture11 MapReduce计算模型 11.1分布式并行计算系统 1l.2 MapReduce计算架构 11.3实际案例展示 Big Data Computing Technology,2017 Fall
Lecture 11 MapReduce计算模型 Big Data Computing Technology, 2017 Fall 1 11.1 分布式并行计算系统 11.2 MapReduce计算架构 11.3 实际案例展示
11.1分布式并行计算系统 ·按照指令流和数据流划分： ·单指令流单数据流 ·单指令流多数据流 多指龄流单数据流 多指铃流多数据流 NISD) ·多指令流单数据流 指 (HID) ·多指令流多数据流 令流 单指令流单数据流 单指令流多数据流 (SISD) (SIID) 数据流 Big Data Computing Technology,2017 Fall
11.1 分布式并行计算系统 Big Data Computing Technology, 2017 Fall 2 • 按照指令流和数据流划分： • 单指令流单数据流 • 单指令流多数据流 • 多指令流单数据流 • 多指令流多数据流
11.1分布式并行计算系统 多指令流多数据流(MIMD) ·按照处理器是否共享内存划分： ·多处理器共享内存机器 ·UMA架构和NUMA架构 ·多计算机独立内存体系 ·MPP和集群两种计算架构。 ·归属于MMD体系的计算机： ·并行向量处理机、对称多处理机、大规模并行处理机、 工作站机群、分布式共享存储处理机 Big Data Computing Technology,2017 Fall
11.1 分布式并行计算系统 Big Data Computing Technology, 2017 Fall 3 多指令流多数据流（MIMD） • 按照处理器是否共享内存划分： • 多处理器共享内存机器 • UMA架构和NUMA架构 • 多计算机独立内存体系 • MPP和集群两种计算架构。 • 归属于MIMD体系的计算机： • 并行向量处理机、对称多处理机、大规模并行处理机、 工作站机群、分布式共享存储处理机
11.2 MapReduce计算架构 11.2.1软件模块/计算单元 11.2.2键值对与输入格式 11.2.3Map/Shaffle/Reduce任务与实现 Big Data Computing Technology,2017 Fall
11.2 MapReduce计算架构 Big Data Computing Technology, 2017 Fall 4 11.2.1 软件模块/计算单元 11.2.2 键值对与输入格式 11.2.3 Map/Shaffle/Reduce 任务与实现
11.2.1软件模块/计算单元 MapReduce本质思想一一分治法： ·将大数据集划分为小数据集 ·小数据集划分为更小数据集 ·将最终划分的小数据分布到集群节点上 ·以并行方式完成计算处理 ·将计算结果递归融汇，得到最后结果 Big Data Computing Technology,2017 Fall
11.2.1 软件模块/计算单元 Big Data Computing Technology, 2017 Fall 5 MapReduce本质思想——分治法： • 将大数据集划分为小数据集 • 小数据集划分为更小数据集 • 将最终划分的小数据分布到集群节点上 • 以并行方式完成计算处理 • 将计算结果递归融汇，得到最后结果