云计算 3 MapReduce分布式处理技术 函数 输入 输出 Map (k1,V1) List(k2,v2) Reduce (k2,List(v2)》 List(k3,v3) ◆各个map函数对所划分的数据并行处理，从不同的输入数据产生 不同的中间结果输出； ◆各个reduce各自并行计算，各自负责处理不同的中间结果数据集 合； ◆进行reduce处理之前，须等到所有的map函数做完，并且在进入 reduce前会对map的中间结果数据进行整理(Shuffle),保证将 map的结果发送给对应的reduce; ◆最终汇总所有reduce的输出结果即可获得最终结果 1986
MapReduce分布式处理技术 各个map函数对所划分的数据并行处理，从不同的输入数据产生 不同的中间结果输出； 各个reduce各自并行计算，各自负责处理不同的中间结果数据集 合； 进行reduce处理之前，须等到所有的map函数做完，并且在进入 reduce前会对map的中间结果数据进行整理(Shuffle)，保证将 map的结果发送给对应的reduce； 最终汇总所有reduce的输出结果即可获得最终结果 云计算 函数 输入 输出 Map (k1, v1) List(k2, v2) Reduce (k2, List(v2)) List(k3, v3)
云计算 3 MapReduce分布式处理技术 —一框架 提交作业 JobTracker JobClient TaskTracker TaskTracker Task Task Task Task ◆MapReducet框架是由一个单独运行在主节点上的JobTracker和 运行在每个集群从节点上的TaskTracker共同组成的。 ◆主节点负责调度构成一个作业的所有任务，这些任务分布在不同 的从节点上。主节点监控它们的执行情况，并且重新执行之前失 败的任务。 1986
MapReduce分布式处理技术——框架 MapReduce框架是由一个单独运行在主节点上的JobTracker 和 运行在每个集群从节点上的TaskTracker共同组成的。 主节点负责调度构成一个作业的所有任务，这些任务分布在不同 的从节点上。主节点监控它们的执行情况，并且重新执行之前失 败的任务。 云计算
云计算 3 MapReduce分布式处理技术一 实现机制 使用者的程式 0 0 Mastert德器 0 ②分配Map任路 HDFS Map结果1 ②分配Reduce任 檔案系統 3 铁行Map程式 HDFS (Norke楼程) 0 Map结果1 6 3 6 转行Reduce程式 檔案系統 莫科1 6 (Vorker慢客) Map结果2 6 输出諮果福 黄料2 3 執行Map程式 Map结果2 6 白料3 (Worker镂器)】 6 教行Reduce程式 6 Map结果3 输出特果指2 筑料4 6 (Norker惯春)】 资料5 0 铁行Map程式 Map梧果3 填端诚取 (Norker银器) 本地富入 本地磁碟的 内部檔案 1986
MapReduce分布式处理技术——实现机制 云计算
云计算 用户程序 (1)分剖 (1)分割 )分割 Master (6)写入文件 (2)指派Map (2)指派Reduce. 工作机 工作机 输出文件0 M R 片段1 (4)本地存储 片段2 工作机 工作机 输出文件1 M R 片段3 (3)Read 片段4 工作机 (5)远程读取 M 输入文件 Map状态 本地存储 Reduce状态 输出文件 1986
用户程序 (1)分割 (1)分割 (1)分割 Master 工作机 M 工作机 M 工作机 M 工作机 R 工作机 R (2)指派Map (2)指派Reduce 片段1 片段4 片段3 片段2 输入文件 (3)Read (4)本地存储 输出文件0 输出文件1 Map状态 本地存储 Reduce状态 输出文件 (5)远程读取 (6)写入文件 云计算
云计算 3 MapReduce分布式处理技术一 实现机制 ◆(1)MapReduce函数库首先把输入文件分成M块，每块大概 16MB到64MB。接着在集群的机器上执行处理程序。 ◆(2)MapReduce?算法运行过程中有一个主控程序，称为master。 主控程序会产生很多作业程序，称为worker。.并且把M个map任 务和R个reduce任务分配给这些worker,让它们去完成。 1986
MapReduce分布式处理技术——实现机制 (1) MapReduce函数库首先把输入文件分成M块，每块大概 16MB到64MB。接着在集群的机器上执行处理程序。 (2) MapReduce算法运行过程中有一个主控程序，称为master。 主控程序会产生很多作业程序，称为worker。并且把M个map任 务和R个reduce任务分配给这些worker，让它们去完成。 云计算