并行数据处理模型 Map Reduce User Program () fork (1)fo E1) fork Maste (2) assign worke olit o (6)write split I worker (5) remote read file 0 split 2A3)read cal write worker split 3 worker output file I split 4 worker 处理流程 2、分片方式
并行数据处理模型MapReduce 1、处理流程 2、分片方式
灵活的 Mapreduce ●所有步骤均可控,可灵活处理各类分布式问题 Node Node 2 Node 3 Pre-loaded local input data Mapping process Mapping process Mapping process Intermediate data from mappers Values exchanged by shuffle process Node Node 2 Node 3 Reducing process generates outputs Reducing process Reducing process Reducing process Outputs stored
灵活的MapReduce 所有步骤均可控，可灵活处理各类分布式问题
Google的云计算 分布式锁服务 Chubby
分布式锁服务Chubby 8
Chubby是什么? 主要用于解决分布式一致性问题 。在一个分布式系统中,有一组的 Process,它们需要确定 个 Value。于是每个 Process都提出了一个 Value,一致 性就是指只有其中的一个 Value能够被选中作为最后确 定的值,并且当这个值被选出来以后,所有的 Process都 需要被通知到 粗粒度的分布式锁服务 Chubby是 Google为解决分布式一致性问题而设计的提 供粗粒度锁服务的文件系统 其他分布式系统可以使用它对共享资源的访问进行同步
Chubby是什么？ 主要用于解决分布式一致性问题 ◦ 在一个分布式系统中，有一组的Process，它们需要确定 一个Value。于是每个Process都提出了一个Value，一致 性就是指只有其中的一个Value能够被选中作为最后确 定的值，并且当这个值被选出来以后，所有的Process都 需要被通知到 粗粒度的分布式锁服务 ◦ Chubby是Google为解决分布式一致性问题而设计的提 供粗粒度锁服务的 ◦ 其他分布式系统可以使用它对共享资源的访问进行同步 9
Chubby的设计目标 需要实现的特性 高可用性 高可靠性 ●支持粗粒度的建议性锁服务 ●支持小规模文件直接存储 ●不作考虑的特性 高性能 存储能力
Chubby的设计目标 需要实现的特性 高可用性 高可靠性 支持粗粒度的建议性锁服务 支持小规模文件直接存储 不作考虑的特性 高性能 存储能力 10