云计算之 Google系列
主要内容 ● Google云计算背景 分布式文件系统GFS ●并行数据处理模型 Map reduce ●分布式锁服务 Chubby 分布式数据库 BigTable Google appengine
主要内容 Google云计算背景 分布式文件系统GFS 并行数据处理模型MapReduce 分布式锁服务Chubby 分布式数据库BigTable Google AppEngine
Google的云计算
3
分布式文件系统GFS Application (file name, chunk index) GFS master /foo/bar GFS client File namespace chunk 2efo (chunk handle, chunk locations) Data messages Instructions to chunkserver Control messages GFS的容错措施有哪些? chunk data Linux file system Linux file systen
分布式文件系统GFS GFS的容错措施有哪些？
GFS的容错方法 ●GFS的容错机制 Chunk server容错 每个 Chunk有多个存储副本(通常是3个),分别存储于不同 的服务器上 每个 Chunk又划分为若干 Block(64KB),每个 Block对应 个32bit的校验码,保证数据正确(若某个 Block错误,则转移 至其他 Chunk副本) Master容错(影子节点热备) 三类元数据:命名空间(目录结构)、 Chunk与文件名的映 射以及 Chunk副本的位置信息 前两类通过日志提供容错, Chunk副本信息存储于 Chunk Server, Master出现故障时可恢复
GFS的容错方法 GFS的容错机制 Chunk Server容错 每个Chunk有多个存储副本（通常是3个），分别存储于不同 的服务器上 每个Chunk又划分为若干Block（64KB），每个Block对应一 个32bit的校验码，保证数据正确（若某个Block错误，则转移 至其他Chunk副本） Master容错（影子节点热备） 三类元数据：命名空间（目录结构）、Chunk与文件名的映 射以及Chunk副本的位置信息 前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复 5