数据处理平台-Pig
数据处理平台-Pig
主要内容简介Pig的基本框架Pig Latin编程语言Pig的使用
主要内容 简介 Pig的基本框架 Pig Latin编程语言 Pig的使用
简介Pig是一个用来处理大规模数据集的平台,和Google的Sawzall类似,由Yahoo!贡献给Apache。MapReduce的查询框架虽然主要是Map和Reduce两个函数,但是用户从编写程序到在集群中部署、运行,仍然要花费不少时间。√Pig可以简化MapReduce任务的开发,提高在Hadoop集群上进行数据处理的方便程度
Pig是一个用来处理大规模数据集的平台,和Google的 Sawzall类似,由Yahoo!贡献给Apache。 MapReduce的查询框架虽然主要是Map和Reduce两个函 数,但是用户从编写程序到在集群中部署、运行,仍然要 花费不少时间。 Pig可以简化MapReduce任务的开发,提高在Hadoop集 群上进行数据处理的方便程度。 简介
Pig的基本框架。Pig的基本框架Pig LatinMapReduceCluster
◦ Pig的基本框架 Pig的基本框架 Cluster Pig Latin MapReduce
Pig的基本框架,PigLatin:Pig专用的语言,是类似于SQL的面向数据流的语言。能够对数据进行排序、过滤、求和、分组、关联等功能。MapReduce:当需要处理海量数据时,先用PigLatin语言编写PigLatin程序,然后在Pig中执行PigLatin程序。Pig把用户编写的PigLatin程序编译成MapReduce作业上传到集群中运行
Pig Latin:Pig专用的语言,是类似于SQL的面向 数据流的语言。能够对数据进行排序、过滤、求和、 分组、关联等功能。 MapReduce:当需要处理海量数据时,先用Pig Latin语 言编写Pig Latin程序,然后在Pig中执行 Pig Latin程序。 Pig把用户编写的Pig Latin程序编译成MapReduce作业, 上传到集群中运行。 Pig的基本框架