PigLatin编程语言MapReduce虽然是现在处理海量数据的主要方法,但是对于数据处理它仍然存在不足之处。。固定的数据流处理过程MR其他操作需要用户自己动手编写Join,filter,projection,aggregates,sorting,distinct。语义被隐藏在map和reduce函数中,使其难以维护、扩展或者被优化
MapReduce虽然是现在处理海量数据的主要方法,但是 对于数据处理它仍然存在不足之处。 ◦ 固定的数据流处理过程 ◦ 其他操作需要用户自己动手编写 Join, filter, projection, aggregates, sorting, distinct ◦ 语义被隐藏在map和reduce函数中,使其难以维护、扩展或者被 优化 Pig Latin编程语言 M R
PigLatin编程语言PigLatin则能很好的解决上述问题。它是一种类SQL的面向数据流的语言。它提供了对数据的排序、过滤、分组求和、关联等功能,同时也运行用户自定义一些函数,称为UDF(user-defined functions)。与编写MapReduce程序相比,PigLatin程序可以大大减少代码量。Pig可以自动对集群进行分配和回收,并且自动的对MapReduce程序进行优化,用户可以将精力放在程序功能的实现上
Pig Latin则能很好的解决上述问题。它是一种类SQL的面 向数据流的语言。它提供了对数据的排序、过滤、分组、 求和、关联等功能,同时也运行用户自定义一些函数,称 为UDF(user-defined functions)。 与编写MapReduce程序相比,Pig Latin程序可以大大减 少代码量。Pig可以自动对集群进行分配和回收,并且自 动的对MapReduce程序进行优化,用户可以将精力放在 程序功能的实现上。 Pig Latin编程语言