11.2.2键值对与输入格式 Map数目设置 ·相关参数： ·block size:HDFS文件的block size ·total size:输入文件整体的大小 ·input_file_num:输入文件个数 Big Data Computing Technology,2017 Fall
11.2.2 键值对与输入格式 Big Data Computing Technology, 2017 Fall 11 Map数目设置 • 相关参数： • block_size : HDFS文件的block size • total_size : 输入文件整体的大小 • input_file_num : 输入文件个数
11.2.2键值对与输入格式 Map数目设置 ·计算流程： 1)使用默认map数 ·如果不进行任何设置，默认的map数由blcok_size决定： default_num total_size/block_size; 2)预设map数目 ·可通过参数mapred.map.tasks来设置期望的map数目， 但是这个数只有在大于default_num的时候才会生效： goal_num mapred.map.task Big Data Computing Technology,2017 Fall
11.2.2 键值对与输入格式 Big Data Computing Technology, 2017 Fall 12 Map数目设置 • 计算流程： 1）使用默认map数 • 如果不进行任何设置，默认的map数由blcok_size决定： • default_num = total_size / block_size; 2）预设map数目 • 可通过参数mapred.map.tasks来设置期望的map数目， 但是这个数只有在大于default_num的时候才会生效： • goal_num = mapred.map.task