设置Reducer为0仅运行Mapper作业时的最终输出文件数量咨询
答案:10个输出文件
当你把Reducer数量设置为0时,MapReduce作业会完全跳过Reduce阶段——每个Mapper任务完成后,会直接将自身的输出写入HDFS,不会经过任何合并或汇总步骤。
因为你这里有10个节点执行Mapper作业,每个Mapper都会生成一个独立的输出文件(文件名一般是part-m-00000、part-m-00001……以此类推),所以最终的输出文件数量就是10个。
这种场景下不会有Reducer来合并所有Mapper的输出,所有Mapper的结果都会以单独文件的形式保留在输出目录里。
内容的提问来源于stack exchange,提问作者Sats
相关产品推荐
相关产品推荐

