技术咨询：如何配置MapReduce中Combiner的数量？

嘿，这个问题问到点子上了——不少刚接触MapReduce的同学都会误以为Combiner的数量像Reducer那样可以手动配置，但其实你没办法直接指定Combiner的数量！它的数量完全由MapTask的数量决定：每个MapTask对应一个Combiner实例，MapTask跑多少个，Combiner就有多少个。

不过别慌，我来给你理清楚这里面的逻辑，以及怎么间接控制Combiner的运行效果：

一、先搞懂Combiner的本质 #

Combiner是Map端的“迷你聚合器”，它的作用是在MapTask完成本地计算后，先把相同Key的输出聚合一遍，减少Shuffle阶段要传输到Reducer的数据量。它和Reducer的逻辑通常可以复用，但注意：Combiner的逻辑必须是幂等的（比如求和、求最大值没问题，求平均值就不行，因为多次聚合会导致结果错误）。

因为它是绑定在单个MapTask上运行的，所以每个MapTask只会启动一个Combiner，Combiner的数量=MapTask的数量。

二、如何间接调整Combiner的“有效数量”（即控制MapTask数量） #

既然Combiner数量由MapTask决定，那调整MapTask数量就能间接影响Combiner的整体效果：

• 调整输入分片大小：MapTask的数量由HDFS输入数据的分片数决定，默认分片大小等于HDFS块大小（比如128MB）。你可以通过以下参数修改分片大小：
  • mapreduce.input.fileinputformat.split.maxsize：分片的最大大小
  • mapreduce.input.fileinputformat.split.minsize：分片的最小大小
    比如如果你的输入是大量小文件，合并小文件或者调大分片大小，能减少MapTask数量，让每个Combiner处理更多数据，提升聚合效率；如果单块数据太大，调小分片大小增加MapTask数量，避免单个Combiner处理数据过多导致内存压力。
• 合并小文件：如果输入是成百上千的小文件，Hadoop会为每个小文件生成一个MapTask，导致Combiner数量过多，每个Combiner处理的数据极少，反而增加额外开销。这时候可以用CombineFileInputFormat来合并小文件，减少MapTask数量。

三、关于Combiner的常见误区 #

• 别找“配置Combiner数量”的参数：Hadoop根本没有直接设置Combiner数量的配置项，所有尝试手动指定的操作都是白费功夫。
• 不是所有场景都适合用Combiner：如果Map输出的数据量本身很小，或者你的聚合逻辑不满足幂等性，强行使用Combiner反而会增加不必要的计算开销。

内容的提问来源于stack exchange，提问作者Harshali Patel