Hadoop MapReduce（Java）：用Reducer作Combiner统计唯一词数出错

哦，这个问题我之前也碰到过！核心原因是你把Reducer同时用作Combiner时，计数器会被重复统计——因为Combiner本质就是Reducer的实例，它会执行和Reducer完全一样的逻辑，包括你在reduce方法里对UNIQUE_WC计数器的递增操作。

举个实际场景的例子：假设你有两个Map Task，每个Map输出里各有5个唯一单词。启用Combiner后，每个Combiner会先处理自己节点的输出：每遇到一个唯一单词就给计数器+1，两个Combiner总共让计数器增加了10。接着Reducer阶段会收到所有Combiner输出的唯一单词（假设没有跨节点重复的话是10个），然后又给计数器+10，最后计数器结果是20，但实际唯一单词数只有10，这就直接导致了统计错误。

下面给你两个可行的解决方案：

方案1：拆分Combiner和Reducer逻辑 #

既然Combiner的核心作用是局部聚合词频（减少节点间的数据传输），而计数器只需要在全局Reducer阶段统计唯一单词数，那可以单独写一个只做词频聚合的Combiner类，完全不操作计数器：

public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();
    @Override
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
        // 这里不要添加计数器更新逻辑！
    }
}

然后在Driver类里指定这个独立的Combiner：

job.setCombinerClass(WordCountCombiner.class);

原来的Reducer保持不变，只在全局Reducer阶段更新计数器，这样就不会出现重复统计的问题了。

方案2：在原Reducer中区分运行环境 #

如果你不想额外写Combiner类，可以在原Reducer里判断当前是否处于Combiner运行阶段，仅当是全局Reducer时才更新计数器：

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();
    @Override
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
        
        // 判断当前是否为Reducer阶段（而非Combiner）
        boolean isCombiner = context.getConfiguration().getBoolean("mapreduce.job.combine", false);
        if (!isCombiner) {
            context.getCounter(Operations.UNIQUE_WC).increment(1);
        }
    }
}

这样Combiner运行时会跳过计数器更新，只有全局Reducer会统计唯一单词数，结果就能恢复正确。

额外小提醒 #

如果你的核心需求只是统计唯一单词的总数，其实可以简化逻辑：比如Map阶段输出<"fixed_key", word>，Reducer里用一个Set收集所有单词，最后把计数器设为Set的大小。但这种方式在数据量大时效率不高，因为所有单词都会集中传到Reducer节点，你当前的词频统计+计数器的方式反而更高效，只要解决Combiner的重复统计问题就好。

内容的提问来源于stack exchange，提问作者Ian F