Reducer清理函数值传递失败：MapReduce作业输出异常排查

看起来你的MapReduce作业在Reducer阶段出现了逻辑错误，导致最终输出的区域不正确。核心问题出在Reducer的实现上，结合你的代码，我来一步步拆解问题并给出修正方案：

核心错误原因 #

1. Text对象复用导致引用失效
   MapReduce框架会复用Reducer的key参数（Text类型），每次处理新区域时，只是修改这个Text对象的内容，而非创建新对象。你直接把key添加到列表a中，实际上存储的是同一个对象的引用——最后列表里所有元素都会指向最后处理的那个区域的名称，这就是为什么你得到了9对应的区域，而非5对应的区域。

2. 冗余的列表存储逻辑
   你的代码会把所有比当前max小的区域都加入列表，但我们只需要跟踪当前最小年份对应的区域即可，保留历史记录不仅浪费内存，还会放大上述引用问题。

修正后的Reducer代码 #

我们重新设计Reducer逻辑，只跟踪最小年份和对应的区域，同时避免对象复用的坑：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class IntReducer6 extends Reducer<Text, IntWritable, Text, NullWritable> {
    // 初始值设为极大值，确保第一个有效年份能覆盖它
    private int minYear = Integer.MAX_VALUE;
    // 存储最小年份对应的区域，使用独立的Text对象避免复用问题
    private Text oldestDistrict = new Text();

    @Override
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        // Combiner已经保证每个区域只输出一个最小年份，直接取第一个值即可
        int currentYear = values.iterator().next().get();
        
        // 找到更小的年份时，更新记录
        if (currentYear < minYear) {
            minYear = currentYear;
            // 复制key的内容到新的Text对象，避免引用复用
            oldestDistrict.set(key);
        }
    }

    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        // 最终只输出最老树木所在的区域
        context.write(oldestDistrict, NullWritable.get());
    }
}

额外优化建议 #

1. Combiner代码优化 #

你的Combiner用ArrayList收集所有年份再排序取最小，效率较低，直接遍历记录最小值即可：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class Compare extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int minYear = Integer.MAX_VALUE;
        for (IntWritable val : values) {
            int current = val.get();
            if (current < minYear) {
                minYear = current;
            }
        }
        result.set(minYear);
        context.write(key, result);
    }
}

2. Mapper代码优化 #

原Mapper用StringTokenizer可能会忽略空字段，建议用split处理，同时增加异常处理避免解析错误：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class TokenizerMapper_1_8_6 extends Mapper<Object, Text, Text, IntWritable> {
    private Text district = new Text();
    private IntWritable treeYear = new IntWritable();

    @Override
    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        // 跳过表头行
        if (value.toString().startsWith("ARRONDISSEMENT")) {
            return;
        }
        // 按分号分割，-1保留空字段避免索引越界
        String[] fields = value.toString().split(";", -1);
        // 确保字段数量足够（对应你原逻辑的第2个区域字段、第5个年份字段）
        if (fields.length >= 5) {
            String arrondissement = fields[1];
            String anneeStr = fields[4];
            try {
                int year = Integer.parseInt(anneeStr);
                if (year > 1000) {
                    district.set(arrondissement);
                    treeYear.set(year);
                    context.write(district, treeYear);
                }
            } catch (NumberFormatException e) {
                // 跳过无法解析的无效年份
                e.printStackTrace();
            }
        }
    }
}

内容的提问来源于stack exchange，提问作者Lionbix