Hadoop MapReduce取Values最后元素出错，请求排查代码问题

你遇到的问题核心在于MapReduce框架对同Key下Value顺序的处理逻辑，我来帮你拆解原因并给出解决方案：

问题根源 #

Hadoop MapReduce不保证同Key对应的Value会按照输入文件的原始顺序传递给Reducer。这是因为输入文件会被拆分成多个Split并行处理，不同Split的记录由不同Mapper处理，Shuffle阶段收集同Key的Value时，顺序是各Mapper的输出顺序，和文件中的原始顺序完全无关。

你的Reducer逻辑本身是对的——遍历所有Value并保留最后一个，但如果Reducer收到的Value顺序和你预期的完全相反（比如先收到文件末尾的记录，再收到前面的），那最后保留的就会是文件开头的第一条记录，这就是你看到的现象。

另外补充：Hadoop的Iterator<Text>返回的Text对象是复用的，但你代码里直接赋值引用的方式没问题，这个不是导致问题的原因。

解决方案 #

要精准拿到输入文件中最后出现的那条记录，我们需要给每条记录加上全局唯一的递增序号（比如行号），然后在Reducer中通过序号找到最大的那条，对应的就是文件中最后出现的记录。

修改后的Mapper代码 #

public class MergeUrlMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> {
    public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
        String valueString = value.toString();
        // 注意：如果你的输入是空格分隔，把","改成"\\s+"
        String[] UrlHtmlData = valueString.split(",");
        // 把行号（Map的输入key）和内容拼接，传递给Reducer
        String valueWithIndex = key.toString() + "," + UrlHtmlData[1];
        output.collect(new Text(UrlHtmlData[0]), new Text(valueWithIndex));
    }
}

修改后的Reducer代码 #

public class MergeUrlReducer extends MapReduceBase implements Reducer<Text, Text, Text, Text> {
    public void reduce(Text t_key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
        Text key = t_key;
        long maxIndex = -1;
        String latestHtml = "";
        
        while (values.hasNext()) {
            Text temp = values.next();
            String[] indexAndData = temp.toString().split(",");
            long currentIndex = Long.parseLong(indexAndData[0]);
            String data = indexAndData[1];
            
            // 筛选出序号最大的记录（对应文件中最后出现的那条）
            if (currentIndex > maxIndex) {
                maxIndex = currentIndex;
                latestHtml = data;
            }
        }
        
        // 兜底处理：如果没有有效数据，用key填充（理论上不会触发）
        if (latestHtml.isEmpty()) {
            latestHtml = key.toString();
        }
        
        output.collect(key, new Text(latestHtml));
    }
}

额外注意事项 #

• 确保代码中的分隔符和你的实际输入一致（比如输入是空格分隔就把split(",")改成split("\\s+")）
• 不要给这个Job设置Combiner，因为Combiner会在Mapper端提前合并数据，破坏全局序号的有效性，导致结果错误

内容的提问来源于stack exchange，提问作者励俞翔