Hadoop任务输出文件为空及高效调试方法咨询

一、提升调试效率的方法 #

• 用原生日志框架替代异常调试：别再靠抛异常看数据，直接在代码里集成log4j或slf4j打印调试日志。日志会输出到YARN的任务日志或者本地运行控制台，不用重新打包上传就能查看关键数据。
• 本地运行任务调试：配置LocalJobRunner模式，直接在IDE里跑MapReduce任务，用断点调试Map、Reduce方法。修改代码后立即重跑，全程几秒出结果，彻底省去打包上传AWS S3的10分钟等待。
• 用计数器统计关键指标：自定义Hadoop Counters，统计Map阶段输出的键值对数量、Reduce阶段处理的分组数等。任务结束后通过hadoop job -counter <job-id> <group> <counter-name>直接查看，不用打日志也能掌握流程情况。

二、Reducer输出为空的问题修复 #

问题根源是Reducer的values是迭代器，只能遍历一次：第一次遍历统计sum时，迭代器已经走到末尾，第二次自然没有数据可迭代。修复方法如下：

1. 先把values存入集合，再用集合完成两次操作：

@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    List<Integer> valueList = new ArrayList<>();
    int sum = 0;
    // 第一次遍历：存值+统计sum
    for (IntWritable val : values) {
        int num = val.get();
        valueList.add(num);
        sum += num;
    }
    // 第二次遍历集合：写入结果
    for (int num : valueList) {
        context.write(key, new IntWritable(num));
    }
}

2. 如果不需要保留原始value，也可以在第一次遍历的时候直接完成结果输出，避免二次遍历：

@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    int sum = 0;
    for (IntWritable val : values) {
        sum += val.get();
    }
    // 直接写入sum结果
    context.write(key, new IntWritable(sum));
}

内容的提问来源于stack exchange，提问作者Max