自定义分区器计算部门平均满意度时MapReduce输出文件为空

嘿，我来帮你排查下为啥九个输出文件全是空的！这种情况我碰到过好几次，大概率是自定义分区器、Job配置或者数据处理环节出了问题，咱们一步步来捋：

1. 先查自定义分区器的逻辑是否靠谱 #

自定义分区器的核心是返回0到分区数-1之间的编号（你这里是0-8），如果返回的编号超出范围，数据会直接被丢弃，自然生成空文件。

• 比如你是不是直接把部门名称的哈希值返回了？哈希值可能远大于8，这就会导致所有数据都没落到正确的分区里。
• 给你个靠谱的分区器示例（假设部门是字符串类型）：

  public class DeptPartitioner extends Partitioner<Text, DoubleWritable> {
      @Override
      public int getPartition(Text deptKey, DoubleWritable value, int numPartitions) {
          // 用哈希值取模，确保结果在0到numPartitions-1之间
          return Math.abs(deptKey.hashCode() % numPartitions);
      }
  }
  

  注意：别硬编码分区数，用参数numPartitions更稳妥，避免和Job配置的分区数不一致。

2. 确认Job配置的分区数和部门数匹配 #

你说有9个部门，但如果没在Job里设置正确的Reduce任务数，分区器再对也没用：

• 一定要加这句：job.setNumReduceTasks(9);，不然Hadoop默认可能只用1个Reduce任务，其他8个分区的文件自然是空的。
• 同时别忘了把自定义分区器绑定到Job上：job.setPartitionerClass(DeptPartitioner.class);

3. 检查Mapper有没有正确输出数据 #

如果Mapper根本没输出键值对，Reduce阶段啥也处理不了，输出肯定是空的：

• 看看你的map方法里有没有调用context.write(key, value)？是不是解析输入数据时出错了（比如分隔符不对、字段下标错了）？
• 可以在Mapper里加个打印语句验证：System.out.println("处理数据：部门=" + dept + "，满意度=" + satisfaction);，跑Job后看控制台输出，确认数据有没有被正确解析出来。

4. 排查Reduce阶段的输出逻辑 #

就算Mapper有输出，Reduce如果没把计算结果写出去，文件还是空的：

• 检查你的reduce方法：计算完平均满意度后，是不是忘了调用context.write(deptKey, new DoubleWritable(avgScore));？
• 还要注意计算过程中有没有除以0的情况（比如某个部门没有数据），这种异常可能会导致整个Reduce任务失败，数据没输出。

5. 最后检查输入数据和路径权限 #

• 有没有可能输入文件里的部门数据有问题？比如存在空值、格式错误，导致Mapper解析不出有效数据？可以先单独查看输入文件的内容，确认每个部门都有对应的满意度数据。
• 还有输出路径的问题：如果输出目录已经存在，Hadoop默认会拒绝写入，虽然一般会直接报错，但偶尔也会生成空文件。记得每次跑Job前删掉输出目录，或者配置允许覆盖：job.getConfiguration().set("mapred.output.dir.overwrite", "true");

你按照这个顺序排查，先从Job配置和分区器逻辑入手，大概率能找到问题所在！

内容的提问来源于stack exchange，提问作者Jeet