使用MapReduce统计Top10热门电影时遇输出收集器初始化异常

嘿，我之前在做TopN热门电影统计的时候也踩过这个坑！这个异常本质是MapTask没法初始化排序输出收集器，通常和你的输出类型配置、路径权限、依赖或者排序逻辑有关，给你列几个最优先级的排查点：

• 检查Mapper/Reducer输出类型与Job配置完全匹配
  这是最常见的触发原因！比如你在Job里配置了输出Key是Text.class，但Mapper的map方法返回的却是IntWritable，或者Reducer的输出类型和全局Job配置不一致。针对你的Top10电影统计场景，举个正确配置的例子：

  // 全局输出（Reducer最终输出）：电影名称(Text) -> 播放次数(IntWritable)
  job.setOutputKeyClass(Text.class);
  job.setOutputValueClass(IntWritable.class);
  
  // Map阶段输出（用于排序）：播放次数(IntWritable) -> 电影名称(Text)
  job.setMapOutputKeyClass(IntWritable.class);
  job.setMapOutputValueClass(Text.class);
  

  只要类型不匹配，MapTask在创建排序收集器时就会直接抛出初始化失败的异常。

• 确认输出路径不存在且权限足够
  Hadoop默认禁止输出目录预先存在，如果你上一次运行程序的输出目录没删除，就会导致输出收集器初始化失败。可以在程序启动前自动清理旧路径：

  Configuration conf = new Configuration();
  Path outputDir = new Path("/your/output/path");
  FileSystem fs = FileSystem.get(conf);
  if (fs.exists(outputDir)) {
      fs.delete(outputDir, true); // 递归删除目录
  }
  

  另外要确保你的Hadoop执行用户对输出路径有读写权限，权限不足也会引发类似的初始化异常。

• 检查自定义Writable类型的正确性（如果有用到）
  如果你用了自定义的Writable类作为输出Key/Value，必须满足两个条件：一是这个类已经正确打包到提交的Jar中，二是它必须实现Writable（如果是排序用的Key，还要实现WritableComparable接口），并重写write、readFields和compareTo方法。Hadoop找不到类或者类实现不完整，都会导致收集器初始化失败。

• 排查排序相关的配置错误
  你的场景需要做升/降序排序，要是排序比较器配置错误也会触发这个异常。比如你指定了一个不存在的比较器类，或者自定义比较器的逻辑有问题。如果要对播放次数做降序排序，可以这样配置：

  // 对Map输出的Key（播放次数）做降序排序
  job.setSortComparatorClass(InverseComparator.class);
  

  注意InverseComparator是Hadoop自带的反转比较器，适用于实现了WritableComparable的类型。

内容的提问来源于stack exchange，提问作者Arvind Pant