MapReduce中调用Reducer类避免重复键输出及代码问题排查

嘿，这种重复Key的情况我碰到过好几次，大概率是代码里的细节没处理到位，不一定是Reducer没正常工作，咱们一步步拆解可能的问题：

• 自定义Key类未正确重写equals()和hashCode()方法
  你用的那个由航班号、出发地、目的地及机场组成的Key如果是自定义类，MapReduce的分组、分区逻辑完全依赖这两个方法。要是没重写，哪怕两个Key的内容完全一样，JVM也会把它们当成不同的对象，Reducer就会收到多个“看似相同”的Key，自然输出重复记录——这是MapReduce自定义Key时最容易踩的坑！
• Mapper输出的Key类型与Driver配置不匹配
  检查Driver里的setMapOutputKeyClass()方法设置的类型，和你Mapper实际输出的Key类型是否完全一致。类型不匹配会导致序列化/反序列化出错，生成内容相同但实际是不同对象的Key，进而引发重复输出。
• Reducer逻辑存在疏漏
  比如你是不是在遍历values集合的循环里调用了context.write()？如果把输出写在循环内部，那每个值都会触发一次输出，同一个Key就会被输出多次。正确的做法应该是遍历完所有值，找到对应的最大延误原因后，只调用一次context.write()输出这个Key和结果。
• Driver的分组/分区配置错误
  如果自定义了GroupingComparator（分组器）但逻辑有误，会导致相同Key被分到不同的分组中，每个分组都会输出一次Key；另外，要是Partitioner（分区器）逻辑有问题，相同Key可能被发送到不同的Reducer，每个Reducer都会输出一次该Key，最终结果里就会出现重复。

1. 先在Mapper里加日志或者打印输出，看看Mapper阶段是不是已经产生了重复的Key。如果Mapper输出就重复，那问题出在Mapper或者Key的定义上；
2. 重点检查自定义Key类的equals()和hashCode()实现，确保内容相同的对象返回相同的hashCode，且equals()方法返回true；
3. 把Reducer的代码过一遍，确认每个Key只执行一次输出操作。

内容的提问来源于stack exchange，提问作者konanki shyam