Hadoop Mapper中途失败重试时自定义计数器的变化及异常咨询

嘿，咱们一步步拆解你的问题，搞清楚这些计数器到底出了什么状况：

先明确核心逻辑（默认你用的是Hadoop MapReduce，毕竟提到了Mapper和作业重试）：

• 每个Mapper Task都有独立的计数器实例，和Task的生命周期绑定
• 如果某个Mapper中途挂了（比如资源不足OOM、节点宕机），Hadoop会重新调度一个新的Mapper处理同一个输入分片。失败的那个Task的计数器数值不会被计入最终的作业汇总——只有成功跑完的Task的计数器才会被统计到作业级结果里。
• 如果是整个作业失败重试，之前作业实例的所有计数器都会被丢弃，最终只会保留最后一次成功完成的作业实例的计数器数值。

结合你说的「运行时数值正常、结束后减半」，还有4000万数据、92次重试的背景，这几个方向最值得排查：

1. 推测执行导致的运行时计数“虚高” #

如果你的作业开了推测执行（默认是开启的），Hadoop会为同一个输入分片启动多个Mapper Task，谁先完成就用谁的结果，其他冗余Task会被杀死。

• 运行时你看到的计数器，是所有正在运行的Task（包括冗余的推测Task）的数值总和——比如两个Mapper同时处理2000万的分片，各自计数2000万，你看到的总和是4000万。
• 但作业结束后，Hadoop只会保留那个被采用的成功Task的计数器，最终汇总就变成了2000万，看起来像是“减半”。

2. 作业重试时的计数器统计偏差 #

如果你的作业是部分Task失败重试（不是整个作业从头跑），可能出现：

• 运行时你看到的是所有已完成Task的计数器累加（包括之前失败重试的Task），但最终Hadoop只会统计每个分片对应的「最后一次成功Task」的计数器。比如某个分片被重试两次，第一次失败但计数器已经统计了2000万，第二次成功又计了2000万，运行时总和是4000万，但结束后只保留第二次的2000万，导致数值减半。

3. 自定义计数器的代码有隐藏问题 #

检查你的Mapper代码里更新计数器的逻辑：

• 有没有在map方法之外的地方（比如setup/cleanup）错误更新计数器？比如cleanup在Task失败时也会执行，导致失败Task的计数器被错误计入，但后续成功Task又计一次？不过这通常会导致数值加倍，但如果有条件判断错误，可能导致只有一半记录被正确计数。
• 有没有在处理记录时，因为逻辑bug（比如重复读取、过滤逻辑异常）导致计数器更新次数和实际处理记录数不匹配？

• 先关掉推测执行试试：修改配置mapreduce.map.speculative=false，重新跑作业，看计数器是否和预期一致。
• 查看作业的Task历史：在YARN的WebUI里，逐个查看每个成功Mapper Task的计数器数值，把它们加起来对比最终的作业计数器总和。如果单个Task数值加起来是4000万但作业显示2000万，那可能是框架统计逻辑有问题；如果总和就是2000万，那说明确实只有一半记录被成功处理。
• 检查计数器更新代码：确保每处理一条记录，计数器只调用一次increment，没有多余的更新逻辑。

内容的提问来源于stack exchange，提问作者shukla