使用DistCp跨集群复制20TB HDFS文件时遭遇IOException报错

你执行的DistCp命令如下：

hadoop distcp
-Dmapreduce.map.memory.mb=16834
-Dmapreduce.reduce.memory.mb=32768
-Dyarn.app.mapreduce.am.resource.mb=32768
-direct -update -delete -m 100
webhdfs://source hdfs://target

抛出的错误信息：

java.io.IOException: DistCp failure: Job job_1711122443047_0032 has failed: Application application_1711122443047_0032 failed2 times due to ApplicationMaster for attempt appattempt_1711122443047_0032_000002 timed out. Failing the application.

错误含义 #

这个错误直白来说：你提交的DistCp对应的MapReduce作业连续两次启动失败，核心原因是ApplicationMaster（AM）进程超时。

AM是MapReduce作业的核心协调进程，负责向YARN申请资源、调度Map任务、监控整个作业的执行流程。它超时意味着AM在规定时间内无法完成初始化、元数据拉取或任务调度的核心工作，YARN因此判定该应用不可用，终止了作业。

可能的触发原因及排查方向 #

• AM资源不足或节点负载过高：你给AM分配了32GB内存，如果YARN集群的节点剩余内存不足，或者节点CPU、磁盘IO被其他任务占满，AM进程会因为资源匮乏无法正常运行。可以检查YARN节点的资源使用情况，调整yarn.app.mapreduce.am.resource.mb参数至合理范围，或者选择负载较低的节点运行作业。
• YARN超时配置过短：YARN默认的AM超时时间可能不足以支撑20TB大文件复制的元数据处理（比如拉取大量文件的列表）。可以调整yarn.app.mapreduce.am.job.task.timeout或yarn.resourcemanager.am.expiry-interval参数，延长超时时间。
• 集群间网络问题：源集群（webhdfs协议）和目标集群之间的网络延迟过高、带宽不足，会导致AM无法及时获取源文件的元数据，或者与YARN ResourceManager的通信中断。可以测试两个集群之间的网络连通性和带宽，确认是否有网络瓶颈。
• 源NameNode负载过大：如果源集群的NameNode正在处理大量请求，响应AM的文件列表查询会变慢，导致AM等待超时。可以先查看源NameNode的日志和监控指标，必要时降低DistCp的并行度（-m参数从100调小），减少一次性请求的元数据量。
• -direct模式的影响：-direct模式会让DistCp直接操作文件系统，绕过一些中间优化逻辑，可能增加AM的协调压力。可以尝试去掉该参数，改用默认模式执行复制任务。

内容的提问来源于stack exchange，提问作者mohitblr