Hadoop MapReduce作业失败咨询：集群适配与作业配置疑问

1. 当前数据集是否超出集群配置的处理能力？ #

完全没有。你的集群总存储容量是 5 × 8.7TB = 43.5TB，而待处理的数据仅为312GB，连总存储的1%都不到——存储层面完全不存在瓶颈。

作业进度跑到11%后回退到1%重启，大概率是以下非存储类原因导致的：

• 部分DataNode节点临时故障或心跳失联，触发任务重试
• Map/Reduce任务的内存配置不足，引发OOM（内存溢出）导致任务重启
• 作业的重试次数配置过高，或集群资源调度策略不合理
• 输入数据存在损坏，导致任务反复读取失败

2. 是否需要配置MapReduce驱动以运行该作业？可能的配置项有哪些？ #

是的，针对这类反复重启的作业，调整MapReduce驱动的配置通常能解决问题。以下是关键配置项及适配你场景的建议：

核心任务资源配置 #

• mapreduce.map.memory.mb：单个Map任务的内存分配，默认1024MB。如果作业处理的数据块较大，建议调至2048MB避免OOM：

  conf.set("mapreduce.map.memory.mb", "2048");
  

• mapreduce.reduce.memory.mb：单个Reduce任务的内存分配，默认1024MB，根据Reduce阶段计算复杂度可调整至2048-4096MB：

  conf.set("mapreduce.reduce.memory.mb", "3072");
  

• mapreduce.map.java.opts/mapreduce.reduce.java.opts：JVM参数，建议设置为对应内存配置的80%左右，比如：

  conf.set("mapreduce.map.java.opts", "-Xmx1638m");
  conf.set("mapreduce.reduce.java.opts", "-Xmx2457m");
  

任务数量与分片配置 #

• mapreduce.input.fileinputformat.split.maxsize：调整输入分片大小，比如改为256MB减少Map任务数（312GB数据默认128MB分片约2400个Map任务，资源紧张时可适当合并）：

  conf.set("mapreduce.input.fileinputformat.split.maxsize", "268435456");
  

• mapreduce.job.reduces：指定Reduce任务数量，建议设置为集群Reduce槽位数的70%-80%，比如5节点集群若每个节点有4个Reduce槽，可设为14：

  conf.set("mapreduce.job.reduces", "14");
  

重试与容错配置 #

• mapreduce.map.maxattempts/mapreduce.reduce.maxattempts：Map/Reduce任务最大重试次数，默认4次，若作业频繁失败可调低至2次，避免反复重启拖慢进度：

  conf.set("mapreduce.map.maxattempts", "2");
  conf.set("mapreduce.reduce.maxattempts", "2");
  

• mapreduce.job.failures.maxpercent：允许失败的任务百分比，默认0，可设置为5%左右，容忍少量任务失败：

  conf.set("mapreduce.job.failures.maxpercent", "5");
  

其他优化配置 #

• mapreduce.reduce.shuffle.parallelcopies：Reduce阶段并行拉取Map输出的线程数，默认5，调至10可加快Shuffle速度：

  conf.set("mapreduce.reduce.shuffle.parallelcopies", "10");
  

另外，建议先通过yarn logs -applicationId <你的ApplicationID>查看YARN日志，定位具体失败原因（比如OOM、节点失联等），再针对性调整配置，效果会更精准。

内容的提问来源于stack exchange，提问作者Anurag Rawat