CDP集群Spark on YARN任务YARN UI内存远超提交配置原因排查

根据你提供的集群配置和任务数据，内存超额的核心原因大概率是YARN容器内存的向上取整机制，结合以下几个关键配置和行为：

1. YARN内存分配粒度的强制对齐 #

你的YARN配置中yarn.scheduler.minimum-allocation-mb设置为2GB，这是YARN分配容器内存的最小单元——所有容器的内存申请必须是这个值的整数倍。当Spark申请的容器总内存（堆内存+预留overhead）不是2GB的整数倍时，YARN会自动向上取整到最近的2GB倍数，直接导致实际分配内存超出预期计算值。

匹配验证： #

以你提供的第一个Spark流应用为例：

• Driver申请总内存：3GB（堆） + 300MB（overhead）= 3.3GB，YARN向上取整到4GB（2×2GB）
• 每个Executor申请总内存：4GB（堆） + 300MB（overhead）= 4.3GB，YARN向上取整到6GB（3×2GB）
• 总分配内存：4GB + 4×6GB = 28GB = 28672MB，完全与YARN UI显示的数值一致。

其他任务的超额情况也完全符合这个取整逻辑：

• Job1：Driver/Executor各申请2.3GB→取整到4GB，总8GB，超额4GB（2个容器各多分配约2GB）
• Job2：Driver/Executor各申请1.3GB→取整到2GB，总4GB，超额2GB（2个容器各多分配约1GB）
• Job3：Driver申请2.3GB→4GB，Executor申请1.3GB→2GB，总6GB，超额约3GB
• Job4：Driver/Executor各申请2.3GB→4GB，总12GB，超额约6GB

2. Spark内存Overhead的实际配置偏差 #

虽然你提到预留内存为300MB，但需确认spark.yarn.driver.memoryOverhead和spark.yarn.executor.memoryOverhead的实际生效值：

• 若这两个参数被CDP默认配置覆盖为2GB（部分Cloudera环境会根据集群规格设置默认overhead），会直接导致每个容器的内存增加2GB，与你观察到的(2GB * num_containers)超额模式完全匹配。
• 可通过Spark UI的Environment页面查看这两个参数的实际值，或在提交任务时显式指定--conf spark.yarn.executor.memoryOverhead=307200（300MB）来验证。

3. Cluster模式下ApplicationMaster的内存调整 #

在cluster部署模式下，Driver运行在YARN ApplicationMaster（AM）容器中：

• 你的yarn.app.mapreduce.am.resource.mb设置为3GiB，但如果Driver的堆内存+overhead超过这个值，YARN会优先按照yarn.scheduler.minimum-allocation-mb的粒度调整AM容器内存，比如3.3GB的申请会被调整到4GB，进一步放大内存超额。

验证与解决步骤 #

1. 确认Spark Overhead配置：在Spark UI的Environment页面检查spark.yarn.driver.memoryOverhead和spark.yarn.executor.memoryOverhead的实际值，确保是预期的300MB。
2. 计算容器内存取整结果：对每个任务的Driver/Executor申请内存（堆+overhead），计算向上取整到2GB倍数后的总内存，对比YARN UI显示值。
3. 调整YARN或Spark配置：
   • 若需避免过度取整，可将yarn.scheduler.minimum-allocation-mb调小（如1GB），但需注意集群资源的碎片化问题；
   • 显式设置Spark的overhead参数，确保申请的总内存（堆+overhead）恰好是YARN最小分配单元的整数倍，消除取整带来的超额。

内容的提问来源于stack exchange，提问作者Fpesenti