Spark YARN client模式driver内存配置不生效（Spark2.4.7+Hadoop3.2.2）

1. YARN Client模式的资源逻辑认知偏差 #

根据Spark 2.4.7的YARN部署规则，两种部署模式的资源边界完全不同：

• YARN cluster 模式：Driver 运行在YARN分配的ApplicationMaster（AM）容器内，此时 --driver-memory、spark.driver.memory 配置会直接映射为AM容器的内存配额，Driver内存和AM内存是同一个实体。
• YARN client 模式：Driver 是直接运行在执行spark-submit命令的Master节点本地进程中，完全不纳入YARN的容器调度范围。此时集群上启动的AM仅负责申请、管理Executor的资源生命周期，不承载用户的Driver业务逻辑。

之前配置的 spark.yarn.am.memory、spark.yarn.am.cores 仅管控client模式下AM容器的资源配额，这套配置不会对本地运行的Driver JVM产生任何影响，这也是修改该参数后，本地Master节点上的Driver进程堆大小仍为1g的核心原因——二者属于完全独立的两个进程。

2. --driver-memory 12g 参数未生效的常见诱因 #

按Spark的参数优先级规则，命令行传入的 --driver-memory 优先级高于spark-defaults.conf的配置，未生效通常来自两类场景：

• 执行路径冲突：环境中存在多版本Spark安装，执行spark-submit时实际调用的脚本，并非修改了conf配置的目标Spark 2.4.7安装路径，传入的参数没有被对应版本的解析逻辑捕获。提交前可通过 which spark-submit 命令校验实际调用的脚本路径，确认和配置的 ${SPARK_HOME} 路径完全一致。
• 环境变量硬编码覆盖：若 ${SPARK_HOME}/conf/spark-env.sh 中手动硬编码了 SPARK_DRIVER_MEMORY=1g，或在全局JAVA_OPTS中写入了 -Xmx1g，会直接覆盖命令行传入的配置，需要排查对应配置文件中的硬编码项。

3. 现有YARN配置的潜在风险 #

当前yarn-site.xml中设置的 yarn.scheduler.minimum-allocation-mb=8192 虽不会直接修改本地Driver的JVM堆参数，但会引发资源调度异常：

• 单台Slave节点的YARN可分配总内存为15360MB，按8G的最小分配单元计算，单节点最多仅能运行1个符合配额要求的容器，配置的12g内存Executor也刚好匹配单节点1个的上限，但过高的最小分配单元会导致节点剩余内存被大量浪费，资源利用率极低。
• 若Spark与YARN的客户端版本适配存在异常，可能会导致Spark提交时的参数解析流程提前中断，回退到默认的1g Driver内存配置，最终引发OOM。
• 由于当前使用的是无Hadoop依赖的Spark安装包，需要确认环境变量中HADOOP_CONF_DIR正确指向hadoop-3.2.2的配置目录，若该路径配置错误，会导致Spark无法正常加载YARN的客户端配置，提交阶段的参数解析流程可能提前中断，直接回退到Spark内置的默认配置（1g Driver内存、1核Driver），引发配置不生效的问题。

1. 修正Driver内存配置逻辑（client模式专属） #

client模式下Driver为本地进程，内存配置完全由Spark的Driver参数管控，和 spark.yarn.am.* 系列参数无关：

• 先校验spark-submit的实际执行路径，确保调用的是目标Spark版本的脚本，再保留提交命令中的 --driver-memory 12g 参数。
• 若命令行配置仍不生效，可直接在 ${SPARK_HOME}/conf/spark-defaults.conf 中添加明确的Driver配置，绕开参数解析的异常路径：

  spark.driver.memory 12g
  spark.driver.extraJavaOptions -Xmx12g
  

• 配置完成后提交应用，检查Master节点上Spark日志中的Driver启动命令，确认 -Xmx 参数匹配为12g，而非默认的1g。

2. 调整不合理的YARN配置 #

• 将 yarn.scheduler.minimum-allocation-mb 修改为1024MB（1G），匹配Slave节点15GB的可分配内存规模，消除最小分配单元过高带来的资源浪费问题。
• 按Slave节点4vCPU、15GB可分配内存的配置，当前Executor配置（3核、12g内存）可在单Slave节点稳定运行，剩余3GB内存、1vCPU可留作系统预留，配置本身是合理的，仅需调低最小分配单元即可正常调度。

关于AM内存配置的说明 #

client模式下 spark.yarn.am.memory 仅负责管控集群上AM容器的资源，和Driver进程无关联。AM本身仅需要1-2g内存即可完成Executor资源的申请工作，之前配置的12g AM内存属于过度配置，可调整为默认值，避免浪费集群资源。AM内存不足通常会导致应用无法申请Executor资源，但不会引发本地Driver的堆内存溢出错误。

内容的提问来源于stack exchange，提问作者sherminator35