EMR 6.x中maximizeResourceAllocation默认值及spark.executor.memory配置问题

1. maximizeResourceAllocation 参数默认值 #

EMR 6.x 版本中，创建集群未显式指定maximizeResourceAllocation参数时，默认值为true。
该参数开启后，EMR 会自动根据集群核心/任务节点的实例规格，计算并覆盖 Spark、YARN 的核心、内存相关配置，实现节点资源利用率最大化。你观测到的未配置spark.executor.memory时默认值为18G，就是该参数开启后自动计算生成的适配节点规格的数值。

2. spark.executor.memory 配置不生效的可能原因 #

• 被maximizeResourceAllocation自动配置覆盖：该参数的自动计算逻辑优先级高于用户自定义的 Spark 配置，无论集群级还是作业级的spark.executor.memory配置，都会被自动生成的数值覆盖。
• 配置层级错误：若为集群级配置，需确认修改的是spark-defaults.conf分类的配置，且修改后已触发集群重配置生效；若为作业提交级配置，需确认配置项未被后续加载的集群配置覆盖。
• 配置语法错误：内存值未携带正确单位（如g/G/m/M）时，配置会被判定无效，系统自动 fallback 到自动计算的默认值。
• 动态资源分配规则限制：若同时开启 Spark 动态资源分配，自定义的 Executor 内存若不符合 YARN 节点可分配资源块规则，也会被自动调整为适配节点规格的默认值。

3. 临时验证方案 #

提交作业时添加--conf spark.emr.maximizeResourceAllocation=false配置，即可跳过全局自动配置的覆盖逻辑，让自定义的spark.executor.memory配置生效。

内容的提问来源于stack exchange，提问作者yahoo