如何在Spark Scala中以编程方式在EMR集群级别设置maximizeResourceAllocation=true？

嘿，我刚好帮人解决过类似的EMR+Spark配置问题，你遇到的spark.emr.maximizeResourceAllocation=true在spark-submit里不生效的情况，其实是因为这个参数需要在集群层面全局配置才能真正发挥作用——它是EMR专属的自动资源适配参数，仅在任务提交时指定的话，很容易被集群默认配置或者你手动加的其他资源参数覆盖。下面给你几种靠谱的集群级别配置方法：

一、创建集群时直接配置（推荐） #

这种方式能让整个集群的Spark服务都继承这个配置，一劳永逸：

1. 通过EMR可视化控制台配置 #

• 打开AWS EMR控制台，点击“创建集群”
• 走到“软件配置”步骤，找到Spark对应的配置模块
• 点击“添加配置”，选择分类为spark-defaults，然后填入：
  • 键：spark.emr.maximizeResourceAllocation
  • 值：true
• 完成后续集群创建流程，集群启动后所有Spark任务都会自动适配集群资源

2. 通过AWS CLI/API创建集群 #

如果你习惯用命令行或脚本创建集群，可以准备一个配置JSON文件（比如spark-config.json）：

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.emr.maximizeResourceAllocation": "true"
    }
  }
]

然后执行CLI命令创建集群：

aws emr create-cluster \
  --name "Auto-Resource Spark Cluster" \
  --release-label emr-6.10.0 \
  --applications Name=Spark \
  --configurations file://spark-config.json \
  --instance-type m5.2xlarge \
  --instance-count 4 \
  --service-role EMR_DefaultRole \
  --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole

二、给已运行的集群修改配置 #

如果你的集群已经在跑任务，也可以临时修改（注意：集群重启后配置会丢失，除非用持久化配置）：

• SSH登录到EMR主节点
• 编辑Spark默认配置文件：sudo vi /etc/spark/conf/spark-defaults.conf
• 在文件末尾添加一行：spark.emr.maximizeResourceAllocation true
• 重启YARN和Spark相关服务：

  sudo systemctl restart hadoop-yarn-resourcemanager
  sudo systemctl restart hadoop-yarn-nodemanager
  sudo systemctl restart spark-history-server
  

提示：这个修改只对之后提交的任务生效，已经在运行的任务不受影响。

为什么spark-submit的--conf没效果？ #

常见原因有两个：

1. 你在spark-submit里同时指定了其他资源参数（比如spark.executor.memory、spark.executor.cores），这些手动设置的参数会覆盖maximizeResourceAllocation的自动计算结果
2. 集群层面的默认配置优先级高于任务提交时的临时配置，导致你的--conf被忽略

你可以提交任务后，打开Spark UI的“Environment”页面，搜索spark.emr.maximizeResourceAllocation和executor相关参数，确认配置是否生效。

内容的提问来源于stack exchange，提问作者Rajashree Gr