Spark中maximizeResourceAllocation是否覆盖配置？实际executor cores取值确认

当你同时开启maximizeResourceAllocation=true并显式指定spark.executor.cores=32时，最终生效的是手动设置的32，原因如下：

• Spark的配置优先级规则中，用户显式指定的参数优先级高于自动计算生成的配置。maximizeResourceAllocation的作用是根据节点硬件自动推导资源配置，但只要你手动指定了某一项参数（比如这里的executor cores），Spark就会跳过对应项的自动计算，直接使用你设置的值。
• Spark UI的Environment标签页展示的是任务实际应用的最终配置值，既然该页面显示spark.executor.cores=32，就直接证明这个值已经生效，自动计算的48并未被采用。

内容的提问来源于stack exchange，提问作者sojim2