Databricks并行任务修改shuffle.partitions的影响及最优方案咨询

问题1：修改集群级shuffle.partitions配置后，对已启动的、初始配置为200的Spark任务/作业有何影响？ #

集群级shuffle.partitions的修改不会对已启动的任务产生任何影响。

每个Spark作业（对应Databricks工作流中的单个任务）的核心配置是在启动阶段就确定并固化的，运行过程中集群级配置的变更不会回溯修改正在运行的作业参数。已启动的任务会始终使用它启动时加载的shuffle.partitions=200配置完成整个执行流程。

问题2：已启动的任务是否会自动切换为800？若会，是否会干扰未完成的处理流程？ #

已启动的任务不会自动切换为800，也不会对未完成的流程造成干扰。

Spark作业的配置初始化是一次性的，作业启动时就会读取当时的集群默认配置或任务自定义配置，运行期间不会因为集群配置的后续变更而动态调整参数。因此正在运行的任务会保持初始的shuffle.partitions=200执行，不受后续集群配置修改的影响。

问题3：该场景下的最优处理方案是什么？是否需要将修改shuffle分区的任务在工作流中隔离？ #

最优方案是通过任务代码显式指定shuffle.partitions，无需隔离任务，具体说明如下：

• 显式设置任务级配置：对于需要优化为800分区的任务，在代码开头添加会话级配置设置：

  spark.conf.set("spark.sql.shuffle.partitions", "800")
  

  保持默认200分区的任务可无需额外设置（或也显式设置spark.conf.set("spark.sql.shuffle.partitions", "200")以彻底避免集群配置变更的影响）。这种方式下，每个任务的配置完全独立，仅对当前任务生效，任务结束后不会影响集群默认配置或其他任务。

• 无需隔离任务：Databricks工作流中的每个任务都是独立的Spark作业，任务内部的会话级配置修改不会跨任务生效，无论任务启动顺序如何，都不会互相干扰。

• 避免频繁修改集群级配置：集群级配置应作为全局默认值使用，不要依赖动态修改集群配置来适配不同任务，否则会增加配置管理的复杂度，容易引发不可预期的问题。

内容的提问来源于stack exchange，提问作者QbS