确认spark.sql.shuffle.partitions等参数在Spark Session启动后是否不可修改

核心结论 #

• spark.default.parallelism：Spark Session启动后无法修改，该参数是集群级别的全局并行度基准，在Session初始化阶段就基于集群资源配置确定，运行时修改不会对后续任务产生任何效果。
• spark.sql.shuffle.partitions：可在运行时动态修改，但仅对修改之后提交的SQL shuffle操作生效，已进入执行队列的任务不受影响。

详细说明 #

1. spark.default.parallelism的不可变性
   这个参数决定了RDD类操作（如reduceByKey、join等非SQL shuffle操作）的默认并行度，它的初始值由集群executor核心数等资源配置决定，一旦Session初始化完成，Spark任务调度器的全局并行度规划就已固定，运行时通过spark.conf.set()修改该参数不会生效。

2. spark.sql.shuffle.partitions的动态修改性
   该参数专门控制SQL查询中shuffle阶段的分区数，可在Session运行过程中通过代码实时调整：

spark.conf.set("spark.sql.shuffle.partitions", "目标分区数")

修改后，后续提交的SQL查询会使用新的分区数执行shuffle，但已在运行或等待的SQL任务不会受到影响。

集群自动扩容场景的优化建议 #

针对集群扩容后vCPU与分区数不匹配导致的性能损耗问题，可采取以下方案：

• Session初始化时，将spark.sql.shuffle.partitions设为初始vCPU数的1.5-2倍，预留一定弹性空间
• 监听集群扩容事件，当vCPU数量变化时，动态修改spark.sql.shuffle.partitions的值，让后续SQL任务适配新的资源规模
• 对于RDD操作，由于spark.default.parallelism无法动态修改，建议在关键RDD操作中显式指定并行度参数（如rdd.reduceByKey(func, numPartitions=目标并行度)），而非依赖全局默认值

内容的提问来源于stack exchange，提问作者sojim2