spark.sql.shuffle.partitions默认值200：节点级还是集群级？

• spark.sql.shuffle.partitions 的默认值200是整个集群的全局配置，并非针对单个Worker节点。
• 不管集群里有多少个Worker节点，默认的Shuffle输出总分区数都是200，不会按Worker数量翻倍计算。比如你提到的1个Driver加5个Worker的集群，默认值还是200，不是200×5=1000。
• 这个参数控制的是Shuffle阶段最终生成的总分区数量，Spark会把这些分区分散到集群的各个Worker节点上并行处理，而不是每个Worker各自拥有200个分区。

内容的提问来源于stack exchange，提问作者Matthew