为何Spark的spark.sql.shuffle.partitions默认值设为200？

Spark把spark.sql.shuffle.partitions默认值设为200，核心原因是优先保证参数的通用性和场景兼容性，而非绑定Executor核心数，具体来说有这几点：

• 通用性适配：200是经过大量测试选出的“中间阈值”——不管是小型测试集群还是中等规模生产集群，这个数值既不会因为分区太少导致单分区数据量过大引发倾斜，也不会因为分区过多带来额外的调度和序列化开销，能覆盖绝大多数常规作业场景。
• 核心数与分区数无强绑定逻辑：Executor总核心数是计算资源维度，而shuffle分区数是数据分片维度。同样核心数的集群，处理10GB小数据集和1TB大数据集需要的分区数天差地别，如果默认值绑定核心数，会在数据量波动大的场景下直接失效，反而增加用户调参负担。
• 避免集群迁移的兼容性问题：如果默认值随集群核心数动态变化，用户在不同配置的集群间迁移作业时，会出现分区数突变的情况，导致作业性能波动甚至失败，违背了默认参数“开箱即用”的设计初衷。
• 历史兼容性延续：Spark早期版本就将200作为该参数的默认值，后续版本保持这一设置是为了兼容大量老作业，避免用户升级后因参数默认值变更出现意外问题。

实际生产中，确实需要根据作业的数据量、集群规模调整这个参数：比如处理小数据集时可下调至50-100，处理大规模数据时可设置为Executor总核心数的2-3倍，平衡计算并行度和资源开销。

内容的提问来源于stack exchange，提问作者roee zi