如何设置spark.sql.shuffle.partitions为auto？解决配置时报错问题

错误原因 #

spark.conf.set() 方法需要传入两个独立参数：配置项的键（key）和对应值（value），你把键值对合并成单个字符串传入，导致方法缺少必填的value参数，触发TypeError。

正确代码 #

将配置键和值分开传入：

%python
spark.conf.set("spark.sql.shuffle.partitions", "auto")

额外说明 #

• 该配置仅在Spark 3.2及以上版本支持"auto"值，它会根据shuffle阶段的数据量自动计算合适的分区数
• 如果使用低于3.2的Spark版本，"auto"配置不生效，需手动指定具体数值（如200）

内容的提问来源于stack exchange，提问作者Anonymous