Spark 3.1.1中spark.sql.autoBroadcastJoinThreshold参数拼写错误问题问询

测试环境 #

• Spark版本：3.1.1
• 运行环境：Scala 2.12.10（OpenJDK 64位服务端虚拟机，Java 11.0.11）

问题发现 #

执行参数查询命令，返回的默认参数值存在异常：

scala> spark.conf.get("spark.sql.autoBroadcastJoinThreshold")

res0: String = 10485760b

该参数的正确默认值应为104857600（对应默认10MB的自动广播连接阈值），实际返回的默认值不符合规则。

影响说明 #

若使用默认的10485760b配置部署，Spark无法识别参与连接的小DataFrame，会导致自动广播连接检测阈值失效。

修复方案 #

启动任务时手动修改参数值即可：

scala> spark.conf.set("spark.sql.autoBroadcastJoinThreshold", 104857600)

内容的提问来源于stack exchange，提问作者user2691592