Spark SQL查询传递动态变量报错，求排查解决

你的代码存在两个关键问题，导致执行报错：

错误点1：字符串格式化位置错误 #

你把.format(sd,ed)放在了spark.sql()方法调用之后，这会让spark.sql()先执行未替换变量的原始SQL（里面的{0}和{1}会被SQL解析器判定为语法错误），之后再调用format方法完全起不到替换变量的作用。

错误点2：日期变量未加单引号 #

SQL中字符串、日期类型的字面量必须用单引号包裹，你直接传递的日期字符串会被SQL解析器当成数学表达式（比如2023-01-05会被解析为2023减1减5），引发数据类型不匹配或语法错误。

修正方案1：调整格式化位置并添加单引号 #

sd='2023-01-05'
ed='2023-01-10'
spark.sql("""
SELECT id, date, SUM(cost)
FROM table
WHERE snapshot_date BETWEEN '{0}' AND '{1}'
AND id IN(1,2,3,4,5,6,7)
GROUP BY id,date
""".format(sd, ed)).show()

注意：这里把.format(sd, ed)移到SQL字符串后面，先完成变量替换，再把完整SQL传给spark.sql()；同时给{0}和{1}加上单引号，确保日期被识别为合法的字符串/日期类型。

修正方案2：使用Spark参数绑定（更安全，避免SQL注入） #

推荐用Spark内置的参数绑定方式，不需要手动处理单引号，安全性更高：

sd='2023-01-05'
ed='2023-01-10'
spark.sql("""
SELECT id, date, SUM(cost)
FROM table
WHERE snapshot_date BETWEEN :sd AND :ed
AND id IN(1,2,3,4,5,6,7)
GROUP BY id,date
""", sd=sd, ed=ed).show()

或者用占位符形式：

spark.sql("""
SELECT id, date, SUM(cost)
FROM table
WHERE snapshot_date BETWEEN ? AND ?
AND id IN(1,2,3,4,5,6,7)
GROUP BY id,date
""", (sd, ed)).show()

内容的提问来源于stack exchange，提问作者Tim