Databricks中含CTE的SQL用%sql正常但spark.sql执行报错求助

核心问题 #

你遇到的Driver崩溃问题，根源是SQL字符串拼接的语法错误。原代码里的" + tableA + "是HTML转义后的双引号写法，直接在Python中拼接会生成不符合Spark SQL语法的语句，导致解析失败甚至Driver崩溃。

正确的解决方案 #

使用Python的字符串格式化（如f-string）来动态插入表名，同时遵循Spark SQL的标识符引用规则：

1. 定义表名变量

tableA = "你的表A名称"
tableB = "你的表B名称"

2. 用f-string拼接正确的SQL语句

sql_query = f"""
with
    a_CTE as (
        SELECT DISTINCT
            colA, 'abc' ColB
        FROM `{tableA}`
    ),
    b_CTE (colC) as (
        SELECT DISTINCT
            ColC
        FROM `{tableB}`
    )
SELECT *
FROM a_CTE, b_CTE
"""

3. 执行查询

result = spark.sql(sql_query)
result.show()

关键说明 #

• 如果表名包含特殊字符（如空格、连字符），必须用**反引号（`）**包裹，这是Spark SQL识别标识符的标准方式；如果表名是常规格式，也可以省略反引号。
• 避免在Python字符串中使用HTML转义字符（如"），直接用Python的引号规则处理即可。
• 若表名来自外部输入，需做合法性校验，防止SQL注入风险。

内容的提问来源于stack exchange，提问作者Sunil Sonawane