含WITH子句的Spark JDBC查询报错：syntax error at or near 'WITH'

你遇到的这个报错，核心原因是Spark JDBC的table参数和Pandas的read_sql接收SQL的逻辑完全不同：

• Pandas的read_sql会直接把你传入的完整SQL语句原封不动地发送给数据库执行；
• 但Spark的spark.read.jdbc的table参数，本质是要指定一个「查询源」——它会自动在你的传入内容外面包裹一层SELECT * FROM ...。

举个例子，你传入的是WITH my_raw_table AS (...) SELECT ...，Spark JDBC会把它拼成：

SELECT * FROM WITH my_raw_table AS (...) SELECT ...

这显然会触发PostgreSQL的语法错误，因为FROM后面不能直接跟WITH子句。

解决这个问题很简单，只需要把你的完整WITH查询包裹在括号里，并给它一个临时别名，让Spark JDBC能正确生成合法的SQL语句：

修改你的Spark执行代码如下：

conn = my_modul.get_my_connection()
# 把原始SQL包裹成子查询
wrapped_query = f"({mysql_test}) AS spark_subquery"
my_result = spark.read.jdbc(url=conn['url'], table=wrapped_query, properties=conn['properties'])
my_result.show()

这样Spark JDBC生成的最终SQL会是合法的嵌套查询结构，完全符合PostgreSQL语法要求。

如果你使用的是Spark 3.2及以上版本，也可以直接通过query参数传入完整SQL，不需要手动包裹子查询，逻辑更直观：

conn = my_modul.get_my_connection()
my_result = spark.read.format("jdbc") \
    .option("url", conn['url']) \
    .option("query", mysql_test) \
    .option("user", conn['properties']['user']) \
    .option("password", conn['properties']['password']) \
    .load()
my_result.show()

内容的提问来源于stack exchange，提问作者Alex Ortner