Spark JDBC调用spark.read.jdbc查询MAX(id)报语法错误如何解决？

问题原因 #

• Spark JDBC的table参数传入子查询时，该子查询会作为派生表被拼接进最终执行的SQL中，SQL Server语法强制要求派生表必须设置别名，否则会触发语法错误。
• 首次执行报错的根因：你传入的子查询仅用括号包裹、未设置别名，Spark内部拼接SQL时会自动追加过滤、分页等逻辑的WHERE关键字，最终生成的非法SQL结构为SELECT 字段 FROM (SELECT MAX(id) FROM 表名) WHERE 其他条件，SQL Server无法解析无别名的派生表，因此抛出WHERE关键字附近语法错误。
• 第二次修改后报错的根因：你删除了子查询的右括号，直接导致SQL括号不匹配，语法结构完全非法，因此触发0附近语法错误的新异常。

解决方案 #

给子查询添加合法别名即可，参考代码如下：

# 子查询加别名t，同时给计算出的最大值指定字段名，方便后续取值
_select_sql = f"(SELECT MAX(id) AS max_id FROM {tablename}) AS t"
highest_id = spark.read.jdbc(url, table=_select_sql, properties=properties)

# 若需要直接提取整型的最大id值，可追加如下代码
max_id = highest_id.collect()[0]["max_id"]

内容的提问来源于stack exchange，提问作者patryk_ostrowski