Azure Databricks读取SQL Server时CTE(WITH子句)语法报错求助

核心问题及修复步骤： #

• CTE语法不符合SQL Server规范
  SQL Server要求WITH关键字开头的CTE语句前必须加分号，避免与隐式语句冲突。修改后的查询语句需在WITH前添加分号：

  (;WITH cte_emp AS
  (SELECT ename,eid, eaddress from employee)
  SELECT * from cte_emp)
  

• JDBC配置参数错误
  代码中option("dbtable", "query")是传递字符串"query"而非定义好的查询变量，需改为引用变量query。

• SQL Server端口配置错误
  SQL Server默认端口为1433，你写的3306是MySQL默认端口，需修正JDBC URL。

完整修正代码： #

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

# 初始化SparkSession（原代码遗漏此关键步骤）
spark = SparkSession.builder.appName("SQLServerCTE").getOrCreate()

query = f"""(
;WITH cte_emp AS
(SELECT ename,eid, eaddress from 
employee)
SELECT * from 
cte_emp)"""

# 正确的JDBC读取逻辑
jdbc_df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://localhost:1433;databaseName=my_db") \
    .option("dbtable", query) \
    .option("user", "my_username") \
    .option("password", "my_password") \
    .load()

# 验证数据读取结果
jdbc_df.show()

额外注意事项： #

• SQL Server的JDBC URL标准格式为jdbc:sqlserver://<服务器地址>:<端口>;databaseName=<数据库名>，不要用斜杠分隔数据库名。
• 确保Spark环境已添加SQL Server JDBC驱动（如mssql-jdbc.jar），否则会触发连接失败错误。

内容的提问来源于stack exchange，提问作者bigdata techie