Databricks通过JDBC连接插入SQL表遇解析异常求助

错误原因分析 #

你的代码存在几个关键问题：

• 混合语法冲突：%sql是Databricks专属的SQL执行魔法命令，不能和PySpark的DataFrame API代码写在同一个代码块里，这会直接导致解析异常。
• spark.write.jdbc用法错误：该API的table参数需要传入目标SQL表的名称，而非INSERT语句；它的作用是将DataFrame数据写入表，不是直接执行SQL语句。
• 无意义的display调用：spark.write.jdbc是无返回值的操作，不会生成DataFrame对象，调用display(df)会触发找不到对象的错误。
• SQL语句冗余：标准SQL中insert into table里的table关键字可省略，写法不符合执行逻辑。

正确实现方式 #

方式一：直接用%sql执行插入 #

已配置好JDBC连接的情况下，直接用纯SQL块执行：

%sql
INSERT INTO company(name, location) VALUES ('abc', 'xyz')

注：若为跨库表，需加上数据库名前缀，例如INSERT INTO your_db.company(name, location)...

方式二：用PySpark DataFrame API写入 #

先构造数据生成DataFrame，再写入目标表：

# 构造待插入数据
data = [('abc', 'xyz')]
df = spark.createDataFrame(data, ['name', 'location'])

# 写入JDBC表
df.write.jdbc(
    url=url,
    table="company",  # 此处传入表名而非SQL语句
    properties=properties,
    mode="append"  # 按需选择模式：append追加、overwrite覆盖、ignore忽略等
)

方式三：用PySpark执行自定义SQL语句 #

如果需要执行带复杂逻辑的INSERT语句，可使用spark.sql()方法：

spark.sql("INSERT INTO company(name, location) VALUES ('abc', 'xyz')")

注：使用该方法前需确保JDBC数据源已注册为Databricks外部表，或配置Spark能直接访问目标数据库。

内容的提问来源于stack exchange，提问作者codetech