Azure Databricks中PySpark操作SQL Server表Upsert遇覆盖清空问题

你遇到的问题根源在于使用了mode="overwrite"写入SQL Server表。Spark JDBC的overwrite模式默认行为是先删除原表，再重建表结构并写入新数据——哪怕你内存中的updated_person_df数据正确，这个过程会先清空原表所有数据，若重建或写入环节出现隐性问题（比如权限、表结构匹配问题），就会表现为表被清空。

以下是几种可行的解决办法，按推荐优先级排序：

1. 使用Spark Merge实现原生Upsert（推荐） #

Spark 2.4及以上版本支持MERGE INTO语法，直接在数据库层面执行匹配更新、不匹配插入，无需全表读取和覆盖，效率更高且原子性有保障。

步骤： #

• 先给person表添加唯一键（确保Upsert逻辑可靠）：

  ALTER TABLE person ADD PRIMARY KEY (Name);
  

• 用Spark SQL执行Merge操作：

  # 定义要执行Upsert的数据
  upsert_data = [("Jack", "Brown")]
  upsert_df = spark.createDataFrame(upsert_data, ["Name", "Surname"])
  upsert_df.createOrReplaceTempView("upsert_temp")
  
  # 执行Merge
  spark.sql("""
      MERGE INTO person p
      USING upsert_temp u
      ON p.Name = u.Name
      WHEN MATCHED THEN UPDATE SET p.Surname = u.Surname
      WHEN NOT MATCHED THEN INSERT (Name, Surname) VALUES (u.Name, u.Surname)
  """)
  

  注：如果Spark未直接关联SQL Server表，需先创建外部表映射：

  CREATE TABLE person USING JDBC
  OPTIONS (
      url '{database_url}',
      dbtable 'person',
      user '{properties["user"]}',
      password '{properties["password"]}'
  );
  

2. 先删除匹配记录再追加数据 #

若无法使用Merge，可通过JDBC直接执行删除语句，再用append模式插入新数据，避免全表覆盖：

# 执行JDBC删除操作，删除Name为Jack的记录
delete_conn = spark._jvm.java.sql.DriverManager.getConnection(
    database_url,
    properties["user"],
    properties["password"]
)
delete_conn.createStatement().execute("DELETE FROM person WHERE Name = 'Jack'")
delete_conn.close()

# 插入新数据
new_person = [("Jack", "Brown")]
new_person_df = spark.createDataFrame(new_person, ["Name", "Surname"])
new_person_df.write.jdbc(
    url=database_url,
    table="person",
    properties=properties,
    mode="append"
)

3. 修改Overwrite模式为Truncate（不推荐） #

若坚持用全表覆盖的思路，可添加truncate=True参数，让Spark清空表数据而非删除表结构：

updated_person_df.write.jdbc(
    url=database_url,
    table="person",
    properties=properties,
    mode="overwrite",
    options={"truncate": "true"}
)

这种方式仍会清空全表，仅保留表结构，存在数据丢失风险（如写入失败时表为空），仅适合小数据量且对原子性要求低的场景。

内容的提问来源于stack exchange，提问作者fkucuk