PySpark写入Azure SQL数据库遇主键重复错误，截断表无效如何解决？

问题核心 #

你遇到的错误根源是写入数据中存在与目标表主键重复的值，即使截断表后仍报错，可能由以下原因导致：

1. 待写入的DataFrame本身包含重复主键 #

你的final_table数据集里，对应PK_tblSFDC_Account的主键字段存在重复值。哪怕目标表是空的，append模式写入时，DataFrame内部的重复主键也会触发SQL的主键约束校验报错。

可以用以下Spark代码排查重复：

# 替换"主键字段"为实际的主键列名
final_table.groupBy("主键字段").count().filter("count > 1").show()

2. 截断表操作未生效 #

• 可能截断语句执行失败：比如权限不足、语句拼写错误，或者使用事务时未提交截断操作。
• 可以手动查询目标表行数，确认截断后表为空；也可以在Spark写入前通过代码直接执行截断，确保写入前表已清空。

3. 存在其他并行写入进程 #

如果有其他脚本、任务或服务同时往目标表写入数据，你截断表后，其他进程先写入了数据，导致后续Spark写入时出现主键重复。

解决办法 #

1. 清理DataFrame内的重复数据
   根据业务逻辑去除重复项，比如直接删除重复记录：

# 替换"主键字段"为实际列名
final_table_cleaned = final_table.dropDuplicates(["主键字段"])
final_table_cleaned.write.format("jdbc") \
    .option("url", f"jdbc:sqlserver://{SERVER};databaseName={DATABASE}") \
    .option("dbtable", f'....{target_table}') \
    .option("user", USERNAME) \
    .option("password", PASSWORD) \
    .mode("append") \
    .save()

2. 确保截断表操作生效
   在Spark代码中直接执行截断操作，避免手动操作的误差：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
conn_props = {
    "user": USERNAME,
    "password": PASSWORD,
    "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
}
# 通过JDBC执行截断表语句
spark.read.jdbc(
    url=f"jdbc:sqlserver://{SERVER};databaseName={DATABASE}",
    table=f"TRUNCATE TABLE {target_table}",
    properties=conn_props
)

3. 排查并行写入进程
   检查是否有其他任务在操作目标表，暂停这些进程后再执行Spark写入，确保只有当前任务在写入数据。

4. 改用overwrite模式（业务允许时）
   如果业务允许覆盖目标表数据，可将写入模式改为overwrite，Spark会自动清空目标表再写入，省去手动截断步骤：

final_table.write.format("jdbc") \
    .option("url", f"jdbc:sqlserver://{SERVER};databaseName={DATABASE}") \
    .option("dbtable", f'....{target_table}') \
    .option("user", USERNAME) \
    .option("password", PASSWORD) \
    .mode("overwrite") \
    .save()

内容的提问来源于stack exchange，提问作者Herwini