如何从Azure Databricks删除Azure SQL数据库的指定或全部行？

我明白你之前靠overwrite模式加truncate属性清空整表的方式，但现在需要更精细的条件删除，不用每次全量覆盖。下面分享几个可行的方法，帮你实现需求：

方法1：直接执行原生JDBC DELETE语句 #

这是最直接的方式，通过JDBC连接直接向Azure SQL发送DELETE命令，完全下推到数据库执行，效率很高。

Python代码示例 #

import java.sql

# 替换为你的实际连接参数
jdbc_url = "<your_azure_sql_connection_string>"
jdbc_username = "<your_username>"
jdbc_password = "<your_password>"
table_name = "<your_table_name>"
delete_condition = "<your_filter_condition>"  # 比如 "status = 'expired' AND created_date < '2024-01-01'"

# 建立JDBC连接并执行删除操作
conn = java.sql.DriverManager.getConnection(jdbc_url, jdbc_username, jdbc_password)
stmt = conn.createStatement()

delete_sql = f"DELETE FROM {table_name} WHERE {delete_condition}"
affected_rows = stmt.executeUpdate(delete_sql)
print(f"成功删除 {affected_rows} 行数据")

# 关闭连接资源
stmt.close()
conn.close()

这种方式的优势是完全控制删除逻辑，支持任意复杂的WHERE条件，而且所有操作都在Azure SQL端执行，不需要把数据拉到Databricks集群，性能最优。

方法2：使用MERGE INTO实现增量更新（删除+插入） #

如果你的场景是删除旧数据并插入新数据，可以用MERGE INTO语句，把删除和插入逻辑合并成一个原子操作，同样下推到Azure SQL执行。

代码示例 #

假设你有一个包含新数据的DataFrame df_new，需要替换Azure SQL中符合条件的旧数据：

# 将新数据注册为临时视图
df_new.createOrReplaceTempView("temp_new_records")

# 执行MERGE INTO语句（注意替换占位符）
spark.sql(f"""
MERGE INTO jdbc`{jdbc_url}`.{table_name} AS target
USING temp_new_records AS source
ON target.id = source.id  # 匹配主键或唯一标识字段
WHEN MATCHED AND {delete_condition} THEN DELETE  # 匹配到符合条件的旧数据则删除
WHEN NOT MATCHED THEN INSERT *  # 没有匹配到的新数据则插入
""")

这种方式适合需要同步数据的场景，保证数据操作的原子性，避免中间状态不一致。

为什么之前的下推查询没生效？ #

Spark DataFrame API的delete()方法（比如df.where(condition).delete()）默认是在Spark集群端执行：它会先把符合条件的数据从Azure SQL拉到集群，再发送删除命令。这种方式不仅效率低，而且不会下推到数据库执行。所以要实现真正的下推删除，必须使用原生SQL语句。

注意事项 #

• 确保你的JDBC账号拥有Azure SQL数据库的DELETE权限（涉及结构变更时还需ALTER权限）
• 针对大表执行删除时，尽量添加高效的过滤条件（比如利用索引字段），避免全表扫描
• 如果删除数据量很大，建议分批执行（比如按时间范围分段删除），防止事务超时
• 操作前建议先在测试环境验证删除逻辑，或者提前备份数据

内容的提问来源于stack exchange，提问作者abhy3