PySpark无主键时删除目标表中源表无匹配行的问题

方法1：临时视图+DELETE语句 #

Databricks不支持DELETE中直接嵌套子查询，可先通过LEFT ANTI JOIN筛选待删除行，存入临时视图后再执行匹配删除：

1. 筛选待删除行

# 替换on中的列为实际用于匹配的所有列（因无主键，需用能唯一标识行的列组合）
to_delete = global_transactions.join(
    latest_transactions,
    on=["transaction_id", "amount", "timestamp"],  # 示例列，替换为你的实际列
    how="left_anti"
)

2. 注册临时视图

to_delete.createOrReplaceTempView("temp_delete_rows")

3. 执行DELETE（多列匹配）
   用IN语法：

DELETE FROM global_transactions
WHERE (transaction_id, amount, timestamp) IN (
    SELECT transaction_id, amount, timestamp FROM temp_delete_rows
)

或用EXISTS语法（适配复杂匹配逻辑）：

DELETE FROM global_transactions gt
WHERE EXISTS (
    SELECT 1 FROM temp_delete_rows td
    WHERE gt.transaction_id = td.transaction_id
      AND gt.amount = td.amount
      AND gt.timestamp = td.timestamp
)

方法2：覆盖写入（大数据量场景更高效） #

如果表数据量较大，直接DELETE性能不佳，可通过保留需留存的行，覆盖原表：

1. 筛选需要保留的行（global_transactions中在latest_transactions有匹配的行）

keep_rows = global_transactions.join(
    latest_transactions,
    on=["transaction_id", "amount", "timestamp"],
    how="right_semi"
)

2. 覆盖原表（以Delta表为例）

# Delta表可添加option("mergeSchema", "true")处理 schema 变化
keep_rows.write \
    .mode("overwrite") \
    .saveAsTable("global_transactions")

关键注意事项 #

• 由于表无主键，必须使用所有能唯一区分行的列作为匹配条件，否则会误删不相关行。
• 若表存在重复行，需提前确认业务逻辑：是删除所有无匹配的重复行，还是保留部分。
• 覆盖写入前建议备份原表，避免数据丢失；Delta表可利用版本回溯功能恢复。

内容的提问来源于stack exchange，提问作者Daniel