如何在Delta Lake中删除指定记录的所有版本以满足GDPR被遗忘权要求？

首先澄清常见误解：默认的VACUUM命令确实是按保留周期清理全表所有过期的底层数据文件，会删除所有超期的历史版本数据，不符合保留非目标记录历史的需求，但配合Delta Lake的定向重写能力，就能实现仅删除指定记录的所有历史版本，同时保留其余所有数据的历史。

操作步骤（适用于Delta Lake 2.1及以上版本） #

• 第一步：执行目标记录删除操作
  运行DELETE命令标记目标记录在最新版本不可见，示例语法：

  DELETE FROM <你的Delta表名> WHERE <用户标识字段> = '待删除的用户ID';
  

• 第二步：定向重写包含敏感记录的所有历史文件
  使用Delta Lake提供的REORG TABLE ... APPLY (PURGE)语法，扫描所有历史版本的底层文件，只要文件中包含待删除的用户记录，就将文件内其余有效记录重写到新的干净文件中，旧的包含敏感记录的文件会被标记为待删除，不会影响未包含敏感记录的历史文件：

  REORG TABLE <你的Delta表名> WHERE <用户标识字段> = '待删除的用户ID' APPLY (PURGE);
  

• 第三步：执行VACUUM清理标记的旧文件
  此时执行的VACUUM只会清理上一步标记的、包含待删除记录的旧文件，完全不会触碰其余历史文件，不会丢失其他记录的历史数据。如果需要立即清理，可以临时关闭保留周期校验：

  -- 临时关闭保留周期校验，仅特殊操作时使用
  SET spark.databricks.delta.retentionDurationCheck.enabled = false;
  -- 立即清理待删除的旧文件
  VACUUM <你的Delta表名> RETAIN 0 HOURS;
  -- 操作完成后重新开启校验，避免误操作
  SET spark.databricks.delta.retentionDurationCheck.enabled = true;
  

校验与注意事项 #

• 操作完成后可遍历所有历史版本校验删除效果：先通过DESCRIBE HISTORY <你的Delta表名>拿到所有历史版本号，再用SELECT * FROM <你的Delta表名> VERSION AS OF <版本号> WHERE <用户标识字段> = '已删除的用户ID'验证查询结果为空即可。
• 操作前建议先对Delta表做全量快照备份，避免误操作导致数据丢失。
• 如果你使用的是Delta Lake 2.1以下版本，暂无REORG PURGE能力，可以将全表所有需要保留的历史数据导出后重写到新的Delta表，再替换原表实现同等效果，但操作成本更高，更建议升级到支持REORG PURGE的高版本。

内容的提问来源于stack exchange，提问作者dkapitan