如何在Hudi表的所有历史提交中删除指定键？

Hudi默认的delete操作仅会在最新数据版本中标记记录删除，历史提交版本的记录会被保留以支持时间旅行查询。要彻底清除所有历史版本中指定键的数据，需结合以下方法：

方法1：使用Hudi的Purge操作彻底删除全量历史记录 #

Purge操作会直接删除表中指定记录的所有版本（包括历史提交），适合GDPR这类需要彻底抹除数据的场景。

操作步骤： #

1. 构建包含待删除键的数据集（仅需主键字段即可，无需全量字段）

# 仅需主键emp_id，无需其他字段
purge_df = spark.sql("SELECT emp_id FROM table_x where emp_id='1' ")

2. 配置Hudi的purge操作参数

hudi_options['hoodie.datasource.write.operation'] = 'purge'
# 可选：指定要覆盖的历史提交数量，默认会清理所有历史版本
# hudi_options['hoodie.datasource.write.purge.max.commits'] = '1000'

3. 执行purge写入

purge_df.write.format("hudi").options(**hudi_options).mode("append").save(final_base_path)

执行完成后，再通过时间旅行查询任意历史提交，都将无法找到该emp_id='1'的记录。

方法2：调整表的清理策略（长期合规配置） #

如果需要长期满足GDPR要求，可预先配置Hudi表的自动清理策略，避免历史数据无限保留：

• 设置hoodie.cleaner.policy为KEEP_LATEST_COMMITS或KEEP_LATEST_FILE_VERSIONS，限制保留的历史提交/文件版本数量
• 配置hoodie.cleaner.commits.retained设置保留的最新提交数，例如设为30（需结合实际提交频率调整）
• 开启自动清理：hoodie.cleaner.automatic = true

注意：自动清理是定期删除旧提交文件，若需针对特定记录立即彻底删除，仍需配合方法1的purge操作。

注意事项 #

• Purge操作不可逆，执行前务必确认数据无需恢复
• 确保执行操作的用户拥有存储介质的删除权限（如S3的删除权限）
• 大表场景建议分批执行purge，避免资源占用过高

内容的提问来源于stack exchange，提问作者jensb