Apache Spark Delta Lake能否为不同表设置不同备份窗口？

完全可以为Delta Lake中的不同表配置独立的备份/历史数据留存策略，满足部分数据永久留存、部分数据短周期保留或不备份的需求，具体实现方式如下：

1. 利用表属性单独配置保留规则 #

每个Delta表都可以通过设置专属的表属性，控制日志和已删除文件的留存时长，这两个核心属性分别是：

• delta.logRetentionDuration：控制事务日志的保留时长，日志用于回滚、恢复表历史版本
• delta.deletedFileRetentionDuration：控制被删除/覆盖的数据文件的保留时长，这些文件相当于备份数据

配置示例： #

• 永久留存的表：设置一个足够长的周期（比如10000天，近似永久），确保历史数据和日志不会被清理：

  ALTER TABLE permanent_data_table SET TBLPROPERTIES (
    delta.logRetentionDuration = 'interval 10000 days',
    delta.deletedFileRetentionDuration = 'interval 10000 days'
  )
  

• 仅保留一周的表：直接设置为7天：

  ALTER TABLE weekly_retention_table SET TBLPROPERTIES (
    delta.logRetentionDuration = 'interval 7 days',
    delta.deletedFileRetentionDuration = 'interval 7 days'
  )
  

• 无需备份的表：设置极短的留存周期（比如1天，完全不保留可能影响事务完整性，不建议）：

  ALTER TABLE no_backup_table SET TBLPROPERTIES (
    delta.logRetentionDuration = 'interval 1 days',
    delta.deletedFileRetentionDuration = 'interval 1 days'
  )
  

2. 配合VACUUM命令清理过期数据 #

配置好表属性后，需要定期执行VACUUM命令来清理超过留存窗口的历史文件和日志。VACUUM会自动遵循表的属性配置，无需每次指定时长：

• 针对单个表执行清理：

  -- 清理weekly_retention_table中超过7天的备份数据
  VACUUM weekly_retention_table;
  

• 也可以手动指定时长（会覆盖表属性配置，不建议频繁这么做）：

  VACUUM weekly_retention_table RETAIN 7 DAYS;
  

3. 关键注意事项 #

• delta.logRetentionDuration的设置不能短于delta.deletedFileRetentionDuration，否则日志提前被清理会导致无法恢复对应版本的已删除文件
• 永久留存的表建议避免自动清理，或者保持超长的保留周期，防止历史数据被误删
• 执行VACUUM前，确保没有正在运行的旧事务，否则可能引发数据不一致问题

内容的提问来源于stack exchange，提问作者Test