TimescaleDB的retention policy数据保留策略不生效问题咨询

核心问题根因说明 #

支持保留策略的数据库（如TimescaleDB、InfluxDB等）的自动过期清理逻辑，默认以带时区的时间戳作为判断基准，你使用的timestamp without time zone类型字段是最常见的失效诱因。

具体排查项 #

• 确认保留策略绑定的时间字段：检查配置保留策略时显式指定的时间戳字段，是否为该timestamp without time zone字段；未显式指定时间字段时，数据库会默认读取系统隐藏写入时间字段，不会基于表内业务时间字段判断过期
• 核对时区偏移偏差：timestamp without time zone类型不携带时区信息，数据库清理时会默认按服务端时区换算时间，若写入数据时使用的是本地时区时间戳，会导致换算后的数据生成时间晚于实际时间，72小时淘汰阈值会对应推迟触发
• 检查保留策略后台执行周期：数据清理任务不会实时执行，比如TimescaleDB默认chunk回收周期为24小时，InfluxDB默认保留策略检查周期为30分钟，若核查时间恰好早于首次清理任务触发时间，会出现过期数据暂未删除的情况
• 确认时间分片配置规则：如果表开启了时间分片（Chunk）存储，保留策略默认按整个分片的时间范围判定是否淘汰，只要分片内存在未过期数据，整个分片都不会被删除；若分片周期设置大于72小时，分片内的过期数据无法被提前单独清理

2021年8月26日更新：已补充样本数据用于问题分析，数据截图如下：

内容的提问来源于stack exchange，提问作者user3658578