如何基于时间戳创建DynamoDB GSI？过期记录处理方案问询

业务场景概述 #

• 使用DynamoDB存储最长保留24小时的记录，数据量级达数千万至数亿条
• 记录删除规则：多数记录添加后数分钟被删除，部分数十分钟/数小时后删除，剩余记录24小时后过期
• 核心要求：过期记录删除前必须读取内容处理业务逻辑，表主键为GUID
• 已排除TTL方案：因TTL过期记录可能延迟数天删除，无法满足业务时效要求

手动方案说明 #

基于插入时间戳创建复合键GSI：

• GSI分区键：将插入时间戳取整到秒级（例如10:15:20.123取整为10:15:20）
• GSI排序键：原始插入时间戳（包含日期+完整时间信息）
• 调度逻辑：每10秒运行任务，通过取整后的时间戳生成分区键，获取该分区下所有记录并按排序键排序，检测是否超过24小时

方案可行性分析 #

这个方案完全可行，但需要注意以下关键细节：

1. 分区键时间粒度调整 #

当前选择的秒级粒度可能导致分区数量过多，若每秒插入量较低，每个分区内的记录数会偏少，反而影响查询效率。建议根据实际插入QPS调整粒度：

• 若每秒插入量达数千级：保持秒级粒度无问题
• 若插入量较低：可调整为1分钟或5分钟的取整粒度，减少分区数量，让每个分区积累足够记录，提升批量查询效率

2. 任务调度的时间精准性 #

每10秒运行任务时，需明确处理的是24小时前对应时间粒度的分区。比如采用分钟粒度时，任务应处理当前时间减24小时后的那个分钟分区，避免遗漏或重复处理。

3. 无效记录过滤 #

部分记录可能在过期前已被手动删除，任务查询到分区内的记录后，需先校验记录是否仍存在于主表（或在GSI中同步删除状态字段），避免重复处理已删除的无效记录。

4. 批量查询性能控制 #

当分区内记录数较多时，需使用DynamoDB的Query API进行分页查询，避免单次请求返回数据量过大导致超时或限流。同时要控制任务并发数，避免触发DynamoDB的读写容量阈值。

5. GSI同步延迟处理 #

DynamoDB GSI存在毫秒级同步延迟（高负载下可能更长），需确保任务处理的时间窗口足够覆盖该延迟，避免漏掉刚插入的记录。

补充优化建议 #

• 可在主表中新增expire_time字段（直接存储记录24小时后的过期时间戳），将GSI排序键设为该字段，任务可直接查询expire_time小于当前时间的记录，逻辑更直观
• 手动删除主表记录时，需同步删除GSI中的对应条目，避免GSI残留无效数据

内容的提问来源于stack exchange，提问作者Cristian