关于DynamoDB Export-to-S3文件时间戳与增量加载CDC的疑问

核心问题解答 #

1. json.gz 文件的时间戳机制 #

DynamoDB 导出到 S3 的每个 json.gz 包里，每条数据条目都自带一个 ApproximateCreationDateTime 属性——这个是 DynamoDB 记录的数据实际创建/更新的近似时间，精度到毫秒级。而 S3 文件本身的时间戳（比如最后修改时间），只是文件被上传到 S3 的时间，和数据变更时间完全无关。

2. 能不能用 S3 文件时间戳确定变更顺序？ #

绝对不行！导出任务是分批将数据写入 S3 文件的，上传顺序完全由导出进程的调度决定，和数据实际变更的时间顺序没有对应关系。比如一条上午10点修改的数据，可能因为导出批次靠后，被写入一个下午2点才上传到 S3 的文件里；而下午1点修改的数据，反而在上午11点的文件里。用 S3 文件时间戳排序会直接搞乱变更顺序，绝对不能依赖这个。

正确的变更跟踪方法 #

• 优先用单条数据的 ApproximateCreationDateTime：这是最可靠的单条数据变更时间依据，虽然名字带“Approximate”，但实际精度足够支撑 CDC 场景的顺序判断，用来排序每条数据的变更顺序完全没问题。
• 结合导出元数据界定范围：每次导出的元数据文件（export-manifest.json）里包含三个关键时间：
  • ExportTime：导出任务启动的时间
  • StartTime/EndTime：本次导出覆盖的数据变更时间范围
    做增量加载时，把上一次导出的 EndTime 作为下一次导出的起始时间参数，就能确保每次只导出上一次之后的变更数据，避免重复或遗漏。
• 如果需要极致精度：如果你的场景对时间精度要求极高（比如毫秒级的严格顺序），可以考虑同时启用 DynamoDB Streams，和 Export-to-S3 配合使用——Streams 能提供更实时、精确的变更顺序，但 Export-to-S3 更适合批量增量同步的场景。

内容的提问来源于stack exchange，提问作者kiwiLime