Google Dataflow作业恢复后能否处理Spanner变更流遗漏记录？

• 中断重启后会自动处理中断期间的变更记录
  Spanner变更流与Dataflow的集成依赖Dataflow的检查点机制实现状态恢复，类似Kafka的偏移量逻辑，但Spanner这边通过**恢复令牌（resumption token）**标记处理进度。每次Dataflow完成一批变更记录处理后，会将当前的恢复令牌存入检查点；作业重启时，Dataflow会读取该令牌，请求Spanner变更流从对应位置继续推送后续变更，不会遗漏中断期间的任何数据。

• 常规ETL场景无需针对窗口或变更流时间戳做特殊配置

  1. 变更流默认提供的时间戳是Spanner中数据的提交时间，Dataflow会自动将其作为事件时间，无需手动指定
  2. 若作业只是简单转换后写入目标Spanner表，窗口不是必需的——变更流本身会按顺序推送增量数据，默认配置即可满足需求
  3. 若有窗口处理需求（如聚合操作），只要保留变更流的原始时间戳，Dataflow的水印和检查点机制会自动处理恢复逻辑，无需额外调整时间戳相关配置

• 额外注意事项

  • 确保Dataflow作业开启检查点功能（默认开启，除非手动关闭）
  • 转换过程中不要丢弃变更流的元数据（如恢复令牌相关信息），避免影响恢复逻辑
  • 使用官方提供的SpannerChangeStreamSource时，恢复令牌的持久化由框架自动处理，无需手动编码管理

内容的提问来源于stack exchange，提问作者Nikhil