GCP Dataflow读取Spanner变更流时的故障处理及数据可靠性问询

管道故障后的行为 #

• Dataflow流式作业故障后，系统会自动启动恢复流程：重启失败进程或调度任务到其他可用Worker节点，恢复时从最近的**检查点（Checkpoint）或快照（Snapshot）**位置重新开始处理。

是否会丢失正在处理的数据？ #

• 不会丢失。核心保障逻辑：
  • Dataflow遵循**至少一次（At-Least-Once）**处理语义，仅在数据成功处理并完成输出后，才会向Spanner变更流发送确认信号，更新已处理数据的游标位置。
  • 故障发生时，未被确认的数据会被标记为未处理，管道恢复后会从故障前的未确认游标位置重新拉取这些数据进行处理。

关于“数据最终会被处理”的表述是否正确？ #

• 该表述成立，但需满足两个前提：
  1. 管道故障持续时长未超过Spanner变更流的数据保留期：超出保留期的旧数据会被Spanner清理，无法再被拉取处理。
  2. 管道能够成功恢复并正常运行：若恢复后仍持续故障，数据处理会延迟，但只要在保留期内恢复正常，未处理的数据都会被重新处理。

Dataflow与Spanner的协作细节 #

• Spanner变更流通过**游标（Cursor）**记录Dataflow已确认的最新处理位置，仅收到Dataflow的确认信号后才会推进游标。
• Dataflow的检查点机制定期保存处理状态（含变更流游标位置），恢复时加载最近的检查点，既避免重复处理已确认数据，又确保未确认数据被重新处理。
• 若需**恰好一次（Exactly-Once）**语义，可通过Dataflow的事务性输出配置，结合下游系统的幂等性处理实现，基础故障恢复仍基于至少一次语义保障数据不丢失。

内容的提问来源于stack exchange，提问作者Michael Brenndoerfer