Dataflow流管道中WriteToBigQuery失败重试：仅重试写入还是整个阶段？

假设我们有一个Dataflow流处理管道，从Pub/Sub读取数据，通过ParDo进行转换，然后写入BigQuery。同时假设Dataflow优化器将所有步骤合并为单个阶段。请问：若最终步骤WriteToBigQuery失败且已配置重试策略，是仅重试该写入步骤，还是会重试整个阶段（即元素从初始环节重新处理）？

当Dataflow优化器将所有步骤合并为单个阶段时，会重试整个阶段——元素会从Pub/Sub读取环节开始重新处理，而非仅重试WriteToBigQuery步骤。

具体原因如下：

• Dataflow的「阶段（Stage）」是最小的执行与重试单元，合并后的阶段会被视为一个不可拆分的整体。只要阶段内任意环节触发重试，整个阶段的所有操作都会重新执行。
• 即便单独配置了WriteToBigQuery的重试策略，由于阶段合并，Dataflow无法单独隔离写入步骤执行重试。ParDo转换与写入操作会被绑定为一个整体，重试时会重新执行转换逻辑，再尝试写入BigQuery。
• 需注意：如果ParDo转换逻辑带有副作用（比如调用外部API、修改外部状态），重试整个阶段可能导致这些副作用重复执行，提前做好幂等性处理是必要的。

内容的提问来源于stack exchange，提问作者Pav3k