ADF数据加载失败时的回滚机制及重试行为咨询

核心结论：重试是否会导致重复写入，完全取决于你的订单接收与写入逻辑是否实现幂等性，以及重试触发时是否支持断点续传，分三种情况说明：

• 无幂等、无断点记录：重试会从头开始执行，之前已写入的100条订单会被重复写入目标表，造成数据重复。
• 实现幂等校验：比如给每条订单分配唯一业务ID，写入前先校验该ID是否已存在于目标表，存在则跳过写入。这种情况下，不管重试是从头开始还是断点续传，都不会产生重复数据，只会补写未成功的部分。
• 实现断点续传逻辑：每次写入一批数据后，将当前写入进度（比如已完成的最后一条订单ID）记录到临时存储（如缓存、状态表）。连接中断触发重试时，读取该进度标记，从下一条（也就是第101条）开始写入，不会重复之前的100条。

针对你在STAGE环境的场景，建议：

1. 优先实现幂等性，这是解决重复写入问题最稳妥的方案，无需依赖复杂的断点逻辑。
2. 设置3次重试次数是合理的，但必须配合幂等或断点机制，否则会引发数据重复问题。

内容的提问来源于stack exchange，提问作者NS21