如何在生成Savepoint时避免触发Checkpoint，保障端到端精确一次语义

要避免手动生成Savepoint后重启出现重复数据、破坏端到端精确一次语义，可按以下几种方式处理：

• 生成Savepoint后立即停止应用
  手动触发Savepoint时，等Savepoint创建完成（命令行返回成功路径）后立刻执行停止应用的操作。这样Savepoint就是应用的最终状态，不会有后续的Checkpoint生成和数据写入。示例命令：

  # 生成Savepoint
  flink savepoint <job-id> hdfs:///savepoints/
  # 拿到返回的Savepoint路径后，停止应用
  flink stop <job-id>
  

  这种方式最直接，适合需要停机更新版本、调整配置的场景。

• 使用--with-drain参数生成Savepoint（Flink 1.12+）
  Flink 1.12及以上版本提供了--with-drain参数，触发Savepoint时会先让数据源停止接收新数据，等当前所有已处理的数据都完成写入外部存储后，再生成Savepoint，生成完成后自动停止应用。这样Savepoint的状态完全对齐已写入的外部数据，重启时不会重复。示例命令：

  flink savepoint <job-id> hdfs:///savepoints/ --with-drain
  

  这是优雅生成最终状态Savepoint的推荐方式，适合需要平滑停机的场景。

• 记录Savepoint后的最新Checkpoint偏移量（如需继续运行）
  如果必须在生成Savepoint后让应用继续运行一段时间，需要额外记录Savepoint生成后最新完成的Checkpoint中的数据源偏移量。重启时，先从Savepoint恢复应用状态，再手动将数据源的起始偏移量设置为记录的最新偏移量，跳过Savepoint生成后已处理过的数据。
  注意：这种方式需要你能获取到Checkpoint中的偏移信息，比如通过Flink的REST API查询Checkpoint元数据，或者从数据源的偏移存储（如Kafka的__consumer_offsets topic）中获取。

• 外部存储实现幂等写入
  作为兜底方案，在外部存储层面实现幂等逻辑，即使出现重复数据也不会导致业务异常。比如：

  • 给每条写入的数据分配全局唯一主键，写入前检查主键是否存在，存在则跳过写入；
  • 利用数据库的事务或UPSERT操作，确保重复数据只会生效一次；
  • 如果写入的是消息队列，使用事务提交，确保只有成功处理的数据才会被提交。
    这是端到端精确一次语义的必要补充，即使前面的状态恢复出现偏差，也能保证最终数据的正确性。

内容的提问来源于stack exchange，提问作者Tom