关于Flink中externalized checkpoints的概念及相关疑问

1. "Externalized" 的含义 #

Externalized（外部化）指的是将Checkpoint的元数据和状态数据持久化到外部存储系统（比如HDFS、S3等），并且不会在作业失败/挂起时自动清理。普通Checkpoint在作业失败或取消后会被Flink自动清理，而外部化Checkpoint会保留下来，需要用户手动处理清理工作。

这种设计的核心价值是支持作业的手动恢复——即使集群完全故障，也能通过保留的外部化Checkpoint恢复作业状态，无需依赖Flink集群内部的状态管理。

2. 是否存在对应的 Internal Checkpoints 概念？ #

Flink官方没有明确的"Internal Checkpoints"术语，但可以将未启用外部化的普通Checkpoint视为"内部"性质的：

• 普通Checkpoint的元数据由Flink JobManager管理，状态数据即便存储在外部介质（比如配置state.backend为FileSystem），元数据也不会持久化到外部目录；
• 当作业失败、取消或集群重启时，普通Checkpoint会被自动清理，无法用于跨集群的手动恢复。

3. 指定HDFS路径但未调用 enableExternalizedCheckpoints，算不算外部化Checkpoint？ #

不算。原因如下：

• 仅配置CHECKPOINTS_DIRECTORY（或通过state.backend指定存储路径）只是设置了Checkpoint状态数据的存储位置，但没有触发外部化特性；
• 此时的Checkpoint仍是普通Checkpoint：JobManager不会将Checkpoint元数据持久化到外部目录，作业失败/取消后，这些Checkpoint会被自动清理；
• 只有调用enableExternalizedCheckpoints(ExternalizedCheckpointCleanup)方法，才会启用外部化Checkpoint逻辑：将元数据写入CHECKPOINTS_DIRECTORY，同时改变Checkpoint的清理规则（失败/挂起时不自动清理）。

补充：enableExternalizedCheckpoints 方法核心逻辑 #

该方法用于显式开启Checkpoint外部化持久化，关键特性包括：

• 将Checkpoint元数据写入配置的外部存储目录（由CheckpointingOptions.CHECKPOINTS_DIRECTORY指定）；
• 作业进入FAILED或SUSPENDED状态时，不会自动清理Checkpoint；
• 通过ExternalizedCheckpointCleanup模式控制作业CANCELED状态时的清理行为：
  • DELETE_ON_CANCELLATION：取消作业时自动清理外部化Checkpoint；
  • RETAIN_ON_CANCELLATION：取消作业时保留外部化Checkpoint，需手动清理。

内容的提问来源于stack exchange，提问作者Tom