Flink state.checkpoints.num-retained配置疑问：TaskManager保留过多检查点

1. state.checkpoints.num-retained的作用 #

该配置控制JobManager需要保留的已完成检查点的最大数量。当新的检查点生成完成后，JobManager会自动清理超出数量限制的旧检查点：既要删除自身维护的检查点元数据，也会同步删除存储介质上对应的检查点数据文件。

2. 你的场景并非配置未生效，而是Docker容器隔离导致的误解 #

你观察到的现象是容器文件系统隔离特性带来的正常结果：

• JobManager和TaskManager是独立的Docker容器，它们的/tmp目录属于各自的私有文件系统，完全不共享。你配置的file:///tmp/flink/checkpoints会让每个容器在自己的本地目录存储检查点数据。
• TaskManager容器内的大量chk-X目录：因为你开启了增量RocksDB后端（state.backend.incremental: true），TaskManager会在本地存储RocksDB的增量检查点数据文件，而JobManager无法访问TaskManager的本地目录，自然无法清理这些文件。
• JobManager容器内仅1个chk-X目录：说明当前作业仅生成了1个已完成的检查点，或者之前的检查点因作业重启、失败等原因被正常清理，符合num-retained的配置逻辑。

3. 正确配置方式 #

要让检查点的自动清理逻辑正常生效，你需要：

• 将state.checkpoints.dir配置为JobManager和所有TaskManager都能访问的共享存储路径，比如挂载的Docker共享卷、NFS或者对象存储。
• 确保所有容器都将该共享存储挂载到相同的本地路径，这样JobManager就能统一管理所有检查点数据，TaskManager也会将检查点数据写入共享存储，而非本地私有目录。

内容的提问来源于stack exchange，提问作者Banupriya