Flink TaskManager因Checkpoint存储导致磁盘占用持续增长问题排查

问题背景 #

运行Flink 1.20流处理应用，采用RocksDB状态后端开启Checkpoint保障容错，发现TaskManager磁盘占用随时间持续上升，经排查Checkpoint存储是主要原因。当前Checkpoint可成功完成，但已配置state.checkpoints.num-retained: 2和externalized-checkpoint-retention: DELETE_ON_CANCELLATION，日志无Checkpoint相关错误，却未触发自动清理，磁盘仍持续增长。

1. 如何防止TaskManager磁盘因Checkpoint存储被占满？ #

• 紧急清理残留文件：手动定位TaskManager的Checkpoint本地存储目录（由taskmanager.state.local.root-dirs配置），删除超出保留数量的旧Checkpoint文件夹；若存在命名含inprogress的临时文件夹，且任务当前无正在执行的Checkpoint，可直接删除这些残留文件。
• 限制RocksDB本地存储：配置state.backend.rocksdb.localdir指定独立的本地存储路径，避免与日志、临时文件混放；开启state.backend.rocksdb.cleanup-instance-state-on-stop: true，确保TaskManager停止时自动清理本地RocksDB状态文件。
• 启用磁盘配额管控：在taskmanager.state.local.root-dirs配置中添加磁盘大小限制（例：/data/flink/state,size=100gb），当磁盘使用达到阈值时，Flink会自动清理旧的Checkpoint文件。
• 切换增量Checkpoint：开启state.backend.incremental: true，仅存储Checkpoint间的增量状态，大幅减少每次Checkpoint的磁盘写入量。

2. 有效管理Checkpoint清理的特定配置或最佳实践？ #

核心配置项

• state.checkpoints.num-retained: N：强制保留最近的N个完成Checkpoint，Flink会自动删除超出数量的旧Checkpoint（需确认JobManager正常跟踪Checkpoint状态）
• state.backend.rocksdb.cleanup-instance-state-on-stop: true：TaskManager停止时清理本地RocksDB实例状态，避免残留文件
• externalized-checkpoint-retention: DELETE_ON_CANCELLATION：任务取消时自动删除外部Checkpoint，仅在任务失败时保留（需确保任务正常停止时触发清理）
• state.backend.rocksdb.localdir：指定独立的本地存储目录，便于监控和批量清理

最佳实践

• 监控关键指标：通过Flink UI的Checkpoint页面，确认Number of retained checkpoints与配置值一致，跟踪Checkpoint size变化；同时监控TaskManager磁盘使用率，设置告警阈值（如使用率达80%时触发告警）
• 避免长时间暂停Checkpoint：若任务暂停Checkpoint的周期超过保留数的覆盖范围，可能导致旧Checkpoint无法被自动清理，需及时恢复Checkpoint或手动清理
• 定期巡检存储目录：每周手动检查TaskManager本地存储目录，确认无残留的未清理Checkpoint文件或临时文件
• 权限配置检查：确保Flink进程对Checkpoint存储目录有读写和删除权限，避免因权限不足导致清理失败

3. 如何确认是否是未完成的Checkpoint或残留状态导致该问题？ #

• 查看Flink UI状态：进入Checkpoint页面，检查In Progress Checkpoints是否有长期挂起的任务；同时确认Completed Checkpoints的数量是否等于state.checkpoints.num-retained配置值，若实际保留数远超配置，说明自动清理未触发。
• 检查本地存储目录：进入taskmanager.state.local.root-dirs指定的路径，统计Checkpoint文件夹数量，查看是否有创建时间早于当前保留Checkpoint的文件夹，或命名含inprogress的临时文件夹，此类文件即为未完成或残留的Checkpoint。
• 分析TaskManager日志：搜索日志中的checkpoint、cleanup、delete关键字，若未出现Deleting old checkpoint类日志，说明自动清理逻辑未执行；若出现权限报错或文件不存在错误，可定位具体清理失败原因。
• 校验JobManager元数据：通过Flink CLI执行flink list -s查看保存点列表，确认是否存在未关联当前任务的保存点或Checkpoint元数据，这些无效元数据可能导致Flink误判需要保留对应本地文件。

内容的提问来源于stack exchange，提问作者user24351367