Dataproc集群提交Flink 1.9.3任务报错：未配置checkpoint目录

核心原因 #

当Flink作业启用Checkpointing（包括显式启用或依赖的算子/连接器内部使用状态时），必须配置state.checkpoints.dir指定状态快照的存储路径，否则会触发该异常。

解决方法1：在作业代码中显式配置 #

直接在Flink作业代码中设置Checkpoint目录（推荐生产环境使用GCS路径，适配Dataproc环境）：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 启用Checkpointing（按需调整间隔，示例为5秒）
env.enableCheckpointing(5000);
// 设置Checkpoint存储目录，替换为你的GCS bucket路径
env.getCheckpointConfig().setCheckpointDir("gs://your-flink-checkpoint-bucket/checkpoints");

解决方法2：修改Flink集群配置文件 #

编辑Dataproc集群上的flink-conf.yaml（路径通常为/usr/lib/flink/conf/flink-conf.yaml），添加或更新配置项：

state.checkpoints.dir: gs://your-flink-checkpoint-bucket/checkpoints

修改完成后，重启Flink Session集群（若使用Session模式）。

解决方法3：提交任务时通过命令行指定参数 #

提交作业时，通过-D参数传递配置，无需修改代码或集群配置：

flink run -Dstate.checkpoints.dir=gs://your-flink-checkpoint-bucket/checkpoints your-pubsub-job.jar

注意事项 #

• 确保指定的GCS Bucket已创建，且Dataproc集群拥有该Bucket的读写权限（Dataproc默认绑定的服务账号通常具备该权限，若异常需检查IAM配置）
• 若作业无需状态持久化，可尝试关闭Checkpointing：env.disableCheckpointing();，但生产环境不推荐此操作，会导致任务故障时丢失状态
• Flink 1.9.3版本中，即使是无状态作业，若使用的连接器（如Pubsub连接器）内部依赖状态管理，也会触发该配置要求

内容的提问来源于stack exchange，提问作者Nagesh B Viswanadham