Flink 1.18配置ZooKeeper HA后单应用仅执行一个作业求助

核心配置修正 #

你的flink-conf.yaml中high-availability.type配置为NONE，但你需要启用ZooKeeper HA，这是核心矛盾。必须将该参数修改为zookeeper才能真正开启ZK HA功能，否则HA并未实际生效。

关键排查与解决点 #

• 为每个Application分配独立Cluster ID
  Application mode下，每个运行的Application都是独立集群实例。若多个Application共享同一个high-availability.cluster-id，ZK中的元数据会冲突，导致仅一个作业能被识别。建议为每个Application配置唯一cluster-id，可通过启动时指定-Dhigh-availability.cluster-id=xxx覆盖全局配置。
• 检查HA存储目录权限
  确保high-availability.storageDir指定的/opt/flink/data目录，Flink的JobManager、TaskManager进程拥有读写权限。权限不足会导致HA元数据无法正常写入，影响作业状态展示。
• 验证ZooKeeper连通性
  查看JobManager日志，确认是否能正常连接到localhost:2181。若存在连接超时、认证失败等错误，需先解决ZK集群的连通问题，确保Flink能正常操作ZK节点。
• 确认多作业提交逻辑正确性
  单个Application Jar中包含多个作业时，需确保每个作业的JobGraph独立提交，每个作业都调用env.execute()或对应提交方法。若提交逻辑存在资源或配置共享错误，可能导致仅一个作业启动成功。
• 检查仪表盘作业过滤规则
  确认仪表盘是否仅展示RUNNING状态作业，可切换到"Completed"或"Failed"标签页，查看是否有其他作业记录。

内容的提问来源于stack exchange，提问作者Vijayakumar Ranganathan