Apache Flink与ZooKeeper高可用机制异常求助

核心问题 #

TaskManager无法连接JobManager的根本原因是：JobManager重启后向ZooKeeper注册了本地回环地址（127.0.0.1），TaskManager从ZK获取该地址后，无法跨节点访问到JobManager服务。

解决方案 #

1. 修正Flink集群网络配置 #

在flink.yml中添加或修改以下配置，确保JobManager和TaskManager使用集群内可访问的地址：

# JobManager配置
jobmanager.bind-host: 0.0.0.0  # 绑定到所有网卡，允许外部访问
jobmanager.rpc.address: <JobManager集群主机名/IP>  # 集群内所有节点可解析的地址

# TaskManager配置
taskmanager.bind-host: 0.0.0.0
taskmanager.rpc.address: <TaskManager集群主机名/IP>

注意：将<JobManager集群主机名/IP>和<TaskManager集群主机名/IP>替换为实际集群中对应节点的可访问主机名或IP。

2. 清理ZooKeeper中残留的旧连接信息 #

ZK中可能留存了之前JobManager注册的错误地址，需要手动清理：

1. 连接到ZooKeeper集群：

   zkCli.sh -server zookeeper-dns:2181
   

2. 删除对应集群ID的节点（配置中的high-availability.cluster-id为flinkId）：

   rmr /flink/flinkId
   

3. 退出ZK客户端：

   quit
   

3. 重启集群服务 #

依次重启所有JobManager和TaskManager节点，让新配置生效，JobManager会向ZK注册正确的可访问地址。

验证步骤 #

1. 重启完成后，连接ZK查看节点内容：

   zkCli.sh -server zookeeper-dns:2181
   get /flink/flinkId/resource_manager/connection_info
   get /flink/flinkId/dispatcher/connection_info
   

   确认返回的地址是集群可访问的主机名/IP，而非127.0.0.1。
2. 查看TaskManager日志，确认不再出现Connection refused: /127.0.0.1:50505的错误。

内容的提问来源于stack exchange，提问作者Enrique Machado Hanze