Java连接AWS EMR集群HBase时遇ZooKeeper连接超时问题求助

这个错误的核心原因很明确：你的Java客户端无法建立到HBase依赖的ZooKeeper集群的连接，最终导致会话超时。下面是一步步的排查和解决方案：

1. 检查EMR集群的安全组配置 #

HBase的ZooKeeper默认使用2181端口（集群内部同步会用到2888、3888，但客户端仅需访问2181）。你需要确保：

• EMR集群的主节点（以及所有运行ZooKeeper的核心节点）的安全组，添加了入站规则，允许你的Java客户端所在机器的IP（或IP段）访问TCP 2181端口。
• 如果客户端在AWS VPC外部，要确认EMR节点是否分配了公网IP，且安全组允许公网IP的访问；如果在VPC内部，需检查VPC路由表是否允许客户端与EMR节点的网络连通。

2. 确认ZooKeeper连接地址配置正确 #

在你的Java代码中，HBase配置的hbase.zookeeper.quorum参数必须指向EMR集群的ZooKeeper节点地址：

• 若为单节点ZK（EMR默认主节点运行ZK），填写EMR主节点的公网IP（客户端在VPC外）或私有IP（客户端在VPC内）。
• 若为多节点ZK集群，填写所有ZK节点的IP地址，用逗号分隔。
• 同时检查hbase.zookeeper.property.clientPort是否设为2181（EMR默认值），如果集群修改过端口需对应调整。

示例配置代码：

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "emr-master-public-ip");
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("hbase.cluster.distributed", "true");

3. 验证客户端到ZK节点的网络连通性 #

在Java客户端所在机器上，用以下命令测试端口连通性：

telnet emr-master-ip 2181
# 或用nc命令更直观
nc -zv emr-master-ip 2181

如果命令超时或连接失败，说明网络层面存在问题，回到安全组/VPC路由环节排查；如果能连通，继续下一步。

4. 检查EMR集群的ZooKeeper状态 #

登录EMR主节点，执行以下命令检查ZK是否正常运行：

sudo zkServer.sh status

若输出显示Mode: leader或Mode: follower，说明ZK状态正常；若显示Error contacting service. It is probably not running.，则重启ZK服务：

sudo zkServer.sh restart

也可以查看ZK日志（通常在/var/log/zookeeper/目录下），确认是否有启动失败的具体错误信息。

5. 确认HBase客户端与EMR HBase版本兼容性 #

Java客户端使用的HBase版本必须和EMR集群上的HBase版本尽量匹配（小版本差异一般兼容，但跨大版本如1.x与2.x可能出现协议不兼容问题）。你可以在EMR主节点执行hbase version查看集群版本，再调整客户端的依赖版本。

6. 检查HBase集群整体状态 #

如果ZK正常但仍无法连接HBase，登录EMR主节点进入hbase shell，输入status命令，确认HBase集群是否正常运行、RegionServer是否全部在线。若HBase集群本身存在故障，也会导致客户端连接失败。

内容的提问来源于stack exchange，提问作者MathieuGug