HDP 2.6.0.3升级至2.6.4失败求助：HDFS/ZKFC状态UNKNOWN

错误到底是什么意思？ #

当你在Ambari升级的「Finalize Upgrade Pre-Check」环节碰到这个报错，本质是Ambari Agent没法和对应主节点上的ZKFC（ZooKeeper Failover Controller）进程正常通信，或者获取不到它的运行状态。ZKFC是HDFS高可用架构的核心“管家”，负责NameNode的故障切换，它的状态成了未知数，Ambari肯定不敢继续升级——毕竟升级是个敏感操作，必须依赖稳定的基础服务。

一步步排查修复 #

1. 先确认ZKFC进程真的在跑吗？ #

先到每个主节点上执行命令，看看ZKFC进程有没有存活：

ps -ef | grep DfsZKFailoverController | grep -v grep

• 如果没返回任何结果，说明ZKFC挂了，手动启动它：

  # 先确保ZK集群正常，再格式化ZKFC（仅状态异常时用）
  su - hdfs -c "hdfs zkfc -formatZK -force"
  # 启动ZKFC
  su - hdfs -c "hadoop-daemon.sh start zkfc"
  

• 如果进程存在，但Ambari还是报UNKNOWN，接着往下查。

2. 检查Ambari Agent和Server的通信 #

到报错的节点上翻Ambari Agent日志（默认路径：/var/log/ambari-agent/ambari-agent.log），搜有没有类似这样的错误：

Connection refused to server: your-ambari-server:8080
Failed to send heartbeat to Ambari Server

如果是通信问题：

• 先确认Ambari Server有没有正常运行：service ambari-server status
• 测一下节点到Server的网络通不通：ping your-ambari-server 或者 telnet your-ambari-server 8080
• 重启Ambari Agent试试：service ambari-agent restart

3. 验证ZKFC和ZooKeeper集群的连接 #

ZKFC得依赖ZK集群存故障切换的元数据，连接断了也会导致状态未知：

• 到每个ZK节点上查ZK状态：zkServer.sh status，确保所有节点都是leader或follower状态，没有异常
• 打开HDFS配置文件/etc/hadoop/conf/hdfs-site.xml，检查这两个配置项：
  • dfs.ha.zookeeper.quorum：ZK节点列表格式要对，比如zk1:2181,zk2:2181,zk3:2181
  • ha.zookeeper.session-timeout.ms：建议设为5000，默认值可能太短容易断连
• 重启ZKFC后，看它的日志（/var/log/hadoop/hdfs/hadoop-hdfs-zkfc-*.log），有没有连ZK失败的报错。

4. 刷新Ambari的状态缓存 #

有时候Ambari的状态缓存会抽风，明明服务正常却显示UNKNOWN：

• 在Ambari Server上重启服务：ambari-server restart
• 等个几分钟，刷新Ambari Web UI，再重新跑一遍预检查。

5. 检查文件权限有没有问题 #

权限不对也会让ZKFC没法读配置或写日志：

• 确认hdfs用户的组：id hdfs，得属于hadoop组
• 看配置文件权限：ls -l /etc/hadoop/conf/hdfs-site.xml，所有者得是hdfs:hadoop
• 检查日志目录权限：ls -ld /var/log/hadoop/hdfs，hdfs用户得有写入权限

额外提醒 #

如果以上步骤都没用，建议先回退到升级前的状态（要是有备份的话），等集群完全稳定了再重新尝试升级。升级前一定要确认所有服务都健康，关键配置和元数据也备份好。

内容的提问来源于stack exchange，提问作者enodmilvado