使用Bigtop在Ambari中启用Hadoop Namenode HA失败求助

一、先排查JMX端口连接失败问题 #

• 检查NameNode节点hdfs-site.xml里的JMX相关配置，确认dfs.namenode.jmx.address、dfs.namenode.servicerpc-address等端口未被占用，执行netstat -tulpn | grep [端口号]（替换成实际配置的端口）确认状态
• 检查防火墙规则，CentOS7下执行firewall-cmd --list-ports，确保JMX端口、NameNode服务端口（比如8020、9870）已开放，未开放则执行firewall-cmd --add-port=[端口号]/tcp --permanent && firewall-cmd --reload
• 查看SELinux状态，执行getenforce，若为Enforcing模式，可临时关闭setenforce 0测试，或添加SELinux规则允许端口通信

二、处理NameNode收到SIGTERM信号的问题 #

• 查看Ambari Agent日志（默认路径/var/log/ambari-agent/ambari-agent.log）和NameNode日志（默认路径/var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log），确认SIGTERM的发送来源：
  • 若为Ambari Agent发送，大概率是组件启动超时，修改Ambari Server配置ambari.properties中的agent.task.timeout参数，调大超时时间（比如从300000改为600000），然后重启Ambari Server：ambari-server restart
  • 若为系统OOM Killer触发，检查节点内存使用free -h，查看系统日志/var/log/messages中是否有OOM相关记录，若存在则增加NameNode节点内存配置，修改hadoop-env.sh中的HADOOP_NAMENODE_OPTS参数，调整堆内存大小（比如-Xms4g -Xmx4g），然后重启HDFS服务

三、解决hdfs namenode -initializeSharedEdits异常问题 #

• 先确认Zookeeper集群状态正常，每个Zookeeper节点执行zkServer.sh status，确保集群有leader且所有节点运行正常
• 检查hdfs-site.xml中的HA相关配置是否正确：
  • 确认dfs.nameservices、dfs.ha.namenodes.[nameservice ID]配置无误，两个NameNode的ID未写错
  • 确认dfs.namenode.shared.edits.dir指向正确的QJournal集群路径，格式应为qjournal://[journalnode1]:8485;[journalnode2]:8485;[journalnode3]:8485/[nameservice ID]
  • 确认JournalNode服务已全部启动，每个JournalNode节点执行jps查看是否存在JournalNode进程
• 手动初始化共享编辑日志前，先停止所有HDFS相关服务，然后在其中一个NameNode节点执行：

  hdfs namenode -initializeSharedEdits
  

  若执行失败，查看日志中的具体错误，比如权限问题：确保HDFS运行用户（默认hdfs）对JournalNode的数据目录（默认/var/lib/hadoop-hdfs/journalnode）有读写权限，执行chown -R hdfs:hadoop /var/lib/hadoop-hdfs/journalnode修复权限

四、Ambari HA启用流程重置 #

• 若以上步骤仍无法解决，可尝试重置HA启用流程：
  1. 在Ambari界面中取消当前的HA启用操作，回退到之前的状态
  2. 停止所有HDFS服务和Zookeeper服务
  3. 删除所有NameNode的元数据目录（默认/var/lib/hadoop-hdfs/namenode）和JournalNode的日志目录
  4. 重新格式化其中一个NameNode：hdfs namenode -format，启动该NameNode后，在另一个NameNode执行hdfs namenode -bootstrapStandby同步元数据
  5. 重新执行Ambari中的NameNode HA启用流程

内容的提问来源于stack exchange，提问作者arjun s