HDFS启动后WebUI无DataNode显示且目录为空问题求助

核心问题分析 #

DataNode进程已启动，但无法连接到NameNode的9000端口，导致未完成集群注册，因此Web管理界面不显示该节点，且DataNode数据目录为空。

排查步骤 #

• 检查NameNode运行状态
  在master节点执行jps命令，确认NameNode进程是否正常运行。同时查看NameNode日志（默认路径$HADOOP_HOME/logs/hadoop-*-namenode-*.log），排查是否存在端口启动失败、服务异常等错误信息。

• 验证网络连通性

  1. 在DataNode节点执行端口连通测试：

     nc -zv hadoop-master 9000
     # 或使用telnet
     telnet hadoop-master 9000
     

     若连接失败，说明网络层面存在访问阻断。
  2. 检查DataNode节点的/etc/hosts文件，确认hadoop-master是否正确映射到IP地址64.226.67.23。
  3. 检查master节点的防火墙/安全组规则，确保9000端口对外开放，允许DataNode节点的IP访问。

• 核对配置文件一致性

  1. 检查DataNode节点的core-site.xml，确认fs.defaultFS配置值为hdfs://hadoop-master:9000，需与NameNode节点的配置完全一致。
  2. 检查DataNode数据目录权限：

     ls -ld /usr/local/hadoop/hdfs/data/dataNode
     

     确保该目录属于hadoop用户组，且具备读写权限。若目录不存在，先创建并授权：

     mkdir -p /usr/local/hadoop/hdfs/data/dataNode
     chown -R hadoop:hadoop /usr/local/hadoop/hdfs/data/dataNode
     

• 重新注册DataNode
  若上述检查均正常，可能是DataNode存储ID与NameNode不一致，执行以下操作重置：

  # 停止HDFS服务
  stop-dfs.sh
  # 清空DataNode数据目录
  rm -rf /usr/local/hadoop/hdfs/data/dataNode/*
  # 重新启动HDFS服务
  start-dfs.sh
  

  注意：不要格式化NameNode，该操作会导致集群数据丢失，仅适用于测试环境或无数据场景。

内容的提问来源于stack exchange，提问作者Radwa Ahmed