格式化NameNode后HDFS无法上传数据且显示100%占用求助

兄弟，我之前踩过一模一样的坑！你遇到的核心问题是格式化NameNode后DataNode的集群ID不匹配，再加上可能的磁盘挂载/权限问题，导致DataNode上报的容量异常，进而无法上传数据。咱们一步步来搞定：

1. 先确认集群ID一致性 #

格式化NameNode会生成新的clusterID，如果DataNode的clusterID和NameNode不一致，就会出现容量异常的情况。你可以这么检查：

• 在NameNode节点上执行：

  cat $HADOOP_HOME/dfs/name/current/VERSION
  

  找到其中的clusterID字段
• 在每个DataNode节点上执行（如果还存在data目录的话）：

  cat $HADOOP_HOME/dfs/data/current/VERSION
  

  对比两者的clusterID，如果不一样，就说明是集群ID不匹配导致的问题

2. 彻底清理DataNode节点的数据目录 #

你之前删了DataNode目录，但可能没删干净，或者有自定义的数据路径没处理：

• 先停掉所有Hadoop服务：

  stop-dfs.sh && stop-yarn.sh
  

• 在每个DataNode节点上，清空默认的数据目录：

  rm -rf $HADOOP_HOME/dfs/data/*
  

• 重点：去hdfs-site.xml里查看dfs.datanode.data.dir配置项，如果有多个路径，所有路径都要清空

3. 检查磁盘挂载与权限问题 #

有时候磁盘没挂载或者权限不足，也会导致DataNode上报容量为0：

• 执行df -h查看DataNode节点的磁盘挂载情况，确保数据目录所在的磁盘正常挂载且有可用空间
• 检查Hadoop运行用户对数据目录的权限：

  ls -ld $HADOOP_HOME/dfs/data
  

  确保目录的所有者是Hadoop运行用户（比如hadoop用户），且有读写权限

4. 重新格式化并启动服务 #

做完上面的步骤后，重新格式化并启动：

• 在NameNode节点上执行格式化（注意不要重复执行多次！）：

  hadoop namenode -format
  

• 启动HDFS服务：

  start-dfs.sh
  

• 等待2-3分钟，让DataNode和NameNode完成心跳同步，再执行：

  hdfs dfsadmin -report
  

  这时候应该能看到DataNode的配置容量恢复正常，之后就可以正常上传数据了

额外注意事项 #

• 格式化NameNode前一定要停掉所有Hadoop服务，否则会导致集群状态混乱
• 不要频繁执行格式化操作，每次格式化前最好备份NameNode的current目录
• 如果是生产环境，格式化前一定要确认数据已经备份，因为格式化会清空NameNode的元数据

内容的提问来源于stack exchange，提问作者HbnKing