HDFS格式化NameNode后，如何格式化DataNode及清理遗留数据？

一、格式化NameNode后，原有文件是不是彻底没法访问了？ #

没错，完全无法访问。核心原因在于HDFS的分工逻辑：

• NameNode就像HDFS的「文件索引本」，存着所有文件的路径、数据块分布、副本数这些关键元数据；而DataNode只是单纯的「存储仓库」，只放实际的数据块，根本不知道这些块对应哪个文件。
• 格式化NameNode等于把这本「索引本」彻底清空了，DataNode上的旧数据块瞬间变成了无主的零散碎片，集群根本没法识别它们，更别说拼接成完整文件供你读取了。

二、怎么删掉DataNode上的遗留数据？ #

给你几个实用的方法，根据自己的情况选就行：

方法1：手动清理DataNode数据目录（最直接） #

1. 先停掉HDFS服务（伪分布式直接停整个集群即可）：

   stop-dfs.sh
   

2. 找到DataNode的存储目录——你可以去hdfs-site.xml里找dfs.datanode.data.dir参数，默认路径可能是/tmp/hadoop-<你的用户名>/dfs/data这类
3. 删掉该目录下的所有内容（确认没用再删！）：

   rm -rf /path/to/datanode/data/*
   

4. 重启HDFS服务：

   start-dfs.sh
   

方法2：用HDFS内置命令清理无效块 #

如果集群已经正常启动（新格式化的NameNode在运行），可以用官方命令自动清理：

1. 先查看DataNode上的无效块情况：

   hdfs dfsadmin -report
   

2. 执行删除旧块池的命令，把DataNode上不属于当前NameNode的旧数据全清掉：

   hdfs dfsadmin -deleteBlockPool <datanode-host>:<datanode-port> <blockpool-id>
   

   其中<blockpool-id>可以从NameNode的WebUI（默认50070端口）或者上面的-report输出里找到。

方法3：伪分布式专属简化操作 #

因为你是伪分布式，整个集群都在一台机器上，操作更省事：

1. 停掉所有Hadoop服务：

   stop-all.sh
   

2. 删除DataNode的存储目录（和方法1里的路径一致），要是需要的话也可以清空NameNode的新存储目录（不过你已经格式化过，这步可选）
3. 重新启动集群，DataNode会自动向新的NameNode注册，旧数据也彻底没了。

注意：不管用哪种方法，删之前一定要确认这些遗留数据真的没用了，删了可就找不回来啦！

内容的提问来源于stack exchange，提问作者Sai Darahaas Ayyangalam