M1 MacBook Air安装Hadoop后NameNode/DataNode未在jps中显示

问题根源 #

多次执行hdfs namenode -format会生成新的clusterID，导致NameNode和DataNode的clusterID不匹配——DataNode仍保留第一次格式化时的旧ID，无法与新ID的NameNode建立连接，因此启动失败。

修复步骤 #

1. 停止所有Hadoop守护进程

   stop-all.sh
   # 或者分开执行：stop-dfs.sh && stop-yarn.sh
   

2. 删除NameNode和DataNode的元数据目录
   找到hdfs-site.xml中配置的以下两个路径（默认路径示例）：

   • NameNode元数据目录：/tmp/hadoop-<你的用户名>/dfs/name
   • DataNode元数据目录：/tmp/hadoop-<你的用户名>/dfs/data
     执行删除命令：

   rm -rf /tmp/hadoop-<你的用户名>/dfs/name
   rm -rf /tmp/hadoop-<你的用户名>/dfs/data
   

   注意：替换<你的用户名>为实际系统用户名，若自定义了存储路径，需改为自己配置的路径

3. 重新格式化NameNode
   执行命令并明确输入Y确认：

   hdfs namenode -format
   # 出现提示时输入Y并回车
   

4. 重新启动Hadoop

   start-all.sh
   # 或者分开执行：start-dfs.sh && start-yarn.sh
   

5. 验证结果
   执行jps命令，应显示以下进程：

   NameNode
   DataNode
   ResourceManager
   NodeManager
   Jps
   

   此时访问localhost:9870即可正常打开HDFS管理页面。

额外排查点 #

如果问题仍存在，查看Hadoop日志定位具体错误：

• 日志目录默认在$HADOOP_HOME/logs下
• 查看NameNode日志：hadoop-<用户名>-namenode-<主机名>.log
• 查看DataNode日志：hadoop-<用户名>-datanode-<主机名>.log
  M1用户需确保使用的Hadoop版本支持ARM架构（推荐3.3.x及以上版本）

内容的提问来源于stack exchange，提问作者Vignesh Vicky